Перейти к содержимому

Doris Flink Connector

В этом документе перечислены выпуски Doris Flink Connector в обратном хронологическом порядке.

26.3.0​

Источник: Примечания к выпуску 26.3.0

Функции и улучшения​

  • Улучшены журналирование Doris Source и проверка смещений. #692
  • Добавлена поддержка Flink 2.3. #696
  • Улучшены обработка CDC TSO и эффективность загрузки через S3 TVF. #694
  • Добавлены повторные попытки инкрементального чтения при истечении времени ожидания видимости данных. #697
  • Добавлена поддержка ролей IAM и сжатия gzip для приёмника S3 TVF. #698

Благодарности​

  • @JNSimba

26.2.0​

Источник: Примечания к выпуску 26.2.0

Функции и улучшения​

  • Добавлена поддержка режимов сканирования snapshot, incremental и initial для Doris Source. #679
  • Добавлена поддержка односторонних TLS-соединений с Doris через HTTP, MySQL/JDBC, Thrift и Arrow Flight SQL. #686
  • Добавлена поддержка режима записи через приёмник S3 TVF. #688
  • Добавлены сборка с JDK 21 и проверка в CI для Flink 2.x. #678
  • Добавлена передача стандартных метрик приёмника FLIP-33 numRecordsSend и numBytesSend. #681
  • Добавлена поддержка типа PostgreSQL regclass при синхронизации CDC. #658
  • Добавлены программы регрессионного тестирования Doris. #687

Исправления ошибок​

  • Исправлен чрезмерный размер состояния контрольных точек при создании начальных снимков больших таблиц. #690
  • Исправлена ошибка, из-за которой DorisWriter прерывал не ту транзакцию. #683
  • Исправлен разбор данных MongoDB CDC, когда fullDocument возвращается как строка JSON. #671
  • Исправлено преобразование временных меток Arrow для типов Doris DATETIME и TIMESTAMPTZ. #676

Благодарности​

  • @Cq-study
  • @JNSimba
  • @liujiwen-up
  • @Sbaia
  • @Tan-JiaLiang
  • @ziyanTOP

26.1.1​

Источник: Примечания к выпуску 26.1.1

Исправления ошибок​

  • Исправлена ошибка, из-за которой при включённом сжатии приёмники пакетной записи могли зависать после длительной работы. #653

Благодарности​

  • @addu390

26.1.0​

Источник: Примечания к выпуску 26.1.0

Функции и улучшения​

  • Для Stream Load по умолчанию включено сжатие gzip. #648

Благодарности​

  • @JNSimba

26.0.0​

Источник: Примечания к выпуску 26.0.0

Функции и улучшения​

  • Добавлена поддержка типа Doris DECIMAL256. #628
  • Добавлена поддержка полей вложенных типов в ArrayData. #606
  • Добавлена поддержка HTTP-запросов в кодировке UTF-8. #623
  • Добавлена возможность настройки максимального размера сообщения Thrift. #593
  • Оптимизировано определение типов в MongoDB CDC, чтобы избежать ненужного преобразования в десятичный тип. #596
  • Улучшено сообщение об ошибке при неверном имени хоста FE. #629
  • Добавлена поддержка Flink 2.x. #636

Исправления ошибок​

  • Исправлена обработка меток при повторных попытках group commit. #635
  • Исправлена пакетная обработка Stream Load для типов данных без разделителей строк. #619
  • Исправлена генерация DDL для полей Doris, у которых значением по умолчанию является пустая строка. #600
  • Исправлена опечатка в BackendClient, которая могла влиять на чтение через Arrow Flight. #622

Благодарности​

  • @QuakeWang
  • @JNSimba
  • @jqcc
  • @potterhe
  • @kwonder0926
  • @gnehil
  • @keytouch
  • @AlexRiedler

25.1.0​

Источник: Примечания к выпуску 25.1.0

Функции и улучшения​

  • Добавлено автоматическое создание новых таблиц синхронизации в сценариях шардинга. #564
  • Arrow Flight SQL стал способом чтения по умолчанию для Doris Source. #574
  • Добавлены интеграционные и сквозные тесты. #569 #577 #580
  • Добавлена совместимость с чтением типа IP в Doris 2.1.3 и более поздних версиях. #576
  • Добавлены скрипты выпуска. #567
  • Увеличен интервал между повторными попытками в пакетном режиме. #579
  • Добавлено автоматическое создание новых таблиц при синхронизации MongoDB CDC. #573
  • Добавлены примеры использования. #589

Исправления ошибок​

  • Исправлена ошибка, из-за которой задача Flink могла зависнуть после аварийного завершения потока Stream Load. #578
  • Исправлены ошибки преобразования типов при синхронизации PostgreSQL CDC. #582
  • Исправлено несоответствие длины схемы для полей ObjectId, отличных от _id, при синхронизации MongoDB CDC. #588

Благодарности​

  • @Aalron
  • @JNSimba
  • @kwonder0926
  • @vinlee19

25.0.0​

Источник: Примечания к выпуску 25.0.0

Функции и улучшения​

  • Добавлена поддержка чтения таблиц Catalog через Arrow Flight SQL. #530
  • Добавлена поддержка INSERT OVERWRITE. #544
  • Добавлена поддержка частичного проталкивания ограничения LIMIT. #553
  • При проталкивании выполняется объединение значения параметра doris.filter.query. #552
  • Для совместимости с изменениями API FE добавлена возможность задавать поля ответа, которые следует игнорировать. #549
  • Оптимизирована логика вычисления sampleSize в MongoDB CDC. #542
  • Добавлено игнорирование неудачных изменений схемы MongoDB. #537
  • Добавлены префиксы для поисковых запросов и запросов Arrow Flight. #531 #530

Исправления ошибок​

  • Исправлена ошибка, из-за которой в исключительных случаях ошибки записи могли обходить механизм контрольных точек. #560 #555
  • Исправлена ошибка, из-за которой запись могла зависать при возникновении ошибки HTTP. #539
  • Исправлены ошибки разбора временных меток и массивов MongoDB. #547
  • Исправлена ошибка ORA-12733 при синхронизации большого количества таблиц. #532
  • Исправлены ошибки проталкивания формата временных меток. #528
  • Исправлен некорректный разбор SQL-парсером комментариев к таблицам схемы и типов полей. #540
  • Исправлена ошибка, сообщавшая, что заголовок Transfer-Encoding уже присутствует. #525
  • Исправлено исключение из-за указателя NULL при синхронизации нескольких баз данных. #534

Благодарности​

  • @awol2005ex
  • @DongLiang-0
  • @JNSimba
  • @nativeCat
  • @vinlee19
  • @xuqinghuang
Report issue