본문으로 건너뛰기

Doris Flink Connector

이 문서는 Doris Flink Connector의 릴리스 노트를 최신 버전부터 나열합니다.

26.3.0​

출처: 릴리스 노트 26.3.0

기능 및 개선 사항​

  • Doris Source의 로깅과 오프셋 검증을 개선했습니다. #692
  • Flink 2.3 지원을 추가했습니다. #696
  • CDC TSO 처리와 S3 TVF 업로드 효율을 개선했습니다. #694
  • 가시성 확인 대기 시간이 초과되면 증분 읽기를 다시 시도하도록 했습니다. #697
  • S3 TVF 싱크에 IAM 역할과 gzip 압축 지원을 추가했습니다. #698

감사의 말​

  • @JNSimba

26.2.0​

출처: 릴리스 노트 26.2.0

기능 및 개선 사항​

  • Doris Source에서 스냅샷, 증분, 초기 스캔 모드를 지원합니다. #679
  • HTTP, MySQL/JDBC, Thrift, Arrow Flight SQL을 통한 Doris 단방향 TLS 연결을 지원합니다. #686
  • S3 TVF 싱크 쓰기 모드를 지원합니다. #688
  • Flink 2.x용 JDK 21 빌드와 CI 검증을 추가했습니다. #678
  • 표준 FLIP-33 싱크 지표인 numRecordsSend와 numBytesSend를 보고하도록 했습니다. #681
  • CDC 동기화에서 PostgreSQL regclass 타입을 지원합니다. #658
  • Doris 회귀 테스트 프로그램을 추가했습니다. #687

버그 수정​

  • 대형 테이블의 초기 스냅샷에서 체크포인트 상태가 지나치게 커지는 문제를 수정했습니다. #690
  • DorisWriter가 잘못된 트랜잭션을 중단하는 문제를 수정했습니다. #683
  • fullDocument가 JSON 문자열로 반환될 때 MongoDB CDC 파싱에 발생하는 문제를 수정했습니다. #671
  • Doris DATETIME 및 TIMESTAMPTZ 타입의 Arrow 타임스탬프 변환 문제를 수정했습니다. #676

감사의 말​

  • @Cq-study
  • @JNSimba
  • @liujiwen-up
  • @Sbaia
  • @Tan-JiaLiang
  • @ziyanTOP

26.1.1​

출처: 릴리스 노트 26.1.1

버그 수정​

  • 압축을 활성화한 상태에서 배치 싱크를 장시간 실행하면 멈출 수 있는 문제를 수정했습니다. #653

감사의 말​

  • @addu390

26.1.0​

출처: 릴리스 노트 26.1.0

기능 및 개선 사항​

  • Stream Load에서 gzip 압축을 기본으로 활성화했습니다. #648

감사의 말​

  • @JNSimba

26.0.0​

출처: 릴리스 노트 26.0.0

기능 및 개선 사항​

  • Doris DECIMAL256 타입을 지원합니다. #628
  • ArrayData의 중첩 타입 필드를 지원합니다. #606
  • UTF-8 문자 집합 인코딩을 사용하는 HTTP 요청을 지원합니다. #623
  • Thrift의 최대 메시지 크기를 설정할 수 있도록 했습니다. #593
  • 불필요한 decimal 변환을 피하도록 MongoDB CDC 타입 추론을 최적화했습니다. #596
  • FE 호스트가 유효하지 않을 때 표시되는 오류 메시지를 개선했습니다. #629
  • Flink 2.x를 지원합니다. #636

버그 수정​

  • 그룹 커밋 재시도 중 레이블 처리 문제를 수정했습니다. #635
  • 줄 구분자가 없는 타입에 대한 배치 Stream Load 처리 문제를 수정했습니다. #619
  • Doris 필드의 기본값이 빈 문자열일 때 DDL이 잘못 생성되는 문제를 수정했습니다. #600
  • Arrow Flight 읽기에 영향을 줄 수 있는 BackendClient의 오타를 수정했습니다. #622

감사의 말​

  • @QuakeWang
  • @JNSimba
  • @jqcc
  • @potterhe
  • @kwonder0926
  • @gnehil
  • @keytouch
  • @AlexRiedler

25.1.0​

출처: 릴리스 노트 25.1.0

기능 및 개선 사항​

  • 샤딩 환경에서 새 동기화 테이블을 자동으로 생성하도록 했습니다. #564
  • Doris Source의 기본 읽기 경로로 Arrow Flight SQL을 사용하도록 했습니다. #574
  • 통합 테스트와 엔드투엔드 테스트 사례를 추가했습니다. #569 #577 #580
  • Doris 2.1.3 이상에서 IP 타입을 읽을 수 있도록 호환성을 추가했습니다. #576
  • 릴리스 스크립트를 추가했습니다. #567
  • 배치 모드의 재시도 간격을 늘렸습니다. #579
  • MongoDB CDC 동기화 시 새 테이블을 자동으로 생성하도록 했습니다. #573
  • 사용 예시를 추가했습니다. #589

버그 수정​

  • Stream Load 스레드가 비정상 종료된 후 Flink 작업이 멈출 수 있는 문제를 수정했습니다. #578
  • PostgreSQL CDC 동기화의 타입 변환 문제를 수정했습니다. #582
  • MongoDB CDC 동기화에서 _id가 아닌 ObjectId 필드의 스키마 길이가 일치하지 않는 문제를 수정했습니다. #588

감사의 말​

  • @Aalron
  • @JNSimba
  • @kwonder0926
  • @vinlee19

25.0.0​

출처: 릴리스 노트 25.0.0

기능 및 개선 사항​

  • Arrow Flight SQL을 통해 Catalog 테이블을 읽을 수 있도록 했습니다. #530
  • INSERT OVERWRITE를 지원합니다. #544
  • 부분 limit 푸시다운을 지원합니다. #553
  • 푸시다운 중 doris.filter.query 옵션을 연결하도록 했습니다. #552
  • 무시할 응답 필드를 설정할 수 있도록 해 FE API 변경 사항과의 호환성을 추가했습니다. #549
  • MongoDB CDC의 sampleSize 계산 로직을 최적화했습니다. #542
  • 실패한 MongoDB 스키마 변경 사항을 무시하도록 했습니다. #537
  • 룩업 쿼리와 Arrow Flight 쿼리에 접두사를 추가했습니다. #531 #530

버그 수정​

  • 극단적인 경우 쓰기 오류가 체크포인트를 우회할 수 있는 문제를 수정했습니다. #560 #555
  • HTTP 오류가 발생하면 쓰기 작업이 멈출 수 있는 문제를 수정했습니다. #539
  • MongoDB 타임스탬프 및 배열 타입의 파싱 문제를 수정했습니다. #547
  • 많은 테이블을 동기화할 때 발생하는 ORA-12733 문제를 수정했습니다. #532
  • 타임스탬프 형식의 푸시다운 오류를 수정했습니다. #528
  • SQL 파서가 스키마 테이블 주석과 필드 타입을 부정확하게 파싱하는 문제를 수정했습니다. #540
  • Transfer-Encoding 헤더가 이미 존재한다는 오류를 수정했습니다. #525
  • 여러 데이터베이스를 동기화할 때 발생하는 NULL 포인터 예외를 수정했습니다. #534

감사의 말​

  • @awol2005ex
  • @DongLiang-0
  • @JNSimba
  • @nativeCat
  • @vinlee19
  • @xuqinghuang
Report issue