[Debezium] 2.3 Release Note 주요 내용 정리

목적

  최신 버전 업그레이드 전, 영향도 평가하기 위함

 

툴별 버전별 호환성 표

Java	11+
Kafka Connect	2.x, 3.x
MySQL	Database: 5.7, 8.0.x Driver: 8.0.32
MongoDB	Database: 4.2, 4.4, 5.0, 6.0 Driver: 4.7.1
PostgreSQL	Database: 10, 11, 12, 13, 14, 15 Plug-ins: decoderbufs, pgoutput Driver: 42.5.1
Oracle	Database: 12c, 19c, 21c Driver: 12.2.0.1, 19.8.0.0, 21.1.0.0, 21.3.0.0, 21.4.0.0, 21.5.0.0, 21.6.0.0
SQL Server	Database: 2017, 2019 Driver: 10.2.1.jre8
Cassandra 3	Database: 3.11.12 Driver: 3.11.12
Cassandra 4	Database: 4.0.2 Driver: 4.14.0
Db2	Database: 11.5 Driver: 11.5.0.0
Spanner	Database: 6.x Driver: 6.x
Vitess	Database: 12.0.x Driver: 12.0.0* * See the Vitess Connector documentation for limitations when using the connector with earlier Vitess versions
JDBC sink	Databases: Db2, MySQL, Oracle, PostgreSQL, SQL Server

 

Release Note 요약

Release 2.3.5.Final

Kafka 호환성

• 카프카 커넥트 3.5.0, 카프카 브로커 3.5.0와 호환됨

Breaking changes

• -

New Features 

• -

Fixes

• JDBC 싱크 타겟에 다중 컬럼을 추가할때 ALTER TABLE이 실패하는 버그가 수정됨

Other changes

• -

Release 2.3.4.Final

Kafka 호환성

• 카프카 커넥트 3.4.0, 카프카 브로커 3.4.0와 호환됨

Breaking changes

• -

New Features 

• -

Fixes

• index가 연계되어 있을 때 오라클의 ALTER TABLE DROP 제약이 실패하는 버그가 수정됨
• ddl 변경 이벤트의 도착과 함께 ExtractNewRecordState의 스키마 캐시가 갱신되지 않는 버그가 수정됨

Other changes

• 오라클에서 몇몇 핵심적이고 중요한 로그 메시지에 대한 log level을 DEBUG로 증가시킴

Release 2.3.3.Final

Kafka 호환성

• 카프카 커넥트 3.4.0, 카프카 브로커 3.4.0와 호환됨

Breaking changes

• 오라클 SCN 지표를 string에서 이제 BigInteger로 표시함

New Features 

• -

Fixes

• 몽고DB에서 ExtractNewDocumentStateREWRITE로 delete 이벤트를 처리할 때 이전의 다큐먼트 상태를 무시하는 버그가 수정됨
• pg 커넥터에서 pgoutput 플러그인을 사용할 때, (+/-)무한대가 decimal 값에서 지원되지 않는 버그가 수정됨
• MySQL DDL 파서가 REPEAT 함수를 받아들이지 않는 버그가 수정됨
• MySQL DDL을 파싱할 때 BIGINT와 SMALLINT 타입에 대한 기본값을 trim하지 못하는 버그가 수정됨

Other changes

• -

Release 2.3.2.Final

Kafka 호환성

• 카프카 커넥트 3.4.0, 카프카 브로커 3.4.0와 호환됨

Breaking changes

• 오라클 커넥터가 LogMiner에 대한 query fetch size 값을 기본적으로 2000에서 10000으로 올림

New Features 

• -

Fixes

• 오라클이 DROP USER를 처리하는데 실패하는 버그가 수정됨
• MariaDB에서 ALTER TABLE IF EXISTS와 같은 DDL 문을 파싱할 수 없는 버그가 수정됨
• query.fetch.size의 중복된 정의 때문에 SQL Server가 시작을 실패하는 버그가 수정됨

Other changes

• 의도된 테이블에만 데이터를 저장하도록 스키마 history 토픽을 설정하는 방법이 적힌 설명을 강조처리함

Release 2.3.1.Final

Kafka 호환성

• 카프카 커넥트 3.4.0, 카프카 브로커 3.4.0와 호환됨

Breaking changes

• -

New Features 

• errors.max.retires를 공통 커넥터 프레임워크로 리팩터링함
• 오라클이 CURRENT_SCN을 가졌을 때 이를 닫을 수 있는 내부 설정 옵션을 도입함

Fixes

• DELETE문이 먼저 포함된 배치는 다른 모든 항목을 건너뛰는 버그가 수정됨
• MySQL에서 ALTER USER with RETAIN CURRENT PASSWORD가 파싱 예외와 함께 실패하는 버그가 수정됨
• 널이 아닌 내부 값을 삭제할 수 없는 버그가 수정됨

Other changes

• -

Release 2.3.0.Final

Kafka 호환성

• 카프카 커넥트 3.4.0, 카프카 브로커 3.4.0와 호환됨

Breaking changes

• -

New Features 

• 커넥터가 시작되었을 때 많은 동기화된 토픽 메시지를 잠재적으로 읽을 수 있도록함
• rac.nodes 설정에 대해 별도의 SID를 지정할 수 있도록 함
• 새로운 LogMiner 연결을 사용하여 SGA를 주기적으로 클렌징함
• TaskSyncContext 내 중복된 파티션들을 제거함
• pg에서 스트리밍 단계에 대한 "정확히 한번" 의미를 지원함
  • 세상에.. 무조건 최소 2.3버전 도입

Fixes

• CVE-2022-45047를 고치기 위해 Infinispan 14.0.11.Final로 업그레이드함
• database.time_zone에 근거한 timezones이 없는 Date and Time 값이 적절하게 지속되지 못하는 버그가 수정됨
• mysql 커넥터가 백슬래쉬(\)로 끝나는 테이블명 파싱에 실패하는 버그가 수정됨
• MySQL에서 다중 컬럼에 대한 ALTER 문에 대한 SQL 문법 예외가 발생하는 버그가 수정됨
• field.name.adjustment.mode 속성에 발생하는 버그가 수정됨
• 술어(조건)이 지정되지 않을 때 transformation.predicate의 잘못된 값이 수행되는 버그가 수정됨

Other changes

• MySQL JDBC 드라이버를 8.0.33으로 업그레이드 함
• 구글 클라우드 MOB을 26.17.0으로 업그레이드 함

Release 2.3.0.CR1

Kafka 호환성

• 카프카 커넥트 3.4.0, 카프카 브로커 3.4.0와 호환됨

Breaking changes

• -

New Features 

• skip.messages.without.chnage에 대한 코드가 개선됨
• JMX를 통해 신호를 보내고 알림을 받도록 허용함
• PartitionRouting에 대해 더 나은 해싱 함수를 사용함

Fixes

• pg에서 L트리 데이터가 스트리밍에 의해 캡처되지 않는 버그가 수정됨
• MySQL에서 "national"이란 키워드로 된 컬럼명이 받아들여지지 않는 버그가 수정됨

Other changes

• -

Release 2.3.0.Beta1

Kafka 호환성

• 카프카 커넥트 3.4.0, 카프카 브로커 3.4.0와 호환됨

Breaking changes

• JDBC 저장소가 기본적으로 UTF-16 인코딩으로 세팅되어 있는데 대부분의 DB가 UTF-8을 사용하므로 이에 맞게 조정됨

New Features 

• pg 커넥터가 시작될 때 Replica identity를 설정함
• 마리아DB에서 유저통계 플러그인 키워드 지원을 추가함
• 증분 스냅샷 신호 ID를 실행 신호와 연관짓도록 함

Fixes

• 스냅샷 5번째에서 캡쳐된 테이블의 구조를 읽는 단계가 너무 오래 지속되는 버그가 수정됨
• multitenancy를 사용할 때 오라클 병렬 스냅샷이 PDB 문맥을 적절히 설정하지 못하는 버그가 수정됨
• 큐 메모리 사이즈 제한이 있을 경우 BigDecimal이 실패하는 버그가 수정됨
• 신호 poll 간격이 잘못된 기본값을 갖는 버그가 수정됨

Other changes

• -

Release 2.3.0.Alpha1

Kafka 호환성

• 카프카 커넥트 3.5.0, 카프카 브로커 3.5.0와 호환됨

Breaking changes

• MySQL 커넥터가 이제 기본적으로 사용가능하면 SSL 연결을 사용함

New Features 

• 디비지움이 자기 상태를 알림으로 보낼 수 있도록 활성화됨
• 디비지움 상태를 JDBC DB에 저장함
• 증분 스냅샷의 진행상황을 모니터링할 수 있게 됨
• 스트리밍 샤드 목록이 있을 때 다중 타스크를 지원함
• skip.messages.without.change의 로깅 수준을 변경함
• JDBC 저장소 내 DELETE sql 설정을 가능하게 함

Fixes

• 새로운 SMT HeaderToValue가 동작하지 않는 버그가 수정됨

Other changes

• pg dbms upgrade가 수행될때 디비지움 단계를 추가함
• MySQL 연결 내 잠재적으로 위험한 JDBC 속성을 제거함

 

참고

• debezium doc
  Debezium Release Series 2.3