[Debezium] 2.5 Release Note 주요 내용 정리

목적

  최신 버전 업그레이드 전, 영향도 평가하기 위함

 

툴별 버전별 호환성 표

Java	11+
Kafka Connect	2.x, 3.x
MySQL	Database: 8.0.x, 8.2 Driver: 8.0.33
MariaDB	Database: 11.1.2 Driver: 3.2.0
MongoDB	Database: 5.0, 6.0, 7.0 Driver: 4.11.0
PostgreSQL	Database: 10, 11, 12, 13, 14, 15, 16 Plug-ins: decoderbufs, pgoutput Driver: 42.6.0
Oracle	Database: 12c, 19c, 21c Driver: 12.2.x, 19.x, 21.x OpenLogReplicator: 1.3.0
SQL Server	Database: 2017, 2019, 2022 Driver: 12.4.2.jre8
Cassandra 3	Database: 3.11.12 Driver: 3.11.12
Cassandra 4	Database: 4.0.2 Driver: 4.14.0
Db2	Database: 11.5 Driver: 11.5.0.0
Spanner	Database: 6.x Driver: 6.x
Vitess	Database: 12.0.x Driver: 12.0.0* * See the Vitess Connector documentation for limitations when using the connector with earlier Vitess versions
JDBC sink	Databases: Db2, MySQL, Oracle, PostgreSQL, SQL Server
Informix	Database: 12, 14 Driver: 4.50.10

 

Release Note 요약

Release 2.5.0.Final

Kafka 호환성

• 카프카 커넥트 3.6.1, 카프카 브로커 3.6.1와 호환됨

Breaking changes

• 몽고DB 기본 연결 모드는 완전한 제거를 위한 준비단계로 replica_set에서 sharded로 변경됨. 이에 따라 존재하는 offsets을 다시 검증해야 하고, 최초 스냅샷이 재수행될 것임. 사용자는 replica_set으로 설정하거나 존재하는 offsets을 제거할 것

New Features 

• 카프카 signal 토픽에 대해 스냅샷 요청에 대한 지속적인 history를 지원함
• SQL Server에서 메트릭 엔드포인트는 다중 타스크로 커넥터를 처리해야 함
• 스키마 타입명을 커스터마이징하기 위해 CloudEventsConverter에 설정 가능한 옵션을 추가함

Fixes

• 여러 스냅샷 스레드가 스냅샷을 뜨는 동안 에러가 발생하면 스냅샷이 제대로 중단되지 않는 버그가 수정됨
• MySQL 커넥터가 특정 grant 권한을 파싱할 수 없는 버그가 수정됨

Other changes

• -

Release 2.5.0.CR1

Kafka 호환성

• 카프카 커넥트 3.6.1, 카프카 브로커 3.6.1와 호환됨

Breaking changes

• Cloud Event 헤더의 스키마명 접두사 및 문자 대소문자가 payload명과 일치하지 않았는데, 이제 헤더와 payload가 모두 동일한 네임스페이스를 공유하고 문자 대소문자에 대해 동일한 규칙을 따로도록 스키마명이 조정됨

New Features 

• re-selection을 통한 BLOB 지원을 탐색함
• 증분 스냅샷 워터마킹에 대해 INSERT/DELETE 의미를 제공함
• lob.enabled=false로 설정되면 오라클 LOB가 적절하게 무시됨
• 카프카를 3.6.1로 업그레이드하고 주키퍼를 3.8.3으로 업그레이드함

Fixes

• 컬럼 타입을 바꿀 때 길이 값이 제거되지 않는 버그가 수정됨

Other changes

• -

Release 2.5.0.Beta1

Kafka 호환성

• 카프카 커넥트 3.6.0, 카프카 브로커 3.6.0와 호환됨

Breaking changes

• 몽고DB는 더이상 샤드 배포에서 특정 샤드에 대한 컬렉션 스냅샷을 수행할 수가 없음. 이는 의도된 기능은 아니고 아직 미구현 기능이라서 그런 것
• ComputePartition SMT가 만료되었고 상당히 개선된 PartitionRouting SMT로 대체됨. 이전 SMT는 이제 완전히 제거됨
• null 값이 존재하고 이를 스트리밍 했다면 JDBC 싱크 커넥터는 DB 컬럼 내에 기본 값을 저장했는데 이건 잘못된 행동이며 수정함

New Features 

• MariaDB GTID를 지원함
• JDBC 싱크 커넥터에서 특정 컬럼만을 포함함
• 최초 스냅샷에 대해 더 많은 알림과 알림 정보를 개선함
• SQL_BIN_LOG=OFF에 의해 누락된 DDL을 찾기 위해 값을 생성할 때 스키마 길이를 체크함
• 오라클 Infinispan 이벤트 프로세서가 메모리 캐시를 사용하여 속도가 개선됨
• MongoDB 커넥터에 하트비트 이벤트 지표의 수, 마지막 이벤트 처리 시간, 이벤트 수가 추가됨
• pg 16 stand-bys로부터 논리적 디코딩을 지원함
• MonogDB 변경 스트림 이벤트를 읽을 때 버퍼 큐를 사용함
• 몽고DB 커넥터의 스트리밍 이벤트 소스 내 이벤트 처리 루프를 클린업함

Fixes

• 디비지움 서버가 offset.flush.interval.ms에 대한 기본값을 가지지 않는 버그가 수정됨

Other changes

• MariaDB와 MySQL 차이점에 대한 전략 패턴을 구현함
• 최대 LSN 값을 올바르게 계산함
• Infinispan 버전을 14.0.20으로 업그레이드 함

Release 2.5.0.Alpha2

Kafka 호환성

• 카프카 커넥트 3.6.1, 카프카 브로커 3.6.1와 호환됨

Breaking changes

• MysSQL 5.7이 지원 만료됨. 이에 따라 디비지움은 더이상 이를 지원하거나 테스트하지 않음
• CloudEvents converter에 대한 설정 옵션 중 metadata.location이 metadata.source로 변경됨
• 만료된 내장 엔진 API를 사용하는 것은 더이상 불가능함. 디비지움 엔진 API만 사용 가능함

New Features 

• JDBC  싱크 커넥터가 배치 동작을 지원함
• MySQL 8.2에 대한 지원을 추가함

Fixes

• 커넥터가 종종 커밋 연산을 누락하는 버그가 수정됨

Other changes

• 변환 속성인 "delete.tombstone.handling.mode"를 디비지움 doc에 갱신함

Release 2.5.0.Alpha1

Kafka 호환성

• 카프카 커넥트 3.6.0, 카프카 브로커 3.6.0와 호환됨

Breaking changes

• SMT 설정 중 ExtractNewRecordState와 ExtractNewDocumentState이 재작업됨. 이에 따라 삭제 및 톰스톤 레코드 처리를 개별적으로 제어하던 두 옵션이 하나로 통합됨
• 몽고DB 4.4에 대한 지원이 만료됨

New Features 

• IBM 인포믹스에 대해 지원됨
• 승격 후 변경 스트림 내에 몽고DB 읽기 선호 유지에 대한 지원이 추가됨
• json 스키마를 추론할 때 필드명을 정제하는 기능이 추가됨
• 카프카를 3.6.0 버전으로 업그레이드함
• 자동 재시작으로 스냅샷이 지원됨
• 커밋 이벤트에 대해 DEBUG 레벨에 대한 로깅이 개선됨
• 설정 가능한 옵션과 함께 SYS/SYSTEM 유저에 대한 스키마 추적 제한이 대체됨

Fixes

• 복제 슬롯을 사전확인할 수 있게 함
• pg의 pgoutput 제한에 대한 doc를 갱신함

Other changes

• -

 

참고

• debezium doc
  Debezium Release Series 2.5