[Debezium] 2.0 Release Note 주요 내용 정리

목적

  최신 버전 업그레이드 전, 영향도 평가하기 위함

 

툴별 버전별 호환성 표

Java	11+
Kafka Connect	2.x, 3.x
MySQL	Database: 5.7, 8.0.x Driver: 8.0.29
MongoDB	Database: 4.0, 4.2, 4.4, 5.0, 6.0 Driver: 4.7.1
PostgreSQL	Database: 10, 11, 12, 13, 14 Plug-ins: decoderbufs, pgoutput Driver: 42.4.1
Oracle	Database: 12c, 19c, 21c Driver: 12.2.0.1, 19.8.0.0, 21.1.0.0, 21.3.0.0, 21.4.0.0, 21.5.0.0, 21.6.0.0
SQL Server	Database: 2017, 2019 Driver: 10.2.1.jre8
Cassandra 3	Database: 3.11.12 Driver: 3.11.12
Cassandra 4	Database: 4.0.2 Driver: 4.14.0
Db2	Database: 11.5 Driver: 11.5.0.0
Vitess	Database: 12.0.x Driver: 12.0.0* * See the Vitess Connector documentation for limitations when using the connector with earlier Vitess versions

 

Release Note 요약

Release 2.0.1.Final

Kafka 호환성

• 카프카 커넥트 3.3.1, 카프카 브로커 3.3.1와 호환됨

Breaking changes

• -

New Features 

• -

Fixes

• DB2 doc가 유효하지 않은 SMALLMONEY와 MONEY 데이터 타입을 참조하는 버그가 수정됨
• PG가 메타데이터 정보를 누락하는 버그가 수정됨
• ORA-01089 예외가 중첩되면 오라클 커넥터가 재시작하지 않는 버그가 수정딤
• MySQL 커넥터가 DB명과 함께 ALTER TABLE 파싱에 실패하는 버그가 수정됨

Other changes

• pg 드라이버를 42.5.0 버전으로 업그레이드 함

Release 2.0.0.Final

Kafka 호환성

• 카프카 커넥트 3.3.1, 카프카 브로커 3.3.1와 호환됨

Breaking changes

• pg 트랜잭션 ID는 32비트 정수이며 롤오버가 됨. 트랜잭션의 중복 제거를 간소화하기 위해 식별자의 일부로 LSN이 추가됨

New Features 

• -

Fixes

• -

Other changes

• -

Release 2.0.0.CR1

Kafka 호환성

• 카프카 커넥트 3.2.1, 카프카 브로커 3.2.1와 호환됨

Breaking changes

• schema.name.adjustment.mode가 기본적으로 none으로 동작함. 사용자가 avro 컨버터를 사용할땐 avro가 더 안전하지만 JSON 변환기 사용이 늘어나면서 불안정해지기 때문

New Features 

• 카프카 클라이언트를 3.3.1 버전으로 업그레이드 함
• alter database 문에 대해 READ ONLY/ENCRYPTION 옵션을 지원함
• include/exclude 옵션의 의미를 명확하게 함
• pg 커넥터에서 증분 스냅샷이 아닌 경우에 대한 로깅이 개선됨
• mariaDB에서 set 명령어가 지원됨

Fixes

• DB2 커넥터가 스냅샷을 만드는 동안 스키마 내 기본값을 처리하려고 할 때 실패하는 버그가 수정됨
• MySQL 커넥터가 쌍따옴표로 묶여진 decimal 컬럼의 기본값을 파싱할 수 없는 버그가 수정됨

Other changes

• MongoDB 커넥터 doc에 새롭게 추가된 내용을 수정함

Release 2.0.0.Beta2

Kafka 호환성

• 카프카 커넥트 3.2.1, 카프카 브로커 3.2.1와 호환됨

Breaking changes

• 메모리 큐 제한에 대한 오브젝트 크기가 이제 replication이 아닌 메시지 스키마에 근거한 estimated로 계산됨. 카산드라 커넥터는 예외임
• 디비지움에 의해 사용되는 모든 스키마는 이제 중앙 지점에 적절한 이름과 버전으로 정의됨. 이에 따라 스키마 레지스트리를 사용할 경우 스키마에 대한 호환성 이슈가 생길 수 있음
• 커넥터 파라미터명이 정비되어 별도의 트리로 분리됨. 이에 따라 커넥터 설정이 갱신되어야 함
• (SqlException, IOException)과 같은 커뮤니케이션 관련 예외가 던져지면 대부분의 디비지움 커넥터들은 재시작됨
• skipped.operations 설정 옵션이 이제 기본적으로 truncate로 됨

New Features 

• MySQL에 대해 binlog 압축을 지원함
• "Streaming requested from LSN" 경고에 대한 로그 출력을 제한함
• 수행중인 증분 스냅샷에 대한 일시중지/다시시작 신호가 제공됨
• 몽고db 연결 문자를 설정 옵션으로 지원함
• 카프카 클라이언트를 3.2.1 버전으로 업그레이드 함
• mariaDB에서 wait/nowait 항목을 지원함
• mariaDB의 create function 문법을 적용함
• 컬럼 코멘트로부터 스키마 doc를 추가함
• 스키마 history messages 내 기본 값과 enum 값을 노출함
• OffsetBackingStore에 SINK 설정 속성을 전달하는 것을 간소화함

Fixes

• pg doc 내 오타를 수정함
• LogMiner DML 파서가 따옴표 내컬럼값의 concatenation 연산을 잘못 해석하는 버그가 수정됨
• MySQL 커넥터가 rename/change column 구문의 대소문자 구분 처리를 할 수 없는 버그가 수정됨

Other changes

• include list에 자동으로 signal 테이블을 추가함
• internal key/value 컨버터 옵션을 만료함
• SQL Server 드라이버를 10.2.1.jre8로 업그레이드 함
• 모든 커넥터에 대한 구시대 토픽 selector를 만료함
• DatabaseSchema에 대한 JDBConnection의 의존성을 제거함
• SQL Server SourceTimestampMode를 제거함
• Pg 드라이버를 42.4.1로 업그레이드 함
• MySQL의 database.server.id가 기본값을 나타내는데 무작위지만 더이상 적용되지 않음

Release 2.0.0.Beta1

Kafka 호환성

• 카프카 커넥트 3.2.0, 카프카 브로커 3.2.0와 호환됨

Breaking changes

• 디비지움이 이전에는 커넥터 지표를 스냅샷, 스트리밍, history 기반 beans의 단일 튜플로 표시하였음. 이제부턴 다중 파티션 구조로 옮겨지게 됨. 따라서 Grafana, Prometheus 등을 쓴다면 영향도 평가가 필요

New Features 

• 오라클에서 메타데이터 내 커밋된 변화를 읽는 사용자를 포함함

Fixes

• -

Other changes

• 마지막 이벤트의 중복된 설정을 제거함
• 모든 커넥터에 대한 토픽명 체계의 doc를 갱신함

Release 2.0.0.Alpha3

Kafka 호환성

• 카프카 커넥트 3.2.0, 카프카 브로커 3.2.0와 호환됨

Breaking changes

• -

New Features 

• 오라클 레코드에 이벤트 scn을 포함함

Fixes

• 테이블명에 space가 있을 경우 디비지움 커넥터는 select 문의 덮어쓰기 파싱에 실패함

Other changes

• pg 드라이버를 42.4.0으로 업그레이드함
• 몽고DB 드라이버를 4.6.1로 업그레이드함

Release 2.0.0.Alpha2

Kafka 호환성

• 카프카 커넥트 3.3.1, 카프카 브로커 3.3.1와 호환됨

Breaking changes

• MySQL 커넥터가 FLOAT 데이터타입을 FLOAT64로 표현함. 이제 올바른 FLOAT32 타입이 사용됨
• 몽고DB가 이제 oplog로부터 스트리밍을 더이상 지원하지 않음. 커넥터는 이제 완전히 change streams streaming으로 바뀜
• 모든 커넥터가 이제 다중 파티션된 코드베이스를 사용함. 이 부분은 오직 프로젝트 개발자에게만 영향이 있음
• 모든 만료된 설정 옵션이 제거됨

New Features 

• CDC리더에 대해 SQL Server 커넥터는 유저가 올바른 권한이 없으면 실패함
• ByLogicalTableRouter 캐시에 대한 캐시 사이즈 속성을 설정할 수 있음
• 쿼리 디비지움 버전에 대한 새로운 확장 api를 도입함
• 스키마 변화 이벤트에 대한 처리 시간을 식별하기 위해 "ts_ms"라는 새로운 필드를 도입함

Fixes

• 오라클 doc가 archive_log_target이 아닌 archive_lag_target을 참조하는 것을 수정함

Other changes

• 오라클 드라이버를 21.5.0.0로 업그레이드함

Release 2.0.0.Alpha1

Kafka 호환성

• 카프카 커넥트 3.1.0, 카프카 브로커 3.1.0와 호환됨

Breaking changes

• kafka 커넥트 플러그인, 디비지움 엔진, 디비지움 서버 등 디비지움을 시작하는데 Java 11이 요구됨
• 디비지움을 빌드하는데 maven 3.8.4가 요구됨
• pg 커넥터가 더이상 트랜잭션과 디본값 지원을 가지지 않는 protobuf 디코딩 플러그인의 옛 버전을 지원하지 않음
• pg 커넥터가 더이상 wal2json 디코딩 플러그인을 지원하지 않음. 대신 pgoutput 디코딩 플러그인을 권장함
• MySQL 커넥터의 구식 기능을 제거함
• 디비지움 컨테이너 이미지 내에 컨플루언트 에이브로 컨버터가 존재하지 않음
• MySQL 커넥터에서 JDBC 구식 date/time 속성 지원이 제거됨

New Features 

• -

Fixes

• -

Other changes

• 오라클 database.url 설정에 대한 통합 테스트를 추가함
• 자바 11로 카산드라 3.x 커넥터를 빌드함

 

참고

• debezium doc
  Debezium Release Series 2.0