본문 바로가기
728x90
반응형

전체 글385

[Confluent Jdbc Sink] 10.7.x Release note 주요 내용 정리 목적 주요 변경점 파악하여 인프라 확장 설계시 참고하기 위함 버전별 Release note 요약 Version 10.7.4 오라클과 Postgres dialects에서 NEVER 값에 대해 quote.sql.identifiers 설정값이 동작하지 않는 버그가 수정됨 fetch된 DB 테이블에 대해 시작하거나 기다릴 때 적어도 하나의 타스크가 항상 생성되도록 소스 커넥터 행동을 갱신함 Version 10.7.3 - Version 10.7.2 오라클 JDBC에서 Double 또는 Float 값을 바인딩할 때 언더플로우 이슈가 발생하는 버그가 수정됨 Version 10.7.1 - Version 10.7.0 SQL Server에서 MERGE INTO를 사용할 때 HOLDLOCK을 활성화/비활성화할 수 있는 옵션.. 2024. 2. 21.
[Confluent Jdbc Sink] 10.6.x Release note 주요 내용 정리 목적 주요 변경점 파악하여 인프라 확장 설계시 참고하기 위함 버전별 Release note 요약 Version 10.6.5 커넥터의 로깅을 개선함 Version 10.6.4 JDBC 소스 커넥터가 Sybase jConnect JDBC 4 드라이버를 지원하도록 수정함 SQL문을 조건적으로 마스킹하는 설정이 추가됨 Version 10.6.3 - Version 10.6.2 오라클 DB의 CLOB 컬럼에 대해 setChracterStream에 길이 파라미터를 추가하여 성능을 개선함 Version 10.6.1 Sysbase DB에 JDBC 싱크 커넥터가 널 값을 포함한 레코드를 전송하는 것을 실패하는 버그가 수정됨 BatchUpdateException으로부터 민감성 데이터를 제거함 Version 10.6.0 in.. 2024. 2. 20.
[Kafka] 3.6.x Release note 주요 내용 정리 목적 카프카 브로커의 버전 업그레이드 시 발생할 수 있는 사이드 이펙트를 사전파악 및 대응, 신기술에 대한 도입 검토하기 위함 Release note Clause 3.6.0 Notable Changes 아파치 브로커는 이제 같은 포트에 대해 IPv4와 IPV6 리스너를 가지는 것을 지원함. advertised 리스너는 이미 동작중이고 이 non-advertised 리스너도 적용되는 의미 아파치 주키퍼 의존성이 3.6가 EOF에 도달하여 3.8.1로 업그레이드 됨. 2.4버전의 클러스터에서는 바로 업그레이드가 되고 2.4 미만에서는 2.4 < 버전 < 3.6 사이로 한번 경유해야 함 log.message.timestamp.difference.max.ms 설정이 만료됨. 이제 log.message.times.. 2024. 2. 19.
[Kafka] 3.5.x Release note 주요 내용 정리 목적 카프카 브로커의 버전 업그레이드 시 발생할 수 있는 사이드 이펙트를 사전파악 및 대응, 신기술에 대한 도입 검토하기 위함 Release note Clause 3.5.0 Notable Changes 키당 여러 레코드 버전을 저장할 수 있는 새로운 상태 저장소 유형인 "버전별 키-값 저장소"가 도입되어, 타임스탬프가 지정된 타임스탬프 기준의 최신 레코드(키당)를 반환하는 타임스탬프 검색 작업이 가능해짐 Table 집계 시맨틱이 더욱 개선되어 이제 가짜 중간 결과를 방지함 카프카 스트림즈의 ProductionExceptionHandler가 개선되어 이제 직렬화 에러를 커버함 만료된 alterConfigs API 대신 미러메이커는 이제 토픽 설정을 동기화하기 위해 incrementalAlterConfigs.. 2024. 2. 18.
[Kafka] 3.4.x Release note 주요 내용 정리 목적 카프카 브로커의 버전 업그레이드 시 발생할 수 있는 사이드 이펙트를 사전파악 및 대응, 신기술에 대한 도입 검토하기 위함 Release note Clause 3.4.0 Notable Changes SASL JAAS 설정 내 문제가 되는 로그인 모듈 사용을 비활성화하기 위해 시스템 속성인 org.apache.kafka.disallowed.login.modules를 3.4.0부터 추가함. 기본값은 비활성화임 New Feature JmxReporter registration을 비활성화함 결과 레코드를 브로드캐스트하도록 허용함 컨슈머 프로토콜에 "generation" 필드를 추가함 Improvement 처리 내 재할당할 때 자동 선호 선출을 막지 않음 --bootstrap-server kafka-strea.. 2024. 2. 17.
[Kafka] 3.3.x Release note 주요 내용 정리 목적 카프카 브로커의 버전 업그레이드 시 발생할 수 있는 사이드 이펙트를 사전파악 및 대응, 신기술에 대한 도입 검토하기 위함 Release note Clause 3.3.0 Notable Changes 새로운 클러스터에서 KRaft 모드가 운영 준비가 됨 키가 없는 레코드에 기본적으로 사용되는 파티셔너가, 하나 이상의 브로커가 느릴 때 이상한 동작을 방지하도록 개선됨. 새로운 로직은 배치 처리 동작에 영향을 미칠 수 있으며 이는 batch.size 또는 linger.ms 설정을 통해 조정할 수 있음. 또한 partitioner.class=org.apache.kafka.clients.producer.internals.DefaultPartitioner를 사용하여 이전 동작으로 원복할 수 있음 위에서 설명한 .. 2024. 2. 16.
[Kafka] 3.2.x Release note 주요 내용 정리 목적 카프카 브로커의 버전 업그레이드 시 발생할 수 있는 사이드 이펙트를 사전파악 및 대응, 신기술에 대한 도입 검토하기 위함 Release note Clause 3.2.0 Notable Changes 프로듀서에 대한 Idempotence 설정이 다른 설정과 충돌하지 않으면 기본적으로 활성화됨. 3.0.0과 3.1.0에서는 버그가 있어 이 기능을 막았고 명시적으로 enable.idempotence를 true로 설정했어야 적용되었음. 3.0.1과 3.1.1, 3.2.0에서는 기본적으로 동작을 함 카프카가 보안 이슈로 log4j와 slf4j-log4j12를 reload4j와 slf4j-reload4j로 교체함 기본 classpath에서 예시 커넥터로 FileStreamSourceConnector와 FileS.. 2024. 2. 14.
[Kafka] 3.1.x Release note 주요 내용 정리 목적 카프카 브로커의 버전 업그레이드 시 발생할 수 있는 사이드 이펙트를 사전파악 및 대응, 신기술에 대한 도입 검토하기 위함 Release note Clause 3.1.0 Notable Changes 아파치 카프카가 자바 17 버전을 지원함 아래 메트릭이 만료되어 다음으로 사용해야 함 bufferpool-wait-time-total > bufferpool-wait-time-ns-total io-waittime-total > io-wait-time-ns-total iotime-total > io-time-ns-total eager 리밸런싱 프로토콜이 이제 제거됨. 따라서, 카프카 브로커 2.4 이전 버전을 사용하는 유저는 2.4 - 3.1 사이 버전을 한번 경우해야 함 New Feature OIDC에 대.. 2024. 2. 13.
[Kafka] 3.0.x Release note 주요 내용 정리 목적 카프카 브로커의 버전 업그레이드 시 발생할 수 있는 사이드 이펙트를 사전파악 및 대응, 신기술에 대한 도입 검토하기 위함 Release note Clause 3.0.0 Notable Changes(다른 항목과 중복될 수 있음) 프로듀서의 메시지 전달이 기본적으로 강력하게 강화됨 idempotence가 활성화됨 acks 가 1 대신 all로 설정됨 주키퍼가 3.6.3 버전으로 업그레이드 됨 Kraft 모드의 미리보기 기능이 가능함 컨슈머 설정 중 session.timeout.ms의 기본값이 10초에서 45초로 증가됨 브로커 설정의 log.message.format.version과 토픽 설정의 message.format.version이 만료됨. 이 두 값은 만약 inter.broker.protocol... 2024. 2. 12.
728x90
반응형

티스토리툴바