[Kafka] 3.4.x Release note 주요 내용 정리

목적

  카프카 브로커의 버전 업그레이드 시 발생할 수 있는 사이드 이펙트를 사전파악 및 대응, 신기술에 대한 도입 검토하기 위함

Release note Clause

3.4.0

Notable Changes

• SASL JAAS 설정 내 문제가 되는 로그인 모듈 사용을 비활성화하기 위해 시스템 속성인 org.apache.kafka.disallowed.login.modules를 3.4.0부터 추가함. 기본값은 비활성화임

New Feature

• JmxReporter registration을 비활성화함
• 결과 레코드를 브로드캐스트하도록 허용함
• 컨슈머 프로토콜에 "generation" 필드를 추가함

Improvement

• 처리 내 재할당할 때 자동 선호 선출을 막지 않음
• --bootstrap-server kafka-streams-apllication-reset 을 지원함
• 미러메이커2 내 카프카 리소스를 관리하기 위한 새로운 인터페이스를 도입함
• Standalone 커넥트 워커는 시작 시 커넥트 설정을 요구하지 않음
• 커넥트 증분 리밸런싱 로직에 대한 잠재적인 개선이 있음
• FileStreamSinkConnector와 FileStreamSourceConnector가 타스크에 전체 설정을 전파하도록 함
• 파일 소스 커넥터가 KIP-618 APIs를 구현하도록 함
• 미러메이커 내 싱크 오프셋 실패의 처리를 개선함
• 프로듀서 ID 만료에 대한 설정을 분리함
• 카프카 커넥트에 의해 사용되는 내부 카프카 클라이언트는 구분가능한 클라이언트ID를 가지도록 함
• 보안 취약성을 다루기 위해 주키퍼를 3.7.1로 업그레이드함
• KafkaOffsetBackingStore가 톰스톤 메시지에서 소스 파티션에 대한 오프셋을 클리어하도록 함
• ObjectSerializationCache의 불필요한 사용을 제거함

Bug

• BytesBufferSerializer가 오프셋과 호환되지 않는 버그가 수정됨
• 균형적이지 못한 커넥터/타스크 분산이 커넥트의 증분 협력적 할당자한테 나타날 수 있는 버그가 수정됨
• 타스크가 실패했음에도 소스 타스크 오프셋 커밋이 계속 이어지는 버그가 수정됨
• 커넥트 RestClinet가 요청 실패에 대한 응답 상태 코드를 덮어쓰는 버그가 수정됨
• 만약 업스트림 non-eky-changing 오퍼레이션이 키 직렬화를 변경하면 KTable FK 조인이 레코드를 누락할 수 있는 버그가 수정됨
• 플러그인이 삭제될 때 커넥터 콜 받는 것을 실패하는 버그가 수정됨
• 커넥터 헤더 컨버터가 전혀 닫히질 않는 버그가 수정됨
• 정적 멤버가 리조인할 때 리밸런스 타임아웃이 갱신되지 않는 버그가 수정됨
• ttl이 포함된 ConfigProvider가 타스크 재시작을 실패하는 버그가 수정됨
• 오프셋이 직렬하될수 없음에도 소스 타스크 프로듀서가 트랜잭션을 커밋하는 버그가 수정됨
• 미러메이커 커넥터가 토픽 생성에 사용되는 어드민 클라이언트를 누락하는 버그가 수정됨
• 파티션이 할당되지 않았을 때 실패한 fetch를 올바르게 처리하지 못하는 버그가 수정됨
• metadat.a.log.dir을 사용할 때 .lock 파일을 누락하는 버그가 수정됨

Task

• -

Test

• -

Sub-task

• 카프카 컨슈머에 대해 --rack-aware 파티션 할당을 지원함
• 클러스터 메타데이터 파티션에 대하여 retention에 근거한 기본 크기를 변경함

3.4.1

Notable Changes

• -

New Feature

• -

Improvement

• 시작시 미러메이커2는 모든 오프셋 동기화를 읽도록 함
• 설정이 비어있을 때 주키퍼 내 쿼타 노드를 제거함

Bug

• flush 작업 시 동기화가 제대로 이루어지지 않는 버그가 수정됨
• 미러메이커2가 가끔 파티션 오프셋 동기화를 올바르게 하지 못하는 버그가 수정됨
• 협럭적인 리밸런스 내 예상했던것보다 더 많은 파티션을 취소하는 버그가 수정됨
• raft IO 스레드 실패 후에 프로세스가 멈추는 버그가 수정됨
• KRaft 컨트롤러와 ProcessExitingFaultHandler가 데드락 셧다운을 일으킬 수 있는 버그가 수정됨
• kafka-metadat-qurorum.sh가 --command-config를 고려하지 않는 버그가 수정됨
• 협럭적인 변역 로직이 양수의 max.offset.loag을 초과할 때 미러메이커2가 오프셋 싱크를 방출하지 못하는 버그가 수정됨
• 커넥터가 비어있는 트랜잭션을 중단하려고 하면 소스 타스크가 실패하는 버그가 수정됨
• 소스 타스크에 의해 아무런 레코드도 생성되지 않았다고 커넥트가 올바르지 못하게 로깅하는 버그가 수정됨
• 리더십을 포기하는 동안 KRaft 컨트롤러 노드가 셧다운되는 버그가 수정됨
• kraft 컨트롤러에 대해 파티션 개수 메트릭이 올바르지 못한 버그가 수정됨

Task

• -

Test

• -

Sub-task

• -

참고

• 3.4.0 Release note doc
  archive.apache.org/dist/kafka/3.4.0/RELEASE_NOTES.html
• 3.4.1 Release note doc
  archive.apache.org/dist/kafka/3.4.1/RELEASE_NOTES.html
• 3.4.0 Notable Changes doc
  Apache Kafka