728x90 반응형 Data PipeLine/Kafka9 [Kafka] 카프카 시작 시 주키퍼 id 충돌 이슈 상황 전사 전기 장비 관련하여 점검이 있어 모든 테스트 PC가 재부팅됨. 주키퍼와 브로커는 자동 재시작처리하지 않아 수동으로 시작하려고 했더니 에러 발생 에러 내용 [2024-02-13 14:34:40,718] ERROR Error while creating ephemeral at /brokers/ids/3, node already exists and owner '144143570463227906' does not match current session '216389134594146305' (kafka.zk.KafkaZkClient$CheckedEphemeral) [2024-02-13 14:34:40,723] ERROR [KafkaServer id=3] Fatal error during KafkaServ.. 2024. 2. 28. [Kafka] 3.6.x Release note 주요 내용 정리 목적 카프카 브로커의 버전 업그레이드 시 발생할 수 있는 사이드 이펙트를 사전파악 및 대응, 신기술에 대한 도입 검토하기 위함 Release note Clause 3.6.0 Notable Changes 아파치 브로커는 이제 같은 포트에 대해 IPv4와 IPV6 리스너를 가지는 것을 지원함. advertised 리스너는 이미 동작중이고 이 non-advertised 리스너도 적용되는 의미 아파치 주키퍼 의존성이 3.6가 EOF에 도달하여 3.8.1로 업그레이드 됨. 2.4버전의 클러스터에서는 바로 업그레이드가 되고 2.4 미만에서는 2.4 < 버전 < 3.6 사이로 한번 경유해야 함 log.message.timestamp.difference.max.ms 설정이 만료됨. 이제 log.message.times.. 2024. 2. 19. [Kafka] 3.5.x Release note 주요 내용 정리 목적 카프카 브로커의 버전 업그레이드 시 발생할 수 있는 사이드 이펙트를 사전파악 및 대응, 신기술에 대한 도입 검토하기 위함 Release note Clause 3.5.0 Notable Changes 키당 여러 레코드 버전을 저장할 수 있는 새로운 상태 저장소 유형인 "버전별 키-값 저장소"가 도입되어, 타임스탬프가 지정된 타임스탬프 기준의 최신 레코드(키당)를 반환하는 타임스탬프 검색 작업이 가능해짐 Table 집계 시맨틱이 더욱 개선되어 이제 가짜 중간 결과를 방지함 카프카 스트림즈의 ProductionExceptionHandler가 개선되어 이제 직렬화 에러를 커버함 만료된 alterConfigs API 대신 미러메이커는 이제 토픽 설정을 동기화하기 위해 incrementalAlterConfigs.. 2024. 2. 18. [Kafka] 3.4.x Release note 주요 내용 정리 목적 카프카 브로커의 버전 업그레이드 시 발생할 수 있는 사이드 이펙트를 사전파악 및 대응, 신기술에 대한 도입 검토하기 위함 Release note Clause 3.4.0 Notable Changes SASL JAAS 설정 내 문제가 되는 로그인 모듈 사용을 비활성화하기 위해 시스템 속성인 org.apache.kafka.disallowed.login.modules를 3.4.0부터 추가함. 기본값은 비활성화임 New Feature JmxReporter registration을 비활성화함 결과 레코드를 브로드캐스트하도록 허용함 컨슈머 프로토콜에 "generation" 필드를 추가함 Improvement 처리 내 재할당할 때 자동 선호 선출을 막지 않음 --bootstrap-server kafka-strea.. 2024. 2. 17. 이전 1 2 3 다음 728x90 반응형
