728x90 반응형 주키퍼3 [Kafka] 카프카 시작 시 주키퍼 id 충돌 이슈 상황 전사 전기 장비 관련하여 점검이 있어 모든 테스트 PC가 재부팅됨. 주키퍼와 브로커는 자동 재시작처리하지 않아 수동으로 시작하려고 했더니 에러 발생 에러 내용 [2024-02-13 14:34:40,718] ERROR Error while creating ephemeral at /brokers/ids/3, node already exists and owner '144143570463227906' does not match current session '216389134594146305' (kafka.zk.KafkaZkClient$CheckedEphemeral) [2024-02-13 14:34:40,723] ERROR [KafkaServer id=3] Fatal error during KafkaServ.. 2024. 2. 28. [Kafka] 3.3.x Release note 주요 내용 정리 목적 카프카 브로커의 버전 업그레이드 시 발생할 수 있는 사이드 이펙트를 사전파악 및 대응, 신기술에 대한 도입 검토하기 위함 Release note Clause 3.3.0 Notable Changes 새로운 클러스터에서 KRaft 모드가 운영 준비가 됨 키가 없는 레코드에 기본적으로 사용되는 파티셔너가, 하나 이상의 브로커가 느릴 때 이상한 동작을 방지하도록 개선됨. 새로운 로직은 배치 처리 동작에 영향을 미칠 수 있으며 이는 batch.size 또는 linger.ms 설정을 통해 조정할 수 있음. 또한 partitioner.class=org.apache.kafka.clients.producer.internals.DefaultPartitioner를 사용하여 이전 동작으로 원복할 수 있음 위에서 설명한 .. 2024. 2. 16. [Zookeeper] Zookeeper 소개 주키퍼 도입 배경 과거에는 한 대의 컴퓨터에서 동작하는 단일 프로그램이 대다수였으나, 현재 빅데이터와 클라우드 환경에선 대규모의 시스템들이 동작하고 있음 이 대규모 시스템은 수많은 서버와 인프라로 구성 되어 애플리케이션 기능을 함 복잡한 시스템 구조로 인하여 각 애플리케이션이 공유하고 있는 클러스터 자원에 무분별한 쓰기 동작으로 인한 경쟁 상태가 발생할 수도 있고, 단일 장애점이 쉽게 발생되기도 함 결국 이 개별적인 시스템들을 각각 조율해야 하는 코디네이션 시스템의 수요가 발생 이러한 분산 코디네이션 시스템의 수요가 발생하더라도, 정작 대강 만들거나 필요한 로직에 집중하지 못하게 되는 경우가 많아짐 주키퍼는 무엇인가? 분산 코디네이션 서비스를 제공하는 오픈소스 개발자가 코디네이션 로직보다는 비즈니스 핵심.. 2023. 7. 14. 이전 1 다음 728x90 반응형
