728x90 반응형 Data PipeLine9 [Kafka] 카프카 시작 시 주키퍼 id 충돌 이슈 상황 전사 전기 장비 관련하여 점검이 있어 모든 테스트 PC가 재부팅됨. 주키퍼와 브로커는 자동 재시작처리하지 않아 수동으로 시작하려고 했더니 에러 발생에러 내용[2024-02-13 14:34:40,718] ERROR Error while creating ephemeral at /brokers/ids/3, node already exists and owner '144143570463227906' does not match current session '216389134594146305' (kafka.zk.KafkaZkClient$CheckedEphemeral)[2024-02-13 14:34:40,723] ERROR [KafkaServer id=3] Fatal error during KafkaServer.. 2024. 2. 28. [Jdbc Sink] 레코드에 not null 키 구조가 없어 발생하는 에러 에러내용k:190)org.apache.kafka.connect.errors.ConnectException: Exiting WorkerSinkTask due to unrecoverable exception. at org.apache.kafka.connect.runtime.WorkerSinkTask.deliverMessages(WorkerSinkTask.java:610) at org.apache.kafka.connect.runtime.WorkerSinkTask.poll(WorkerSinkTask.java:330) at org.apache.kafka.connect.runtime.WorkerSinkTask.iteration(WorkerSinkTask.java:232) .. 2023. 12. 25. [Debezium] 최초 스냅샷 뜰 경우 OOM 에러 조치 에러 내용[2023-12-08 14:46:11,583] WARN (org.eclipse.jetty.util.thread.QueuedThreadPool:1048)java.lang.OutOfMemoryError: Java heap space[2023-12-08 14:46:11,583] INFO [schema_30|task-0] [Producer clientId=connector-producer-schema_30-0] Closing the Kafka producer with timeoutMillis = 30000 ms. (org.apache.kafka.clients.producer.KafkaProducer:1204)[2023-12-08 14:46:11,583] ERROR [schema_30|task-0] P.. 2023. 12. 11. [Zookeeper] Zookeeper 소개 주키퍼 도입 배경과거에는 한 대의 컴퓨터에서 동작하는 단일 프로그램이 대다수였으나, 현재 빅데이터와 클라우드 환경에선 대규모의 시스템들이 동작하고 있음이 대규모 시스템은 수많은 서버와 인프라로 구성 되어 애플리케이션 기능을 함복잡한 시스템 구조로 인하여 각 애플리케이션이 공유하고 있는 클러스터 자원에 무분별한 쓰기 동작으로 인한 경쟁 상태가 발생할 수도 있고, 단일 장애점이 쉽게 발생되기도 함결국 이 개별적인 시스템들을 각각 조율해야 하는 코디네이션 시스템의 수요가 발생이러한 분산 코디네이션 시스템의 수요가 발생하더라도, 정작 대강 만들거나 필요한 로직에 집중하지 못하게 되는 경우가 많아짐주키퍼는 무엇인가?분산 코디네이션 서비스를 제공하는 오픈소스개발자가 코디네이션 로직보다는 비즈니스 핵심 로직에 집중하.. 2023. 7. 14. 이전 1 2 3 다음 728x90 반응형
