728x90 반응형 카프카21 [Schema Registry] 스키마 레지스트리 소개 목적 cdc의 인프라 확장 시 스키마 레지스트리의 도입을 검토하기 위함 도입 배경 Kafka와 같은 메시지 시스템에서는 데이터 형식을 명시적으로 정의하지 않으면 생산자와 소비자 간의 데이터 해석이 일관되지 않을 수 있음특히 메시지가 다양한 버전으로 진화하면서, 메타데이터와 데이터의 일관성을 유지하는 것이 복잡해짐 장단점장점메시지 크기 감소: 스키마를 분리해 중앙에서 관리함으로써 메시지 자체에 스키마를 포함할 필요가 없어지기 때문에 메시지 크기 감소스키마 진화 지원: 스키마 레지스트리는 각 스키마의 버전을 관리하므로, 데이터 구조가 진화할 때도 호환성 문제가 발생하지 않도록 지원함 예를 들어, 새로운 필드를 추가하거나 제거할 때 이전 버전과의 호환성을 유지생산자-소비자 간의 독립성: 스키마 레지스트리를.. 2024. 11. 13. [Zookeeper] Ver. 3.8.2 Release note 요약 Improvement연결 URL에 호스트 이름이 제공될 때 호스트 이름 검증을 위한 역 DNS 조회를 피하도록 함 BugFIPS 모드에서 주키퍼에 연결하는데 일부 문제가 생기는 버그가 수정됨 참고전체 Release note docIndex of /doc (apache.org)특정 버전 Release note docZooKeeper: Because Coordinating Distributed Systems is a Zoo (apache.org) 2024. 10. 29. [Zookeeper] Ver. 3.5.7 Release note 요약 New Feature- Improvement클라이언트 측에서 서버 주체를 구성 가능하도록 함로컬 세션 매개변수를 문서화함클라이언트 포트가 동시에 평문 및 암호화된 연결을 지원하도록 허용함윈도우 OS에서 zkCli의 SET 명령어가 누락되는 부분이 수정됨클라이언트 및 Quorum에 대한 SASL(Kerberos) 인증과 SSL을 지원함Jackson을 2.9.10.1로, Owasp 플러그인을 5.2.4로 업데이트함러너에 로깅 코드를 로깅 가드로 이동함 BugC 클라이언트의 'zookeeper_close' 함수가 서버에 'CLOSE_OP' 요청을 보내지 않는 이슈가 해결됨비동기 콜백 내 경로의 chroot 부분이 제거되지 않는 버그가 수정됨IPv6 리터럴 사용을 수정함jute.maxbuffer보다 큰 트랜잭션.. 2024. 10. 14. [Debezium] Rebalancing 무한 루프 이슈 상황 하나의 노드에 2개의 디비지움 카프카 커넥트를 띄우고 있었음 근데 각각의 디비지움 A, B가 group.id가 1, 2로 지정되었고 internal 토픽들 3개(status, config, offset)도 모두 1, 2로 각각 지정되어 있었음 group.id를 하나로 통일해줌 이 상태에서 A 디비지움 프로듀서를 내렸다가 올렸더니 아래 에러 내용이 계속 발생함 에러 내용 [2024-02-14 16:59:59,982] INFO [Worker clientId=connect-1, groupId=testpc-source-connect-cluster] Rebalance started (org.apache.kafka.connect.runtime.distributed.WorkerCoordinator:221) [2.. 2024. 3. 1. 이전 1 2 3 4 ··· 6 다음 728x90 반응형
