728x90 반응형 데이터가공19 [Schema Registry] 스키마 레지스트리 소개 목적 cdc의 인프라 확장 시 스키마 레지스트리의 도입을 검토하기 위함 도입 배경 Kafka와 같은 메시지 시스템에서는 데이터 형식을 명시적으로 정의하지 않으면 생산자와 소비자 간의 데이터 해석이 일관되지 않을 수 있음특히 메시지가 다양한 버전으로 진화하면서, 메타데이터와 데이터의 일관성을 유지하는 것이 복잡해짐 장단점장점메시지 크기 감소: 스키마를 분리해 중앙에서 관리함으로써 메시지 자체에 스키마를 포함할 필요가 없어지기 때문에 메시지 크기 감소스키마 진화 지원: 스키마 레지스트리는 각 스키마의 버전을 관리하므로, 데이터 구조가 진화할 때도 호환성 문제가 발생하지 않도록 지원함 예를 들어, 새로운 필드를 추가하거나 제거할 때 이전 버전과의 호환성을 유지생산자-소비자 간의 독립성: 스키마 레지스트리를.. 2024. 11. 13. [Zookeeper] Ver. 3.7.2 Release note 요약 New Feature- ImprovementXXE 취약점 때문에 reload4j를 업그레이드함 BugMULTI 요청에 포함된 CREATE2 요청은 일반 CREATE 응답만 받는 버그가 수정됨QuorumPeer가 Thread.getId를 다른 의미로 오버라이드하는 버그가 수정됨SyncThread와 CommitProcessor 스레드 간의 경쟁 상태가 발생하는 버그가 수정됨 Test- Wish- Task- Sub-task- 참고전체 Release note docIndex of /doc (apache.org)특정 버전 Release note docZooKeeper: Because Coordinating Distributed Systems is a Zoo (apache.org) 2024. 10. 25. [Zookeeper] Ver. 3.7.1 Release note 요약 New Feature- ImprovementAdminServer가 HTTPS를 강제로 사용하도록 허용함옵저버 동기화 시간에 대한 메트릭을 추가함 BugClientCnxn에서 부적절한 동기화가 일어나는 버그가 수정됨ZooInspector가 노드 데이터가 null일 때 콘솔에 NullPointerExceptions를 던지는 버그가 수정됨재시작된 쿼럼 멤버로부터의 메시지 처리 중에 NPE가 발생하는 버그가 수정됨 Test- Wish- TaskZooKeeperServerController가 세션을 만료시킬 수 있도록 활성화함 Sub-task리더에서 긴 소켓 종료 시간에 의해 핑이 차단되는 것을 방지하기 위해 쿼럼 소켓을 비동기적으로 닫도록 함 참고전체 Release note docIndex of /doc (ap.. 2024. 10. 24. [Zookeeper] Ver. 3.7.0 Release note 요약 New FeatureC 클라이언트에 대한 SASL 인증 지원을 추가함주키퍼에 대한 벤치마크 도구를 추가함할당량 제한을 강제하도록 함자바에서 주키퍼 서버를 시작하기 위한 공식 API를 추가함SASL로 여러 superUsers를 허용하도록 함whoami API 및 Cli 명령을 추가함쿼럼 SASL 인증에서 호스트 이름을 선택적으로 정규화하도록 함 ImprovementzkCli에 명령어 실행 전 연결 대기 옵션을 추가함ZooKeeperServer 및 KerberosName에서 코드를 정리함클라이언트가 인증된 세션 ID를 로그에 기록하지 않음reconfig 노드에 ACL을 설정하지 않는 옵션을 추가함ZOO_ERRORS에 값 추가 시 zerror에 케이스를 추가하라는 주석을 추가함StandardCharsets을 .. 2024. 10. 23. 이전 1 2 3 4 5 다음 728x90 반응형