728x90 반응형 ETL38 [후기] Clickhouse Ver. 22 Doc 이전에 읽었던 내용을 이력으로 남기고자 한다.독서 기간은 아래와 같다.1회 차 : 2022-03-23 ~ 2022-06-292회 차 : 2022-06-29 ~ 2022-08-253회 차 : 2022-08-25 ~ 2022-09-26페이지가 약 1500였다. 뜬금없이 왠 Doc일수도 있다. 필자도 갑자기 Clickhouse를 하게 되었고 한국에서는 관련 번역본이 없어서 뭐를 참고해야 하나 싶다가 그냥 Doc를 읽어보자 싶어서 정독하였다. Doc라서 그런지 확실히 전반적인 내용에 대해 모두 나와 있었다. 그래서 클릭하우스가 무엇인지, 어떤 느낌인지 좀 더 자세히 알 수 있었다. 반면 내 업무 외의 내용도 들어있다보니 처음 정독할 때에는 내 업무에 관련이 있는지 몰라서 일단 읽었고, 두 번째 세 번.. 2024. 11. 19. [Schema Registry] 스키마 레지스트리 소개 목적 cdc의 인프라 확장 시 스키마 레지스트리의 도입을 검토하기 위함 도입 배경 Kafka와 같은 메시지 시스템에서는 데이터 형식을 명시적으로 정의하지 않으면 생산자와 소비자 간의 데이터 해석이 일관되지 않을 수 있음특히 메시지가 다양한 버전으로 진화하면서, 메타데이터와 데이터의 일관성을 유지하는 것이 복잡해짐 장단점장점메시지 크기 감소: 스키마를 분리해 중앙에서 관리함으로써 메시지 자체에 스키마를 포함할 필요가 없어지기 때문에 메시지 크기 감소스키마 진화 지원: 스키마 레지스트리는 각 스키마의 버전을 관리하므로, 데이터 구조가 진화할 때도 호환성 문제가 발생하지 않도록 지원함 예를 들어, 새로운 필드를 추가하거나 제거할 때 이전 버전과의 호환성을 유지생산자-소비자 간의 독립성: 스키마 레지스트리를.. 2024. 11. 13. [Debezium] Creation of replication slot failed 에러 조치 에러내용[2024-11-03 19:36:44,277] ERROR [june_test_01|task-0] WorkerSourceTask{id=june_test_01-0} Task threw an uncaught and unrecoverable exception. Task is being killed and will not recover until manually restarted (org.apache.kafka.connect.runtime.WorkerTask:212)io.debezium.DebeziumException: Creation of replication slot failed at io.debezium.connector.postgresql.PostgresConnectorTask.star.. 2024. 11. 11. [Zookeeper] Ver. 3.6.4 Release note 요약 New Feature- Improvement클라이언트가 연결을 종료할 때 spammy 스택트레이스를 로그하지 않도록 함 Bugsasl 로그인 또는 subject.doAs()의 느린 처리로 인해 zk 클라이언트가 서버가 응답하지 않았다고 잘못 가정하고 연결을 종료하며 불필요한 재시도를 하는 버그가 수정됨리더가 팔로워 노드에 설정되지 않은 경우 메트릭 실행 중 NPE를 방지하도록 함ZkDatabase.txnCount가 비트랜잭션 요청을 로깅하는 버그가 수정됨SyncThread와 CommitProcessor 스레드 간의 경쟁 상태가 발생하는 버그가 수정됨 Test- Wish- Task- Sub-task- 참고전체 Release note docIndex of /doc (apache.org)특정 버전 Releas.. 2024. 10. 22. 이전 1 2 3 4 ··· 10 다음 728x90 반응형
