본문 바로가기
728x90
반응형

데이터레이크16

[Clickhouse] Ver. 23.4 Release note 요약 목적 upgrade에 따른 데이터 정합성, 성능 간 이슈 등을 사전에 체크하여 장애 발생을 방지 지속적으로 dbms 생명주기를 관리하여 신기술에 대한 인지 및 도입 방안 마련 읽기 전에 아래 내용은 Release note 내용 중 필요하다고 판단되는 부분 위주로 정리함 버전의 A.B 에서 A는 년(ex_ 20의 경우 2020년)을 의미하며 B는 월(ex_ 6의 경우 6월)을 의미함. 즉, 버전에서 Release date를 유추할 수 있음 중복된 내용의 경우 가장 낮은 버전(이전 버전)에서 최초 기입하며 이후 중복 기입하지 않음 Upgrade Notes - Backward Incompatible Change formatDateTime() 함수 내 '%M'이 이제 분 대신 월 이름을 인쇄하므로 MySQL과 .. 2024. 5. 8.
[Clickhouse] Ver. 23.3 Release note 요약 목적 upgrade에 따른 데이터 정합성, 성능 간 이슈 등을 사전에 체크하여 장애 발생을 방지 지속적으로 dbms 생명주기를 관리하여 신기술에 대한 인지 및 도입 방안 마련 읽기 전에 아래 내용은 Release note 내용 중 필요하다고 판단되는 부분 위주로 정리함 버전의 A.B 에서 A는 년(ex_ 20의 경우 2020년)을 의미하며 B는 월(ex_ 6의 경우 6월)을 의미함. 즉, 버전에서 Release date를 유추할 수 있음 중복된 내용의 경우 가장 낮은 버전(이전 버전)에서 최초 기입하며 이후 중복 기입하지 않음 Upgrade Notes 가벼운 delete 연산이 운영 환경에서 사용할 준비가 됨. MergeTree 테이블은 기본적으로 delete 연산이 사용 가능함 domain*RFC 및 .. 2024. 5. 6.
[Kafka] 3.3.x Release note 주요 내용 정리 목적 카프카 브로커의 버전 업그레이드 시 발생할 수 있는 사이드 이펙트를 사전파악 및 대응, 신기술에 대한 도입 검토하기 위함 Release note Clause 3.3.0 Notable Changes 새로운 클러스터에서 KRaft 모드가 운영 준비가 됨 키가 없는 레코드에 기본적으로 사용되는 파티셔너가, 하나 이상의 브로커가 느릴 때 이상한 동작을 방지하도록 개선됨. 새로운 로직은 배치 처리 동작에 영향을 미칠 수 있으며 이는 batch.size 또는 linger.ms 설정을 통해 조정할 수 있음. 또한 partitioner.class=org.apache.kafka.clients.producer.internals.DefaultPartitioner를 사용하여 이전 동작으로 원복할 수 있음 위에서 설명한 .. 2024. 2. 16.
[Kafka] 3.2.x Release note 주요 내용 정리 목적 카프카 브로커의 버전 업그레이드 시 발생할 수 있는 사이드 이펙트를 사전파악 및 대응, 신기술에 대한 도입 검토하기 위함 Release note Clause 3.2.0 Notable Changes 프로듀서에 대한 Idempotence 설정이 다른 설정과 충돌하지 않으면 기본적으로 활성화됨. 3.0.0과 3.1.0에서는 버그가 있어 이 기능을 막았고 명시적으로 enable.idempotence를 true로 설정했어야 적용되었음. 3.0.1과 3.1.1, 3.2.0에서는 기본적으로 동작을 함 카프카가 보안 이슈로 log4j와 slf4j-log4j12를 reload4j와 slf4j-reload4j로 교체함 기본 classpath에서 예시 커넥터로 FileStreamSourceConnector와 FileS.. 2024. 2. 14.
728x90
반응형