728x90 반응형 아파치16 [Kafka] 3.2.x Release note 주요 내용 정리 목적 카프카 브로커의 버전 업그레이드 시 발생할 수 있는 사이드 이펙트를 사전파악 및 대응, 신기술에 대한 도입 검토하기 위함 Release note Clause 3.2.0 Notable Changes 프로듀서에 대한 Idempotence 설정이 다른 설정과 충돌하지 않으면 기본적으로 활성화됨. 3.0.0과 3.1.0에서는 버그가 있어 이 기능을 막았고 명시적으로 enable.idempotence를 true로 설정했어야 적용되었음. 3.0.1과 3.1.1, 3.2.0에서는 기본적으로 동작을 함 카프카가 보안 이슈로 log4j와 slf4j-log4j12를 reload4j와 slf4j-reload4j로 교체함 기본 classpath에서 예시 커넥터로 FileStreamSourceConnector와 FileS.. 2024. 2. 14. [Kafka] 3.1.x Release note 주요 내용 정리 목적 카프카 브로커의 버전 업그레이드 시 발생할 수 있는 사이드 이펙트를 사전파악 및 대응, 신기술에 대한 도입 검토하기 위함 Release note Clause 3.1.0 Notable Changes 아파치 카프카가 자바 17 버전을 지원함 아래 메트릭이 만료되어 다음으로 사용해야 함 bufferpool-wait-time-total > bufferpool-wait-time-ns-total io-waittime-total > io-wait-time-ns-total iotime-total > io-time-ns-total eager 리밸런싱 프로토콜이 이제 제거됨. 따라서, 카프카 브로커 2.4 이전 버전을 사용하는 유저는 2.4 - 3.1 사이 버전을 한번 경우해야 함 New Feature OIDC에 대.. 2024. 2. 13. [Kafka] 3.0.x Release note 주요 내용 정리 목적 카프카 브로커의 버전 업그레이드 시 발생할 수 있는 사이드 이펙트를 사전파악 및 대응, 신기술에 대한 도입 검토하기 위함 Release note Clause 3.0.0 Notable Changes(다른 항목과 중복될 수 있음) 프로듀서의 메시지 전달이 기본적으로 강력하게 강화됨 idempotence가 활성화됨 acks 가 1 대신 all로 설정됨 주키퍼가 3.6.3 버전으로 업그레이드 됨 Kraft 모드의 미리보기 기능이 가능함 컨슈머 설정 중 session.timeout.ms의 기본값이 10초에서 45초로 증가됨 브로커 설정의 log.message.format.version과 토픽 설정의 message.format.version이 만료됨. 이 두 값은 만약 inter.broker.protocol... 2024. 2. 12. [후기] Apache Airflow 기반의 데이터 파이프라인 데이터 엔지니어링이 되고자 바스 하렌슬락 외 1명이 지은 아래 책을 읽어보았다. 독서 기간은 아래와 같다. 1회 차 : 2022-12-27 ~ 2023-01-13 2회 차 : 2023-01-13 ~ 2023-01-22 3회 차 : 2203-01-23 ~ 2023-01-31 2월이 오기 전에 3회 정독을 끝내어 기쁘다. 이 책은 순수하게 모든 내용이 Airflow가 중심이다. Airflow를 통한 테스트, Airflow와 요즘 핫한 클라우드 서비스(AWS, Azure, GCS 등)의 콜라보 등을 소개해주는데 개인적으로 알차다고 생각한다. 특히 인상적이었던 부분은 클라우드 서비스에서 Airflow의 로직을 구현(클라우드 내 관리형 서비스를 통해)하는 부분이었는데, 마지막에 테스트에 사용된 데이터를 지우는 내.. 2023. 1. 31. 이전 1 2 3 4 다음 728x90 반응형
