본문 바로가기
728x90
반응형

데이터파이프라인42

[Debezium] 1.6 Release Note 주요 내용 정리 목적 최신 버전 업그레이드 전, 영향도 평가하기 위함 툴별 버전별 호환성 표 Java 11+ Kafka Connect 1.x, 2.x MySQL Database: 5.7, 8.0.x Driver: 8.0.21 MongoDB Database: 3.2, 3.4, 3.6, 4.0, 4.2 Driver: 4.2.1 PostgreSQL Database: 9.6, 10, 11, 12 Driver: 42.2.14 Oracle Database: 12c, 19c Driver: 12.2.0.1, 19.8.0.0, 21.1.0.0 SQL Server Database: 2017, 2019 Driver: 7.2.2.jre8 Cassandra Database: 3.11.4 Driver: 3.11.0 Db2 Database: 11.. 2024. 1. 14.
[Debezium] 1.5 Release Note 주요 내용 정리 목적 최신 버전 업그레이드 전, 영향도 평가하기 위함 툴별 버전별 호환성 표 Java 8+ Kafka Connect 1.x, 2.x MySQL Database: 5.7, 8.0.x Driver: 8.0.21 MongoDB Database: 3.2, 3.4, 3.6, 4.0, 4.2 Driver: 4.1.1 PostgreSQL Database: 9.6, 10, 11, 12 Driver: 42.2.14 Oracle Database: 12c, 19c Driver: 12.2.0.1, 19.8.0.0 SQL Server Database: 2017, 2019 Driver: 7.2.2.jre8 Cassandra Database: 3.11.4 Driver: 3.5.0 Db2 Database: 11.5 Driver: 1.. 2024. 1. 13.
[Jdbc Sink] 레코드에 not null 키 구조가 없어 발생하는 에러 에러내용 k:190) org.apache.kafka.connect.errors.ConnectException: Exiting WorkerSinkTask due to unrecoverable exception. at org.apache.kafka.connect.runtime.WorkerSinkTask.deliverMessages(WorkerSinkTask.java:610) at org.apache.kafka.connect.runtime.WorkerSinkTask.poll(WorkerSinkTask.java:330) at org.apache.kafka.connect.runtime.WorkerSinkTask.iteration(WorkerSinkTask.java:232) at org.apache.kafka.co.. 2023. 12. 25.
[후기] Apache Airflow 기반의 데이터 파이프라인 데이터 엔지니어링이 되고자 바스 하렌슬락 외 1명이 지은 아래 책을 읽어보았다. 독서 기간은 아래와 같다. 1회 차 : 2022-12-27 ~ 2023-01-13 2회 차 : 2023-01-13 ~ 2023-01-22 3회 차 : 2203-01-23 ~ 2023-01-31 2월이 오기 전에 3회 정독을 끝내어 기쁘다. 이 책은 순수하게 모든 내용이 Airflow가 중심이다. Airflow를 통한 테스트, Airflow와 요즘 핫한 클라우드 서비스(AWS, Azure, GCS 등)의 콜라보 등을 소개해주는데 개인적으로 알차다고 생각한다. 특히 인상적이었던 부분은 클라우드 서비스에서 Airflow의 로직을 구현(클라우드 내 관리형 서비스를 통해)하는 부분이었는데, 마지막에 테스트에 사용된 데이터를 지우는 내.. 2023. 1. 31.
728x90
반응형

티스토리툴바