본문 바로가기
728x90
반응형

데이터엔지니어40

[Debezium] 1.6 Release Note 주요 내용 정리 목적 최신 버전 업그레이드 전, 영향도 평가하기 위함 툴별 버전별 호환성 표 Java 11+ Kafka Connect 1.x, 2.x MySQL Database: 5.7, 8.0.x Driver: 8.0.21 MongoDB Database: 3.2, 3.4, 3.6, 4.0, 4.2 Driver: 4.2.1 PostgreSQL Database: 9.6, 10, 11, 12 Driver: 42.2.14 Oracle Database: 12c, 19c Driver: 12.2.0.1, 19.8.0.0, 21.1.0.0 SQL Server Database: 2017, 2019 Driver: 7.2.2.jre8 Cassandra Database: 3.11.4 Driver: 3.11.0 Db2 Database: 11.. 2024. 1. 14.
[Jdbc Sink] 레코드에 not null 키 구조가 없어 발생하는 에러 에러내용 k:190) org.apache.kafka.connect.errors.ConnectException: Exiting WorkerSinkTask due to unrecoverable exception. at org.apache.kafka.connect.runtime.WorkerSinkTask.deliverMessages(WorkerSinkTask.java:610) at org.apache.kafka.connect.runtime.WorkerSinkTask.poll(WorkerSinkTask.java:330) at org.apache.kafka.connect.runtime.WorkerSinkTask.iteration(WorkerSinkTask.java:232) at org.apache.kafka.co.. 2023. 12. 25.
[MongoDB] MongoDB 아키텍처 간단 소개 도입 배경 mongodb를 소스 DBMS로 사용중인 서비스에 대해 cdc 연결이 필요한 상황이 발생하였다. cdc 연결을 하기 전에 무지성으로 연동할 수는 없으니 어떻게 연동할지 전략이 필요하였다. 그래서 우선 테스트 환경을 구축하여 cdc 연결을 해보고자 MonogDB 설치를 진행해보고자 하였다. 고려 사항으로는 아래와 같았다. mongodb는 cdc가 가능한가? 가능하다면 캡쳐는 무슨 플러그인을 사용하는가? 무슨 데이터를 기준으로 데이터를 캡쳐하여 실시간으로 스트리밍하는가? cud가 전부 가능한가? 서비스에 사용중인 dbms 버전은? 지금 이 버전이 현재 cdc의 debezium connector(소스 커넥터)의 버전과 호환이 되는가? mongodb 테스트 시 어디까지 설치를 해봐야하는가? arbit.. 2023. 8. 6.
[합격수기] 제 47회 SQLP 2019년 초 처음으로 sqlp 합격의 꿈을 꾸고 시작했던 일이 비로소 결실로 다가오게 되었다. 기쁜 마음 한가득, 새로운 시작에 대한 설렘 반 긴장 반으로 후기를 적고자 한다. 누적 공부 시간은 순수 10개월 정도였다. 누적 읽은 독서와 횟수는 아래와 같다. - 오라클 성능 고도화 1권 > 4회 정독- 오라클 성능 고도화 2권 > 4회 정독- 친절한 SQL 튜닝 > 약 10회 정독(기억도 가물가물함..)- SQL 자격검정 실전문제(일명 노랭이) 약 10회 정독- 국가공인 SQLP 자격검정 핵심노트 1권 > 3회 정독- 국가공인 SQLP 자격검정 핵심노트 2권 > 3회 정독 많이 몰라서 많이 읽었다. 처음 대학교 4학년 때 오라클 성능 고도화 1권을 폈다. 한글임에도 무슨 내용인지 몰랐다. 읽다보면 나아.. 2022. 12. 27.
728x90
반응형

티스토리툴바