728x90 반응형 CDC31 [Jdbc Sink] 레코드에 not null 키 구조가 없어 발생하는 에러 에러내용 k:190) org.apache.kafka.connect.errors.ConnectException: Exiting WorkerSinkTask due to unrecoverable exception. at org.apache.kafka.connect.runtime.WorkerSinkTask.deliverMessages(WorkerSinkTask.java:610) at org.apache.kafka.connect.runtime.WorkerSinkTask.poll(WorkerSinkTask.java:330) at org.apache.kafka.connect.runtime.WorkerSinkTask.iteration(WorkerSinkTask.java:232) at org.apache.kafka.co.. 2023. 12. 25. [MongoDB] MongoDB 아키텍처 간단 소개 도입 배경 mongodb를 소스 DBMS로 사용중인 서비스에 대해 cdc 연결이 필요한 상황이 발생하였다. cdc 연결을 하기 전에 무지성으로 연동할 수는 없으니 어떻게 연동할지 전략이 필요하였다. 그래서 우선 테스트 환경을 구축하여 cdc 연결을 해보고자 MonogDB 설치를 진행해보고자 하였다. 고려 사항으로는 아래와 같았다. mongodb는 cdc가 가능한가? 가능하다면 캡쳐는 무슨 플러그인을 사용하는가? 무슨 데이터를 기준으로 데이터를 캡쳐하여 실시간으로 스트리밍하는가? cud가 전부 가능한가? 서비스에 사용중인 dbms 버전은? 지금 이 버전이 현재 cdc의 debezium connector(소스 커넥터)의 버전과 호환이 되는가? mongodb 테스트 시 어디까지 설치를 해봐야하는가? arbit.. 2023. 8. 6. ETL은 이대로 괜찮을까? 화제를 던진다기보다는 스스로에게 묻고 답을 구하고자 한다. 글을 쓰는 과정에서 답을 찾고자 한다. ETL은 이대로 괜찮은걸까? 데이터 파이프라인 관련 책을 읽어보고 ETL 관련 툴을 조사하니 예전 기술스택과는 많이 다르다는 점을 느끼고 있다. 결론부터 말하자면 ETL은 새로운 전환점을 맞이하고 있다고 표현하고 싶다. 가장 큰 두 가지 이유는 첫째로 OLAP DBMS의 지속적인 성장이다. PostgreSQL 10 버전에서 1000만 건을 아래 SQL로 조회해보았다. select i from generate_series(1,10000000) as i(i) ; 응답 시간은 평균 20분이었다. Clickhouse 22.6 버전에서 마찬가지로 천만 건의 데이터를 테이블에 생성하여 조회해보았다. select a f.. 2023. 1. 8. 이전 1 ··· 5 6 7 8 다음 728x90 반응형
