728x90 반응형 Data PipeLine28 [Jdbc Sink] 레코드에 not null 키 구조가 없어 발생하는 에러 에러내용 k:190) org.apache.kafka.connect.errors.ConnectException: Exiting WorkerSinkTask due to unrecoverable exception. at org.apache.kafka.connect.runtime.WorkerSinkTask.deliverMessages(WorkerSinkTask.java:610) at org.apache.kafka.connect.runtime.WorkerSinkTask.poll(WorkerSinkTask.java:330) at org.apache.kafka.connect.runtime.WorkerSinkTask.iteration(WorkerSinkTask.java:232) at org.apache.kafka.co.. 2023. 12. 25. [Debezium] 최초 스냅샷 뜰 경우 OOM 에러 조치 에러 내용 [2023-12-08 14:46:11,583] WARN (org.eclipse.jetty.util.thread.QueuedThreadPool:1048) java.lang.OutOfMemoryError: Java heap space [2023-12-08 14:46:11,583] INFO [schema_30|task-0] [Producer clientId=connector-producer-schema_30-0] Closing the Kafka producer with timeoutMillis = 30000 ms. (org.apache.kafka.clients.producer.KafkaProducer:1204) [2023-12-08 14:46:11,583] ERROR [schema_30|task-0.. 2023. 12. 11. [Zookeeper] Zookeeper 소개 주키퍼 도입 배경 과거에는 한 대의 컴퓨터에서 동작하는 단일 프로그램이 대다수였으나, 현재 빅데이터와 클라우드 환경에선 대규모의 시스템들이 동작하고 있음 이 대규모 시스템은 수많은 서버와 인프라로 구성 되어 애플리케이션 기능을 함 복잡한 시스템 구조로 인하여 각 애플리케이션이 공유하고 있는 클러스터 자원에 무분별한 쓰기 동작으로 인한 경쟁 상태가 발생할 수도 있고, 단일 장애점이 쉽게 발생되기도 함 결국 이 개별적인 시스템들을 각각 조율해야 하는 코디네이션 시스템의 수요가 발생 이러한 분산 코디네이션 시스템의 수요가 발생하더라도, 정작 대강 만들거나 필요한 로직에 집중하지 못하게 되는 경우가 많아짐 주키퍼는 무엇인가? 분산 코디네이션 서비스를 제공하는 오픈소스 개발자가 코디네이션 로직보다는 비즈니스 핵심.. 2023. 7. 14. ETL은 이대로 괜찮을까? 화제를 던진다기보다는 스스로에게 묻고 답을 구하고자 한다. 글을 쓰는 과정에서 답을 찾고자 한다. ETL은 이대로 괜찮은걸까? 데이터 파이프라인 관련 책을 읽어보고 ETL 관련 툴을 조사하니 예전 기술스택과는 많이 다르다는 점을 느끼고 있다. 결론부터 말하자면 ETL은 새로운 전환점을 맞이하고 있다고 표현하고 싶다. 가장 큰 두 가지 이유는 첫째로 OLAP DBMS의 지속적인 성장이다. PostgreSQL 10 버전에서 1000만 건을 아래 SQL로 조회해보았다. select i from generate_series(1,10000000) as i(i) ; 응답 시간은 평균 20분이었다. Clickhouse 22.6 버전에서 마찬가지로 천만 건의 데이터를 테이블에 생성하여 조회해보았다. select a f.. 2023. 1. 8. 이전 1 ··· 4 5 6 7 다음 728x90 반응형
