728x90 반응형 da2 [후기] 핵심 데이터 모델링 DAP 자격증 관련으로 마지막 이론 공부를 위하여 아래의 책을 읽었다. 독서 기간은 아래와 같다. 1회 차 : 2023-03-25 ~ 2023-03-28 2회 차 : 2023-03-28 ~ 2023-03-31 3회 차 : 2023-03-31 ~ 2023-04-03 거의 4일에 한번씩 정독 한 것 같다. 나중엔 A 예제가 나오면 바로 다음의 B 예제까지 떠올랐다. 내용이 색달랐다. 거기서 거기일 줄 알았더니 또다른 충격을 받았다. 가장 최근에 읽은 김기창 선배님의 데이터 모델링 강의 책이 기술적인 부분에서 내부적으로 파고 드는 느낌(단단해지는 느낌?)이였다면 이 책은 도메인적인 부분에서 외부적으로 확장하는 느낌이었다. 그리고 두 번째 정독에서 확장 당하는 느낌을 받아 머리가 아찔하였다(실제로 어지러워 잠깐.. 2023. 4. 3. ETL은 이대로 괜찮을까? 화제를 던진다기보다는 스스로에게 묻고 답을 구하고자 한다. 글을 쓰는 과정에서 답을 찾고자 한다. ETL은 이대로 괜찮은걸까? 데이터 파이프라인 관련 책을 읽어보고 ETL 관련 툴을 조사하니 예전 기술스택과는 많이 다르다는 점을 느끼고 있다. 결론부터 말하자면 ETL은 새로운 전환점을 맞이하고 있다고 표현하고 싶다. 가장 큰 두 가지 이유는 첫째로 OLAP DBMS의 지속적인 성장이다. PostgreSQL 10 버전에서 1000만 건을 아래 SQL로 조회해보았다. select i from generate_series(1,10000000) as i(i) ; 응답 시간은 평균 20분이었다. Clickhouse 22.6 버전에서 마찬가지로 천만 건의 데이터를 테이블에 생성하여 조회해보았다. select a f.. 2023. 1. 8. 이전 1 다음 728x90 반응형
