728x90 반응형 데이터분석100 [Clickhouse] Ver. 20.8 Release note 요약 목적 upgrade에 따른 데이터 정합성, 성능 간 이슈 등을 사전에 체크하여 장애 발생을 방지 지속적으로 dbms 생명주기를 관리하여 신기술에 대한 인지 및 도입 방안 마련 읽기 전에 아래 내용은 Release note 내용 중 필요하다고 판단되는 부분 위주로 정리함 대체로 버전의 A.B 에서 A는 년(ex_ 20의 경우 2020년)을 의미하며 B는 월(ex_ 6의 경우 6월)을 의미함. 즉, 버전에서 Release date를 유추할 수 있음 중복된 내용의 경우 가장 낮은 버전(이전 버전)에서 최초 기입하며 이후 중복 기입하지 않음 Backward Incompatible Change Ver. 20.8.2.3 OPTIMIZE FINAL 쿼리문은 더이상 TTL이 생성되기 전 추가된 parts에 대해서는 다.. 2023. 12. 9. [Clickhouse] Ver. 20.7 Release note 요약 목적 upgrade에 따른 데이터 정합성, 성능 간 이슈 등을 사전에 체크하여 장애 발생을 방지 지속적으로 dbms 생명주기를 관리하여 신기술에 대한 인지 및 도입 방안 마련 읽기 전에 아래 내용은 Release note 내용 중 필요하다고 판단되는 부분 위주로 정리함 대체로 버전의 A.B 에서 A는 년(ex_ 20의 경우 2020년)을 의미하며 B는 월(ex_ 6의 경우 6월)을 의미함. 즉, 버전에서 Release date를 유추할 수 있음 중복된 내용의 경우 가장 낮은 버전(이전 버전)에서 최초 기입하며 이후 중복 기입하지 않음 Backward Incompatible Change Ver. 20.7.2.30 %(mod) 함수의 경우 부동소수점을 두개의 정수로 변환하지 않고 직접 나눗셈의 나머지로 처리.. 2023. 12. 3. ETL은 이대로 괜찮을까? 화제를 던진다기보다는 스스로에게 묻고 답을 구하고자 한다. 글을 쓰는 과정에서 답을 찾고자 한다. ETL은 이대로 괜찮은걸까? 데이터 파이프라인 관련 책을 읽어보고 ETL 관련 툴을 조사하니 예전 기술스택과는 많이 다르다는 점을 느끼고 있다. 결론부터 말하자면 ETL은 새로운 전환점을 맞이하고 있다고 표현하고 싶다. 가장 큰 두 가지 이유는 첫째로 OLAP DBMS의 지속적인 성장이다. PostgreSQL 10 버전에서 1000만 건을 아래 SQL로 조회해보았다. select i from generate_series(1,10000000) as i(i) ; 응답 시간은 평균 20분이었다. Clickhouse 22.6 버전에서 마찬가지로 천만 건의 데이터를 테이블에 생성하여 조회해보았다. select a f.. 2023. 1. 8. [후기] 데이터 파이프라인 핵심 가이드 카프카를 이용한 cdc를 운영하게 되어 데이터 파이프라인 개념을 한 싸이클 돌리고자 관련 책을 찾아보았다. 구글에 검색해보니 아래의 책이 눈에 띄었고 표지가 예뻐 목차도 봤다. 내용이 딱 내가 찾던 내용이었다. 제임스 댄스모어 저자로 표지는 아래와 같다. 독서 기간은 아래와 같다. 1회차 : 2022.12.09 ~ 2022.12.15 2회차 : 2022.12.15 ~ 2022.12.21 3회차 : 2022.12.21 ~ 2022.12.27 책은 224페이지로 생각보다 글씨도 컸다. 데이터 파이프라인이 생소했던 내게 뭐랄까 이정표 같은, 데이터 파이프라인이란 이런 것이다!의 깨달음을 원했지만 그러기에는 해당 책의 내용은 내용의 깊이 면에서 아쉬웠다. 어떤 용어가 나오면 이 용어는 이 책의 범주를 넘어서므로.. 2022. 12. 27. 이전 1 ··· 22 23 24 25 다음 728x90 반응형
