728x90 반응형 전체 글398 ETL은 이대로 괜찮을까? 화제를 던진다기보다는 스스로에게 묻고 답을 구하고자 한다. 글을 쓰는 과정에서 답을 찾고자 한다. ETL은 이대로 괜찮은걸까? 데이터 파이프라인 관련 책을 읽어보고 ETL 관련 툴을 조사하니 예전 기술스택과는 많이 다르다는 점을 느끼고 있다. 결론부터 말하자면 ETL은 새로운 전환점을 맞이하고 있다고 표현하고 싶다. 가장 큰 두 가지 이유는 첫째로 OLAP DBMS의 지속적인 성장이다. PostgreSQL 10 버전에서 1000만 건을 아래 SQL로 조회해보았다. select i from generate_series(1,10000000) as i(i) ; 응답 시간은 평균 20분이었다. Clickhouse 22.6 버전에서 마찬가지로 천만 건의 데이터를 테이블에 생성하여 조회해보았다. select a f.. 2023. 1. 8. [후기] 오만과 편견 제인 오스틴 작가의 오만과 편견을 최근 읽었다. 표지는 아래와 같다. 물론 다른 표지도 있었으나 저게 더 낭만적이라 저 책으로 골랐다. 독서 기간은 아래와 같다. 2022-12-11 ~ 2022-12-29 제목을 보고 표지의 글귀를 봐도 알 수 있겠지만 남자 주인공이 쌀쌀맞고 좀 건방지다. 그런 남자 주인공에게 훈수를 두는, 당돌한 여자 주인공의 이야기인데 사실 내용 자체는 어떻게 보면 뻔했다. 단지 주목할 부분이 있었다면 인물들의 내면에 대한 묘사가 아닌 바로 전개의 서술 방식이었다. 예를 들어 "나 배고파"를 아래와 같이 이 책에서는 표현하는 느낌이다. "오 당신은 지금 내 상태에 주목을 해주었으면 좋겠군요. 물론 그 것은 당신으로 하여금 공감적이지 않을수도, 뜬금 없을 수도 있긴 하지만요. 여하튼 .. 2023. 1. 8. [후기] 데이터 파이프라인 핵심 가이드 카프카를 이용한 cdc를 운영하게 되어 데이터 파이프라인 개념을 한 싸이클 돌리고자 관련 책을 찾아보았다. 구글에 검색해보니 아래의 책이 눈에 띄었고 표지가 예뻐 목차도 봤다. 내용이 딱 내가 찾던 내용이었다. 제임스 댄스모어 저자로 표지는 아래와 같다.독서 기간은 아래와 같다.1회차 : 2022.12.09 ~ 2022.12.152회차 : 2022.12.15 ~ 2022.12.213회차 : 2022.12.21 ~ 2022.12.27책은 224페이지로 생각보다 글씨도 컸다. 데이터 파이프라인이 생소했던 내게 뭐랄까 이정표 같은, 데이터 파이프라인이란 이런 것이다!의 깨달음을 원했지만 그러기에는 해당 책의 내용은 내용의 깊이 면에서 아쉬웠다. 어떤 용어가 나오면 이 용어는 이 책의 범주를 넘어서므로 굳이 .. 2022. 12. 27. [후기] 1일 1로그 100일 완성 IT 지식 IT에 대한 기초 지식이 부족하다고 판단되어 브라이언 w. 커니핸 작가의 1일 1로그 100일 완성 IT 지식 책을 읽어봤다. 표지는 아래와 같다.독서 기간은 아래와 같다.1회차 : 2022.11.06 ~ 2022.11.142회차 : 2022.11.14 ~ 2022.12.013회차 : 2022.12.01 ~ 2022.12.09책은 521페이지였고 하드웨어, 소프트웨어, 통신, 데이터에 대한 주제로 서술된다. 최신 트렌드에 대한 내용 위주로 나올 줄 알았으나 기원부터 소개가 되어 조금 당황스러웠다. 예를 들면 애니악이라던가 그런 부분은 물론 알면 좋지만 너무 실무와 동떨어져버린 고대 유물처럼 여겨졌다. 이 책을 읽으면서 느낀건, 기초지식이 필요한 전공자를 위한 책이라기보다는 기초지식이 아예 없는 비전공자가.. 2022. 12. 27. [합격수기] 제 47회 SQLP 관련 게시물 모음[후기] SQL 자격검정 실전문제 [후기] 국가공인 SQLP 자격검정 핵심노트 1[후기] 국가공인 SQLP 자격검정 핵심노트 2[후기] 친절한 SQL 튜닝[후기] SQL 전문가 가이드[합격수기] 제 37회 SQLD 2019년 초 처음으로 sqlp 합격의 꿈을 꾸고 시작했던 일이 비로소 결실로 다가오게 되었다. 기쁜 마음 한가득, 새로운 시작에 대한 설렘 반 긴장 반으로 후기를 적고자 한다. 누적 공부 시간은 순수 10개월 정도였다. 누적 읽은 독서와 횟수는 아래와 같다. - 오라클 성능 고도화 1권 > 4회 정독- 오라클 성능 고도화 2권 > 4회 정독- 친절한 SQL 튜닝 > 약 10회 정독(기억도 가물가물함..)- SQL 자격검정 실전문제(일명 노랭이) 약 10회 정독- 국가공인 SQ.. 2022. 12. 27. 나는 왜 일일 계획에 실패하는 걸까? 배가 부르니까 > 왜? 배가 부르면 졸리니까 > 왜? 배가 고파야 꼬르륵 거리면서 배가 아파서 잠이 깨니까 > 왜? 끝 잠을 부족하게 자서 > 왜? 전 날 목표하던 시간에 침대로 들어가지 못해서 > 왜? 유투브 보느라 > 왜? 짧은 영상을 계속 보느라 > 왜? 몇 분 안되는 시간 그냥 이 것만 보고 자야겠다 생각해서 > 왜? 내 인생에 몇 분 정도는 얼마 안되는 시간으로 여겨져서 > 왜? 끝 집에 계속 틀어박혀 있어서 > 왜? 햇볕을 못 보니까 > 왜? 평일에도 재택을 하니 나갈 일이 크게 없어서 > 왜? 코로나 때문에 > 왜? 끝 경쟁자가 없어서 > 왜? 이렇게 하는게 맞는 건지 가늠할 수 있거나 자극받을 수 있는 그런 게 없어서 > 왜? 혼자서는 비교가 안되니까 > 왜? 끝 2022. 4. 16. 옹알이_002 계속해서 겸손해지거라. 그릇의 움푹 파인 그 것처럼, 네 스스로를 낮추게 된다면 다른 사람들이 너를, 채우게 될 것이야. 2022. 3. 27. 나는 무엇을 좋아할까? 나는 바다 보러 가는 것을 좋아한다. 왜냐하면 답답했던 마음이 뻥 뚫리고 서울에선 그런 마음을 갖기가 어려우니까. 나는 독서하는 것을 좋아한다. 내가 예전과 다르다는 것을 실감하게 해주니까. 나는 초록색을 좋아한다. 보면 마음이 편해지니까. 나는 변화를 좋아한다. 고인물은 썩기 마련이니까. 나는 뉴에이지를 좋아한다. 가요는 너무 자극적이고 시끄러우니까. 나는 일일일지 쓰는 것을 좋아한다. 그 날을 온전히 내 것으로 만들 수 있게 되니까. 나는 뛰는 것을 좋아한다. 뛰는 동안에는 아무 생각도 나지 않으니까. 나는 심플한 것을 좋아한다. 나머지를 채울 수 있는 가능성을 나타내는 것이니까. 나는 e-book보다는 종이로 된 책을 좋아한다. 종이를 넘길 때마다 줄어드는 책의 두께가 실감이 나니까. 나는 혼자 사.. 2022. 3. 27. 나는 왜 공부를 하는 걸까? 가장 돈이 안드니까 > 왜? 다른 취미는 돈이 많이 드니까 > 왜? 기초 물품(장비 세팅 등) 준비부터 교통비, 식비 등이 수반 되니까 > 왜? 규모가 크니까 > 왜? 혼자보다 여럿이 하니까 > 왜? 여럿이 해야 가능한 취미니까 > 왜? 끝 가장 쉬우니까 > 왜? 지금까지 해왔던 것이니까 > 왜? 10대 때부터 타인에 의해 해왔던 것이니까 > 왜? 그 땐 공부할 필요성을 못 느꼈지만 부모님께서 하라고 했으니까 > 왜? 학생의 본분은 공부였으니까 > 왜? 학생 때 배워두지 않으면 배울 기회가 없으니까 > 왜? 20대 때엔 인프라에 집중하기보단 배웠던 걸 토대로 무엇을 할지 활용하는 시기니까 > 왜? 끝 가장 믿음직스러우니까 > 왜? 공부를 한 만큼 성장하는게 느껴지니까 > 왜? 끝 2022. 3. 26. 이전 1 ··· 41 42 43 44 45 다음 728x90 반응형
