[2023-07-25] Intro to Database Systems 5강 - Columnar Databases & Compression

[CoodingPenguin]

📌 개요

• 시간: 2023-07-25(화) 21:00
• 자료: 5강 Columnar Databases & Compression
• 참여자: 펭귄, 그루트, 렉사, 나강

✍️ 준비

아래 양식을 복사해 스터디 준비를 완료해주세요!

## 💬 생각

<!--강의를 듣고 생각한 내용을 3줄 내로 간단히 정리해주세요!-->

- ...

## ❓ 질문

<!--공부하면서 궁금한 점을 작성해주세요!-->

- ...

## 📚 참고 자료

<!--공부하면서 같이 공부한 자료를 첨부 및 공유해주세요!-->

- [...](...)

[Nagunt]

💬 생각

• 어떻게 데이터를 저장하는가 ? OLTP vs OLAP
  • OLTP는 단순 데이터의 많은 read/update에 유리, N-ARY storage model을 사용. (데이터를 row 별로 저장)
  • OLAP는 막대한 양의 데이터 분석 / 데이터 과학에 사용. DSM을 사용. (데이터를 column 별로 저장)
  • 물론 이 둘을 합친 HTAP가 존재한다.
• 대부분의 DBMS는 DSM을 사용함. 필요없는 I/O를 줄이고 데이터 압축 등에 유리하지만, N-ARY model보다는 insert/update/delete 등이 느린 듯.
• I/O는 DBMS에서의 가장 주요한 병목 현상이 일어나는 지점. 그래서 성능 향상을 위해 압축을 하게 됨. 속도와 압축률을 trade-off 관계.
• 여러가지 압축 알고리즘 등의 개요를 살펴보았음.

[jonyejin]

💬 생각

• Data Storage Models: OLTP인지, OLAP인지에 맞게 설계한다.
  • n-ary storage model(row storage): 하나의 튜플을 하나의 페이지에. OLTP에 적합하다.
  • Postgresql에서 select *같은 연산이 느렸던 이유가 NSM이어서 그랬던것일까?
  • Decomposition Storage Model(DSM): 하나의 컬럼을 하나의 페이지에. query processing과 data compression이 빠르다.
• 압축의 단위
  • block-level
• B+Tree 를 써서 Index를 관리한다
• Column단위 압축
  • Run-length 인코딩: 카테고리형 데이터같은 경우, sorting해서 run-length로 나타내면 확 줄일 수 있다.
  • Bit-Packing 인코딩: 크기가 작은 타입으로 줄인다.
  • Bitmap 인코딩
  • Delta 인코딩
  • 증가 인코딩
  • 딕셔너리 인코딩
• 우리 래리 앨슨같은 개발자가 되자! 1인1섬가자

❓ 질문

• batch processing vs OLAP ? COLUMNNAR를 찾아보자!

📚 참고 자료

• MySQL 엔진 종류
  MySQL에서는 아래와 같은 여러 스토리지 엔진을 지원한다.
  • InnoDB 엔진
  • MyISAM 엔진
  • Memory 엔진
  • Archive 엔진
  • CSV 엔진
  • Federated 엔진
• 용도에 따라서 DBA가 세팅을 한다고 한다

[CoodingPenguin]

💬 생각

• 빅데이터를 다루다 보니 팀에서 OLAP 툴을 많이 쓰고 있는데, 확실히 작은 데이터는 OLTP가 맞다.
• OLTP 툴만 있다가 "로우가 아닌 컬럼 별로 저장해보면 어떨까?"라는 그 아이디어를 낸 사람이 정말 대단한 것 같다.
  • OLAP 관련해서는 빅데이터를 지탱하는 기술에서 배워서 알고 있었는데, 조금 더 깊이 들여다 볼 수 있어서 좋았다.
• 다양한 압축 기술이 있고 강의에서 설명한 Column-level 압축 방식의 아이디어가 재밌었다.
  • Run-length Encoding
  • Bit-Packing Encoding
  • Bitmap Encoding
  • Delta Encoding
  • Incremental Encoding
  • Dictionary Encoding
• bit 연산이 빠릿빠릿하게 안 된다ㅜ.ㅜ

❓ 질문

• OLAP 툴 써보신 분의 이야기를 들어보고 싶습니다.
• 뒤에 나오는 압축 관련된 내용은 OLAP이냐 OLTP냐에 상관 없이 모두 통용되는 압축과 관련된 내용이 맞나요?

[IamGroooooot]

💬 생각

데이터베이스의 대표적인 워크로드를 설명하며 강의가 진행되었다

• OLTP, OLAP, HTAP

OLAP, COLUMNNAR 등이 요즘 자주 대두되어서 흥미로운 강의였다.

❓질문

HTAP은 구체적으로 어떤 상황에서 쓰이는 것이지?
라이브로 서비스를 할 때 동시에 Analytical Processing을 위한 heavy query도 문제 없이 되어야 된다는 것인가?

📚 참고 자료

postgresql은 extension이 되게 많은데 CITUS를 쓰면 columnar를 쓸 수 있다.

• Powering PostgreSQL 15 With Columnar Tables