BE 챌린지 3회 기록

[t4e1]

0. 목표

1.. AWS 관리형 서비스가 무엇인지 설명할 수 있다.
2.. 대표적인 AWS 관리형 서비스를 설명할 수 있다.

1. 관리형 서비스?

aws 가 인프라를 운영하고 관리하는 것을 대신해주는 서비스
https://www.youtube.com/watch?v=Z2VXtzFYd1w

2. 대표적인 관리형 서비스

2-1. S3.

사용자는 단순히 업로드, 다운로드만 하고
나머지 데이터 복제, 내구성, 가용성은 aws 가 관리.
이걸 개인이 구현하려면 hadoop등을 사용해야함

2-2. RDS.

데이터베이스의 설치, 패치, 백업, 복구등을 aws가 관리함

2-3. Amazon Opensearch

• 분산형 오픈 소스 검색 및 분석 엔진
• 실시간 검색, 로그 및 데이터 분석
• ELK (검색, 수집, 시각화)
• 풀텍스트 검색
• 서버리스 옵션 존재

2-4. Amazon Managed Grafana

• 오픈소스 데이터 시각화 및 모니터링 도구
• 여러 데이터 소스의 데이터를 하나의 대시보드에서 동시에 시각화 가능
• k8s 환경에서 컨테이너들의 모니터링을 시각화하는 경우 사용

2-5. Amazon MSK

• Managed Streaming for Apache Kafka
• 대규모의 실시간 데이터 스트리밍을 처리
• Kafka vs Kinesis 차이점 알아보기
  • Kinesis 같은 경우 AWS 다른 서비스와 연동이 좋음
  • Kafka도

2-6. Amazon MWAA

• Managed Workflows for Apache Airflow
• 복잡한 데이터 파이프라인, 워크플로우, 데이터 처리 작업을 정의하고 스케줄링하여 모니터링 할 수 있는 오픈소스.
• 루이지 알아보기 ( 비슷한 기능 제공 )

3. 실무에서 사용하는 다양한 DB 종류

3-1. 관계형 데이터베이스

• Redshift (분산 컴퓨팅을 위한 병렬 쿼리, 컬럼형 저장소, 클러스터링)
  • OLAP
  • Transaction vs Analytic

3-2. NoSQL

• Not Only SQL
• 데이터 형식이 다양해짐
• 높은 쓰기 및 읽기 성능
• 수직적 스케일링의 한계
• 스키마 관리가 엄격하지 않기 때문에 휴먼 에러 발생이 쉬움
• Document DB
  • MongoDB
  • AWS DocumentDB
  • 다양한 형태를 저장 가능
• Key-Value DB
  • Redis
  • AWS ElasticCache
    • 인메모리 데이터베이스 : 메모리에 저장하여 빠른 R/W가 가능하지만 비용이 비쌈
    • 검색엔진 검색 결과를 레디스에 캐싱하고 있었음.
    • 메모리가 꽉차면 컴퓨터가 껐다 켜지고 이 경우 트래픽이 레디스를 가지 않고 바로 검색 엔진이나 rdb로 가게됨
    • 그 경우 장애 발생 -> 캐싱 전략이 중요하다 ( 얼마나 캐싱할지 유효기간 설정 중요 )
    • LRU를 참고해서 캐싱 전략 세우기
  • AWS DynamoDB
    • 아마존에서 자체적으로 개발한 key-value db
    • 처음에는 RDB를 쓰다가 어느정도 정해졌을 때 DynamoDB로 고치면 좋다 ( AWS 추천 )
    • 키를 통해서 값을 요청하면 응답 지연시간이 굉장히 빠름
    • 풀스캔을 잘못하게 될 경우 과금 폭탄을 맞을 수 있음
• Graph DB
  • Amazon Neptune
  • 데이터 간의 관계를 모델링하고 쿼리하는데 최적화된 데이터베이스
  • 페이스북 함께하는 친구 같은 기능 구현할 때 사용될 수 있음.
• Time Series DB
  • Amazon Timestream

No Silver Bullet

완전한 Database는 없다. 사례에 맞게 제대로 골라서 사용하는 것이 중요함.

AWS 천만 사용자 세션 참고

최근에는 NoSQL 쓰지않고 RDBMS를 클러스터링이나 샤딩을 통해 처리하는 경우도 많음.

(ex) 인스타그램이 PostgreSQL 로 모든걸 처리함

AWS Aurora 등에서 클러스터를 관리형 서비스로 제공하려는 시도가 있음