GCP 스토리지

!! 해당 글은 GCP Google Cloud Fundamentals: Core Infrastructure 과정을 정리한 내용 입니다.

 

GCP Storage

오브젝트 스토리지

• 데이터 저장시 객체단위로 저장이 되는 스토리지
• 고유키(URL 형식)로 데이터 주소를 지정 가능

Cloud Storage

• GCP에서 제공하는 매니지드 오브젝트 스토리지 서비스
• 객체를 만드는 것만으로도 내구성과 가용성이 뛰어남
• 웹사이즈 콘텐츠 아카이브 및 복구데이터 저장, 사용자가 직접 다운로드 저장소 등을 활용
• 파일 스토리지, 블록스토리지와는 다름
• 객체는 불변, 내부 위치에서 편집하는 대신 새 객체를 생성
• 자동으로 암호화 되며 전송중인 데이터 또한 HTTPS로 암호화
• 다른 GCP 스토리지로 이전 가능
• 버킷을 통해 데이터 저장, 유저의 위치에 따라 버킷 위치를 변경할 수 있음
• IAM 역할을 받을 수 있으며, 프로젝트에게 상속도 가능
• ACL을 통해 사용자수준 엑세스 접근제어
• 버전관리를 통해 객체의 버전을 관리할 수 있고, Cloud Storage 라이프 라이클을 통해 생명주기 관리 가능

Cloud Storage Classes

• 모든 클래스에서 월별 데이터 저장량에 대해 GB 단위로 과금
• Multi-regional
  • 요금은 비싸지만 높은 중복성
  • 자주 엑세스하는 데이터에 적합
• Regional
  • 특정 GCP 리전에 데이터를 저장
  • 비교적 낮은 중복성
  • 클러스터 근처에 데이터를 저장하는 경우
• Nearline
  • 비교적 저렴함
  • 엑세스 빈도가 낮은 데이터에 적합
  • 데이터를 읽보 변경하는 주기가 월에 1회 이하인 경우
• Coldline
  • 내구성이 뛰어난 서비스
  • 데이터 아카이브, 백업, 장애 복구 등에 활요
  • 일년에 한번정도 엑세스 하는 경우 적합
  • 데이터 엑세스에 과금

Cloud Storage 사용하기

• 일반적으로 Gsutil을 통해 사용
• Chrome 에서는 드래그 앤 드롭으로 활용 가능
• Online Storeage Transfer Service
  • 다른 클라우드 공급자, 다른 지역, HTTPS 엔드포인트에서 일괄 전송, 예약, 관리 가능
• Offline Transfer Appliance
  • 랙 마운트형 대용량 스토리지 서버에서 Google Cloud에서 임대하여 물리적으로 옮기는 방법
  • 하나의 장비로 최대 1페타바이트의 데이터 전송 가능

    

Cloud Bigtable

• 빅데이터용 NoSQL 데이터베이스 서비스
• GCP의 완전 관리 서비스
• 단일 참조키가 있는 데이터에 적합
• 다운타임 없는 확장성이 뛰어남
• 업그레이드 재부팅과 같은 작업이 투명하게 진행
• 데이터는 처리중, 저장중에도 암호화 됨
• Google의 많은 핵심 서비스를 지원하는 DB

GCP의 RDBMS

• DB의 스키마를 통해서 데이터 일관성과 정확성을 유지
• 트랜잭션을 활용한 무결성 유지
• 설정, 유지보수, 관리에 시간이 많이 듦
• GCP에서는 Mysql, PostgresQL 등 지원
• 여러 복제 서비스를 통해 자동으로 장애 회복 가능
• 주문, 또는 예약 백업가능
• Scale-up, Scale-out 가능
• 외부 WorkBech 등의 드라이버와도 연동 가능
• Cloud Spanner
  • 고가용성의 유연한 DB활용 가능
  • 거래 무결성, 글로벌 데이터, 강한 무결성 보장
  • 페타바이트 급의 데이터 저장 가능

Cloud Datastore

• 주로 App Engine 등 의 구조화된 데이터를 저장하는데 사용
• shading과 복제가 자동으로 되는 완전 매니지드 시스템
• 고가용성과 내구성을 겸비하여 자동으로 스케일링하여 부하처리
• SQL 같은 쿼리 처리 가능
• 하루 무료 할당량이 있어 저장, 읽기, 쓰기, 삭제 등의 소규모 운영 가능

Storage 비교

• Cloud Datastore
  • 구조화되지 않은 개체를 저장
  • 트랜잭션 및 SQLite 쿼리에 대한 지원이 필요한경우
  • 앤터티당 최대 단위 크기가 1메가바이트인 테라바이트 용량 제공
• Bigtable
  • sql 쿼리를 지원하지 않음
  • 셀당 최대 단위 크기가 10aprk qkdlxm dlrh godekd 100메가바이트인 페타바이트 용량을 제공
• Cloud Storage
  • 10메가바이트보다 큰 불변 blobs를 저장해야 하는 경우 활용
• Cloud SQL
  • 완전한 SQL 지원이 필요한 경우
• Cloud Spanner
  • 완전한 SQL 지원
  • Cloud SQL보다 더 큰 용량인 페타바이트 까지 지원
  • 읽기 복제본 뿐만 아니라 수평확장성이 필요한 경우 활용
• BigQuery
  • 빅데이터 혹은 머신러닝을 위한 클라우드 모듈로 활용