계층형 스토리지 개요
계층형 스토리지는 Apache Doris가 제공하는 스토리지 최적화 기능입니다. 자주 접근하지 않는 콜드 데이터는 비용이 낮은 스토리지 매체(HDD, 객체 스토리지, HDFS)로 이동하고, 핫 데이터는 고성능 스토리지에 유지합니다. 이를 통해 쿼리 효율을 유지하면서 스토리지 비용을 크게 절감할 수 있습니다.
적용 시나리오
- 스토리지 비용 부담이 커서 과거 데이터의 저장 비용을 줄이려는 경우.
- 데이터의 핫/콜드 접근 패턴이 명확한 경우(예: 최근 7일 데이터는 핫 데이터이고, 그 이전 데이터는 콜드 데이터인 경우).
- 기존 객체 스토리지(S3/OSS/COS 등) 또는 HDFS 리소스를 재사용할 수 있는 경우.
- 배포 모드(스토리지-컴퓨팅 통합 또는 스토리지-컴퓨팅 분리)에 따라 서로 다른 콜드 데이터 저장 솔루션이 필요한 경우.
빠른 선택 가이드
배포 조건과 비용 목표에 따라 적절한 계층화 모드를 선택하세요.
| 사용자 시나리오 | 권장 모드 | 주요 이점 |
|---|---|---|
| 스토리지-컴퓨팅 분리 배포가 가능하고 높은 탄력적 확장성을 추구하는 경우 | 스토리지-컴퓨팅 분리 | 단일 복제본으로 데이터를 저장하고 컴퓨팅과 스토리지를 독립적으로 확장 |
| 스토리지-컴퓨팅 통합 모드에서 로컬 SSD 리소스를 최적화하려는 경우 | 로컬 계층화 | 콜드 데이터를 SSD에서 HDD로 이동하여 고성능 스토리지 사용량 절감 |
| 스토리지-컴퓨팅 통합 모드에서 객체 스토리지 또는 HDFS를 활용하여 비용을 줄이려는 경우 | 원격 계층화 | 콜드 데이터를 객체 스토리지 또는 HDFS에 단일 복제본으로 저장하여 비용을 대폭 절감 |
세 가지 계층화 모드 설명
Doris는 다양한 배포 조건에 맞춰 세 가지 콜드 데이터 계층화 솔루션을 제공합니다. 실제 환경에 따라 유연하게 선택할 수 있습니다.
모드 비교표
다음 표는 빠르게 비교할 수 있도록 세 가지 모드의 적용 조건과 핵심 특성을 정리한 것입니다.
| 콜드 데이터 저장 옵션 | 적용 조건 | 핵심 특성 |
|---|---|---|
| 스토리지-컴퓨팅 분리 | 스토리지-컴퓨팅 분리 배포가 가능한 경우 | - 모든 데이터를 객체 스토리지에 단일 복제본으로 저장 - 로컬 캐시로 핫 데이터 접근 가속화 - 스토리지와 컴퓨팅 리소스를 독립적으로 확장하여 스토리지 비용을 크게 절감 |
| 로컬 계층화 | 스토리지-컴퓨팅 통합 모드에서 로컬 스토리지 리소스를 추가로 최적화하려는 경우 | - 콜드 데이터를 SSD에서 HDD로 이동하는 기능 지원 - 로컬 스토리지 계층을 충분히 활용하여 고성능 스토리지 비용 절감 |
| 원격 계층화 | 스토리지-컴퓨팅 통합 모드에서 저렴한 객체 스토리지 또는 HDFS를 활용하여 비용을 추가로 줄이려는 경우 | - 콜드 데이터를 객체 스토리지 또는 HDFS에 단일 복제본으로 저장 - 핫 데이터는 계속 로컬 스토리지 사용 - 동일한 테이블에서 로컬 계층화와 함께 사용할 수 없음 |
1. 스토리지-컴퓨팅 분리
적용 시나리오: 스토리지-컴퓨팅 분리 배포가 가능하고 탄력적 확장과 최대한의 비용 절감을 추구하는 경우.
핵심 특성:
- 모든 데이터를 객체 스토리지에 단일 복제본으로 저장합니다.
- 로컬 캐시로 핫 데이터 접근을 가속화합니다.
- 스토리지와 컴퓨팅 리소스를 독립적으로 확장하여 스토리지 비용을 크게 절감합니다.
2. 로컬 계층화
적용 시나리오: 스토리지-컴퓨팅 통합 모드에서 로컬 스토리지 리소스를 추가로 최적화하려는 경우.
핵심 특성:
- 콜드 데이터를 SSD에서 HDD로 이동하는 기능을 지원합니다.
- 로컬 스토리지 계층을 충분히 활용하여 고성능 스토리지 비용을 절감합니다.
자세한 설정 및 사용 방법은 로컬 디스크 계층형 스토리지를 참조하세요.
3. 원격 계층화
적용 시나리오: 스토리지-컴퓨팅 통합 모드에서 저렴한 객체 스토리지 또는 HDFS를 활용하여 비용을 추가로 줄이려는 경우.
핵심 특성:
- 콜드 데이터를 객체 스토리지 또는 HDFS에 단일 복제본으로 저장합니다.
- 핫 데이터는 계속 로컬 스토리지를 사용합니다.
- 동일한 테이블에서 로컬 계층화와 함께 사용할 수 없습니다.
자세한 설정 및 사용 방법은 로컬-원격 계층형 스토리지를 참조하세요.
설계 목표
Doris는 위의 세 가지 모드를 통해 사용자의 배포 조건에 유연하게 대응하며 다음 목표를 달성합니다.
- 쿼리 효율과 스토리지 비용 간의 균형: 핫 데이터는 높은 접근 성능을 유지하고, 콜드 데이터는 저비용 스토리지를 활용합니다.
- 다양한 배포 형태에 유연하게 대응: 스토리지-컴퓨팅 통합 모드와 스토리지-컴퓨팅 분리 모드를 모두 지원합니다.
- 기존 인프라 재사용: 객체 스토리지, HDFS, 로컬 HDD 등 다양한 콜드 데이터 저장 매체를 지원합니다.
자주 묻는 질문
Q1: 스토리지-컴퓨팅 분리와 원격 계층화의 근본적인 차이는 무엇인가요?
- 스토리지-컴퓨팅 분리: 핫 데이터를 포함한 모든 데이터를 객체 스토리지에 단일 복제본으로 저장하고, 로컬 디스크는 접근 가속화를 위한 캐시로만 사용합니다.
- 원격 계층화: 콜드 데이터만 객체 스토리지/HDFS로 이동하고, 핫 데이터는 로컬 스토리지에 유지합니다. 스토리지-컴퓨팅 통합 아키텍처 내에서 이루어지는 최적화입니다.
Q2: 로컬 계층화와 원격 계층화를 동시에 사용할 수 있나요?
아니요. 동일한 테이블에서 로컬 계층화와 원격 계층화를 혼용할 수 없습니다.
Q3: 어떤 모드를 선택해야 하나요?
- 스토리지-컴퓨팅 분리 배포가 가능하다면 스토리지-컴퓨팅 분리를 우선 선택하세요.
- 스토리지-컴퓨팅 통합 모드를 사용하면서 로컬 디스크 비용만 최적화하려면 로컬 계층화를 선택하세요.
- 스토리지-컴퓨팅 통합 모드를 사용하면서 객체 스토리지 또는 HDFS를 활용하여 비용을 줄이려면 원격 계층화를 선택하세요.
Q4: 콜드 데이터 계층화가 쿼리 성능에 영향을 주나요?
스토리지 매체 간의 성능 차이(HDD/객체 스토리지는 SSD보다 지연 시간이 김)로 인해 콜드 데이터 쿼리는 약간 느려질 수 있습니다. 하지만 Doris는 로컬 캐시 등의 메커니즘을 통해 성능 저하를 최소화합니다.