Оптимизация организации хранения данных

Apache Doris позволяет пользователям настраивать организацию хранения данных на диске с помощью параметров. Правильная настройка позволяет снизить затраты на хранение, ускорить точечные запросы к широким таблицам и сократить накладные расходы на хранение исторических и холодных данных без изменения модели таблицы или запросов.

Сжатие данных

Выберите алгоритм сжатия для каждого столбца (LZ4, ZSTD, Snappy, Zlib и другие), чтобы гибко находить баланс между затратами на хранение, нагрузкой запросов на CPU и скоростью распаковки.

Гибридное строково-столбцовое хранение

Добавьте к столбцовому хранилищу копию данных в строковом формате, чтобы объединить точечные обращения к нескольким столбцам в одну операцию IO. Это значительно ускоряет точечные запросы по первичному ключу при большом числе одновременных запросов и выполнение SELECT * для широких таблиц.

Многоуровневое хранение горячих и холодных данных

Перемещайте холодные данные на недорогие носители (HDD, объектное хранилище, HDFS), оставляя горячие данные в высокопроизводительном хранилище. Поддерживаются три режима: разделение хранения и вычислений, локальное многоуровневое хранение и удалённое многоуровневое хранение.