Эффективная дедупликация

Дедупликация относится к наиболее ресурсоёмким операциям в аналитических нагрузках. Apache Doris предоставляет два специализированных типа данных в качестве альтернативы COUNT DISTINCT, позволяющих выполнять дедупликацию с меньшим потреблением памяти и меньшей задержкой: выбирайте BITMAP, когда нужны точные результаты, и HLL, если допустима погрешность 1%–2% в обмен на меньший объём хранимых данных.

Точная дедупликация

Точная дедупликация с BITMAP

Используйте тип BITMAP вместо COUNT DISTINCT для точной дедупликации, чтобы ускорить запросы и сократить потребление памяти и дискового пространства.

Приближённая дедупликация

Приближённая дедупликация с HLL

Приближённая дедупликация на основе HyperLogLog с погрешностью в пределах 1%–2% и небольшим объёмом хранимых данных подходит для подсчёта UV и количества уникальных значений на больших объёмах данных.