Обзор резервного копирования и восстановления

Doris поддерживает резервное копирование и восстановление баз данных, таблиц и разделов. Данные можно сохранять в виде снимков в удалённом хранилище (S3, Azure, GCP, OSS, HDFS и других), а при необходимости восстанавливать в любом кластере Doris.

Сценарии использования

Сценарий	Описание	Рекомендуемая операция
Восстановление случайно удалённых данных	Таблица или раздел удалены по ошибке, и требуется восстановить их состояние на определённый момент времени	Восстановление отдельной таблицы или раздела
Периодическое резервное копирование для аварийного восстановления	Регулярное резервное копирование всей базы данных для защиты от сбоев кластера или повреждения оборудования	Резервное копирование всей базы данных
Миграция данных между кластерами	Перенос данных из исходного кластера в целевой	Резервное копирование, затем восстановление
Подготовка данных для тестовой среды	Восстановление выбранных таблиц или разделов из рабочей среды в тестовом кластере	Резервное копирование выбранных таблиц, затем восстановление
Резервное копирование, близкое к инкрементальному	Резервное копирование только новых или изменённых разделов для получения результата, близкого к инкрементальному резервному копированию	Резервное копирование выбранных разделов

Основные понятия

Понятие	Определение
Снимок	Зафиксированное состояние данных базы данных, таблицы или раздела на определённый момент времени. При создании снимка необходимо указать его метку, а по завершении создаётся временная метка. Снимок однозначно определяется сочетанием Repository, метки и временной метки.
Repository	Удалённое расположение для хранения файлов резервных копий. Поддерживаются S3, Azure, GCP, OSS, COS, MinIO, HDFS и другие хранилища, совместимые с S3.
Операция резервного копирования	Создаёт снимок целевого объекта, загружает файлы снимка в Repository и сохраняет связанные метаданные.
Операция восстановления	Скачивает снимок из Repository и восстанавливает его в целевом кластере Doris.

Предварительные требования

• Права доступа: Учётная запись, от имени которой выполняется операция, должна иметь привилегию ADMIN.
• Режим развёртывания: Поддерживается только режим с совмещённым хранением и вычислениями. Режим разделения хранения и вычислений не поддерживает резервное копирование и восстановление.

Ограничения

Ограничение	Описание
Разделение хранения и вычислений не поддерживается	Резервное копирование и восстановление недоступны в режиме развёртывания с разделением хранения и вычислений.
Асинхронные материализованные представления (MTMV) не поддерживаются	Асинхронные материализованные представления не включаются в резервные копии. После восстановления их необходимо создать заново вручную.
Таблицы с политиками хранения не поддерживаются	Таблицы, использующие политику хранения, не поддерживают резервное копирование и восстановление.
Поддерживается только полное резервное копирование	Инкрементальное резервное копирование пока не поддерживается. Резервное копирование выбранных разделов позволяет получить результат, близкий к инкрементальному резервному копированию.
Атрибут colocate_with не сохраняется	После восстановления необходимо заново настроить атрибут colocate_with для совместно размещённых таблиц.
Динамическое секционирование необходимо включить вручную	После восстановления включите атрибут динамического секционирования вручную с помощью ALTER TABLE.
Одновременно выполняется только одна задача	В пределах одной базы данных одновременно может выполняться только одна задача резервного копирования или восстановления.

Руководства по выполнению операций

• Резервное копирование: Создание Repository и выполнение полного резервного копирования базы данных, таблицы или раздела.
• Восстановление: Восстановление базы данных, таблицы или раздела из снимка в Repository в целевой кластер.