Перейти к содержимому
Последнее обновление

FILE

Описание​

Табличная функция File (tvf) представляет собой обёртку над такими табличными функциями, как S3, HDFS и LOCAL, и предоставляет единый интерфейс для доступа к содержимому файлов в различных системах хранения.

Эта функция поддерживается начиная с версии 3.1.0.

Синтаксис​

FILE(
    {StorageProperties},
    {FileFormatProperties}
)

  • {StorageProperties}

    В разделе StorageProperties указываются сведения о подключении к системе хранения и аутентификации. Подробности см. в разделе [Поддерживаемые системы хранения].

  • {FileFormatProperties}

    В разделе FileFormatProperties указываются параметры форматов файлов, например разделители CSV. Подробности см. в разделе [Поддерживаемые форматы файлов].

Поддерживаемые системы хранения​

Поддерживаемые форматы файлов​

Примеры​

Доступ к хранилищу S3​

select * from file(
    "fs.s3.support" = "true",
    "uri" = "s3://bucket/file.csv",
    "s3.access_key" = "ak",
    "s3.secret_key" = "sk",
    "s3.endpoint" = "endpoint",
    "s3.region" = "region",
    "format" = "csv"
);

Доступ к хранилищу HDFS​

select * from file(
    "fs.hdfs.support" = "true",
    "uri" = "hdfs://path/to/file.csv",
    "fs.defaultFS" = "hdfs://localhost:9000",
    "hadoop.username" = "doris",
    "format" = "csv"
);

Доступ к локальному хранилищу​

select * from file(
    "fs.local.support" = "true",
    "file_path" = "student.csv",
    "backend_id" = "10003",
    "format" = "csv"
);

Использование desc function для просмотра структуры таблицы​

desc function file(
    "fs.s3.support" = "true",
    "uri" = "s3://bucket/file.csv",
    "s3.access_key" = "ak",
    "s3.secret_key" = "sk",
    "s3.endpoint" = "endpoint",
    "s3.region" = "region",
    "format" = "csv"
);
Report issue