S3

本文档用于介绍访问 AWS S3 时所需的参数。这些参数适用于：

• Catalog 属性。
• Table Valued Function 属性。
• Broker Load 属性。
• Export 属性。
• Outfile 属性。

参数总览

属性名称	曾用名	描述	默认值	是否必须
s3.endpoint	S3 endpoint	S3 endpoint		是
s3.region	S3 region	S3 region		否
s3.access_key	S3 access key	S3 access key		是
s3.secret_key	S3 secret key	S3 secret key		是
s3.use_path_style	use_path_style	是否使用 path-style 访问 S3。在访问某些不支持 host-style 的 S3 兼容对象存储时使用	false	否
s3.connection.maximum		S3 最大连接数	50	否
s3.connection.request.timeout		S3 请求超时时间，单位毫秒	3000	否
s3.connection.timeout		S3 连接超时时间，单位毫秒	1000	否
s3.role_arn		assume role 方式会用到		否
s3.external_id		assume role 方式会用到		否

认证配置

访问 AWS S3 时，需要提供 AWS Access Key 和 AWS Secret Key，即下列参数：

• s3.access_key
• s3.secret_key

访问 AWS S3 时，Doris 也支持 Assumed Role 的方式，请参考如下文档进行配置 AWS intergration.

配置示例

"s3.access_key" = "ak"
"s3.secret_key" = "sk"
"s3.endpoint" = "s3.us-east-1.amazonaws.com"
"s3.region" = "us-east-1"

Directory Bucket

该功能自 3.1.0 版本支持。

Directory Bucket 是 Amazon S3 Express One Zone 存储类的高性能存储选项。使用 Directory Bucket 时，主要区别在于 s3.endpoint 的配置格式不同，其他配置参数保持不变。

Endpoint 配置区别

• General S3 Bucket

  "s3.endpoint" = "s3.us-east-1.amazonaws.com"

• Directory Bucket

  "s3.endpoint" = "s3express-{zone-id}.{region}.amazonaws.com"

Directory Bucket 配置示例

"s3.access_key" = "ak"
"s3.secret_key" = "sk"
"s3.endpoint" = "s3express-usw2-az1.us-west-2.amazonaws.com"
"s3.region" = "us-west-2"

其中 s3express-usw2-az1.us-west-2.amazonaws.com 是 Directory Bucket 专用的 endpoint 格式，更多 endpoint 地址请参考 AWS 官方文档。