メインコンテンツまでスキップ
に最終更新

Aliyun OSS

このドキュメントでは、Alibaba Cloud OSS にアクセスするために必要なパラメータについて説明します。これらのパラメータは、以下の用途に適用されます。

  • Catalog のプロパティ
  • Table Valued Function のプロパティ
  • Broker Load のプロパティ
  • Export のプロパティ
  • Outfile のプロパティ

OSS​

Doris は S3 Client を使用し、S3 互換プロトコルを通じて Alibaba Cloud OSS にアクセスします。

パラメータの概要​

プロパティ名旧名称説明デフォルト値
oss.endpoints3.endpointAlibaba Cloud OSS にアクセスするためのエンドポイントを指定します。OSS と OSS HDFS ではエンドポイントが異なる点に注意してください。なし
oss.access_keys3.access_key認証に使用する OSS Access Keyなし
oss.secret_keys3.secret_keyAccess Key と併用する OSS Secret Keyなし
oss.regions3.regionAlibaba Cloud OSS のリージョンを指定します。なし
oss.use_path_styles3.use_path_styleパス形式でアクセスするかどうかを指定します。MinIO やその他の AWS 以外の S3 サービスとの互換性を確保するため、true に設定することを推奨します。FALSE
oss.connection.maximums3.connection.maximumOSS サービスとの間で確立する接続の最大数を指定します。50
oss.connection.request.timeouts3.connection.request.timeoutOSS サービスへの接続時のリクエストタイムアウトをミリ秒単位で指定します。3000
oss.connection.timeouts3.connection.timeoutOSS サービスとの接続を確立する際のタイムアウトをミリ秒単位で指定します。1000

バージョン 3.1 より前では旧名称を使用してください。

設定例​

"oss.access_key" = "your-access-key",
"oss.secret_key" = "your-secret-key",
"oss.endpoint" = "oss-cn-beijing.aliyuncs.com",
"oss.region" = "cn-beijing"

バージョン 3.1 より前の場合：

"s3.access_key" = "your-access-key",
"s3.secret_key" = "your-secret-key",
"s3.endpoint" = "oss-cn-beijing.aliyuncs.com",
"s3.region" = "cn-beijing"

使用時の推奨事項​

  • 設定パラメータには oss. プレフィックスを使用することを推奨します。Alibaba Cloud OSS に関する設定であることが明確になり、命名にも一貫性を持たせられます。
  • バージョン 3.1 より前では、旧名称のプレフィックス s3. を使用してください。
  • oss.region を設定すると、アクセスの精度と性能を向上させられます。設定することを推奨します。
  • 接続が滞らないよう、同時実行の要件に応じて接続プールのパラメータを調整できます。

OSS-HDFS​

OSS-HDFS サービス（JindoFS サービス）は、Alibaba Cloud が提供するクラウドネイティブのデータレイクストレージ機能です。統合メタデータ管理機能を基盤とし、HDFS ファイルシステムのインターフェースと互換性があり、ビッグデータや AI 分野のデータレイク計算処理に対応します。

OSS-HDFS に保存されたデータへのアクセス方法は、OSS サービスに直接アクセスする場合とは少し異なります。詳細はこのドキュメントを参照してください。

パラメータの概要​

プロパティ名旧名称説明デフォルト値必須
oss.hdfs.endpointoss.endpointAlibaba Cloud OSS-HDFS サービスのエンドポイント。例：cn-hangzhou.oss-dls.aliyuncs.com。なしはい
oss.hdfs.access_keyoss.access_key認証に使用する OSS Access Keyなしはい
oss.hdfs.secret_keyoss.secret_keyAccess Key と併用する OSS Secret Keyなしはい
oss.hdfs.regionoss.regionOSS バケットが配置されているリージョン ID。例：cn-beijing。なしはい
oss.hdfs.fs.defaultFSバージョン 3.1 でサポートされています。OSS のファイルシステムへのアクセスパスを指定します。例：oss://my-bucket/。なしいいえ
oss.hdfs.hadoop.config.resourcesバージョン 3.1 でサポートされています。OSS ファイルシステムの設定ファイルがあるパスを指定します。相対パスを指定する必要があります。デフォルトのディレクトリは、（FE/BE の）デプロイメントディレクトリ内の /plugins/hadoop_conf/ です（fe.conf/be.conf の hadoop_config_dir を変更することで変更できます）。すべての FE ノードと BE ノードで同じ相対パスを設定する必要があります。例：hadoop/conf/core-site.xml,hadoop/conf/hdfs-site.xml。なしいいえ
fs.oss-hdfs.supportoss.hdfs.enabledバージョン 3.1 でサポートされています。OSS-HDFS 機能を有効にすることを明示的に宣言します。true に設定する必要があります。なしいいえ

バージョン 3.1 より前では旧名称を使用してください。

エンドポイントの設定​

oss.hdfs.endpoint：OSS-HDFS サービスのエンドポイントを指定します。

エンドポイントは Alibaba Cloud OSS にアクセスするための入口となるアドレスで、形式は <region>.oss-dls.aliyuncs.com です。例：cn-hangzhou.oss-dls.aliyuncs.com。

エンドポイントが Alibaba Cloud OSS のエンドポイント形式に準拠していることを確認するため、厳密な形式検証を行います。

後方互換性のため、エンドポイントの設定には https:// または http:// のプレフィックスを含めることができます。形式検証時には、システムがプロトコル部分を自動的に解析し、無視します。

旧名称を使用する場合、システムは endpoint に oss-dls が含まれているかどうかで OSS-HDFS サービスかどうかを判定します。

4.1.5 以降、oss.hdfs.hadoop.config.resources で指定する XML パスに、親ディレクトリを表す .. セグメントを含めることはできません。スラッシュとバックスラッシュの両方を区切り文字として検査します。通常のファイルパスを使用してください。

設定ファイル​

バージョン 3.1 でサポートされています。

OSS-HDFS では、oss.hdfs.hadoop.config.resources パラメータを使用して、HDFS 関連の設定ファイルがあるディレクトリを指定できます。

設定ファイルのディレクトリには、hdfs-site.xml と core-site.xml が含まれている必要があります。デフォルトのディレクトリは、（FE/BE の）デプロイメントディレクトリ内の /plugins/hadoop_conf/ です。すべての FE ノードと BE ノードで同じ相対パスを設定する必要があります。

設定ファイルに、このドキュメントで前述したパラメータが含まれている場合は、ユーザーが明示的に設定したパラメータが優先されます。設定ファイルは複数指定でき、hadoop/conf/core-site.xml,hadoop/conf/hdfs-site.xml のようにカンマで区切ります。

設定例​

"fs.oss-hdfs.support" = "true",
"oss.hdfs.access_key" = "your-access-key",
"oss.hdfs.secret_key" = "your-secret-key",
"oss.hdfs.endpoint" = "cn-hangzhou.oss-dls.aliyuncs.com",
"oss.hdfs.region" = "cn-hangzhou"

バージョン 3.1 より前の場合：

"oss.hdfs.enabled" = "true",
"oss.access_key" = "your-access-key",
"oss.secret_key" = "your-secret-key",
"oss.endpoint" = "cn-hangzhou.oss-dls.aliyuncs.com",
"oss.region" = "cn-hangzhou"
Report issue