メインコンテンツまでスキップ
に最終更新

Aliyun OSS

このドキュメントでは、Alibaba Cloud OSS にアクセスするために必要なパラメータを説明します。これらのパラメータは、以下の場面で使用します。

  • Catalog のプロパティ
  • Table Valued Function のプロパティ
  • Broker Load のプロパティ
  • Export のプロパティ
  • Outfile のプロパティ

OSS アクセスを設定する場面​

これらのプロパティは、OSS 内のファイルへのアクセスを設定します。対象のファイルを読み書きする操作に設定してください。

場面アクセスの設定場所例
CSV、Parquet、ORC ファイルを直接クエリするテーブル値関数 S3(...) 内以下のクエリ例
OSS ファイルを既存の Doris テーブルにインポートするS3(...) 内(INSERT INTO ... SELECT で使用する場合)、または Broker Load の WITH S3 句内OSS データのインポート
データが OSS に保存されている Hive テーブルをクエリするCREATE CATALOG 実行時の Catalog のプロパティHive Catalog
クエリ結果を OSS にエクスポートするエクスポートコマンドのプロパティSELECT INTO OUTFILE

たとえば、ヘッダー行のない UTF-8 ファイル users.csv を OSS バケットにアップロードします。

1,Alice
2,Bob

Doris の FE ノードと BE ノードから OSS エンドポイントに接続でき、指定する認証情報にオブジェクトの読み取り権限があることを確認してください。以下のバケット、オブジェクトパス、認証情報を置き換えてください。このクエリはファイルを直接読み取るため、Doris テーブルを作成する必要はありません。S3 互換の s3.* プロパティ名を使用します。

SELECT id, name
FROM S3(
"uri" = "s3://your-bucket/users.csv",
"format" = "csv",
"s3.endpoint" = "oss-cn-beijing.aliyuncs.com",
"s3.region" = "cn-beijing",
"s3.access_key" = "<your-access-key>",
"s3.secret_key" = "<your-secret-key>",
"column_separator" = ",",
"csv_schema" = "id:int;name:string"
)
ORDER BY id;

上記のファイルに対する想定結果は次のとおりです。

+------+-------+
| id | name |
+------+-------+
| 1 | Alice |
| 2 | Bob |
+------+-------+

データを Doris に保存するには、対象テーブルを作成し、上記リンク先の OSS データインポートガイドに従って INSERT INTO ... SELECT を使用してください。その他の操作では、対応する Catalog、ロード、またはエクスポートのステートメントに接続プロパティを設定してください。

OSS​

Doris は S3 Client を使用し、S3 互換プロトコルを介して Alibaba Cloud OSS にアクセスします。

パラメータ一覧​

プロパティ名旧名称説明デフォルト値
oss.endpoints3.endpointOSS エンドポイント。Alibaba Cloud OSS へのアクセス先を指定します。OSS と OSS HDFS ではエンドポイントが異なることに注意してください。なし
oss.access_keys3.access_key認証に使用する OSS Access Keyなし
oss.secret_keys3.secret_keyAccess Key と併用する OSS Secret Keyなし
oss.regions3.regionOSS のリージョン。Alibaba Cloud OSS のリージョンを指定します。なし
oss.use_path_styles3.use_path_stylepath-style アクセスを使用するかどうか。MinIO など、AWS 以外の S3 サービスとの互換性のために true に設定することを推奨します。FALSE
oss.connection.maximums3.connection.maximum最大接続数。OSS サービスとの間に確立する接続の最大数を指定します。50
oss.connection.request.timeouts3.connection.request.timeoutリクエストのタイムアウト(ミリ秒)。OSS サービスに接続する際のリクエストのタイムアウトを指定します。3000
oss.connection.timeouts3.connection.timeout接続のタイムアウト(ミリ秒)。OSS サービスとの接続を確立する際のタイムアウトを指定します。1000

バージョン 3.1 より前では、旧名称を使用してください。

設定例​

"oss.access_key" = "your-access-key",
"oss.secret_key" = "your-secret-key",
"oss.endpoint" = "oss-cn-beijing.aliyuncs.com",
"oss.region" = "cn-beijing"

バージョン 3.1 より前の場合:

"s3.access_key" = "your-access-key",
"s3.secret_key" = "your-secret-key",
"s3.endpoint" = "oss-cn-beijing.aliyuncs.com",
"s3.region" = "cn-beijing"

使用上の推奨事項​

  • 設定パラメータには oss. プレフィックスを使用することを推奨します。Alibaba Cloud OSS に関する設定であることが明確になり、命名も統一できます。
  • バージョン 3.1 より前では、旧名称のプレフィックス s3. を使用してください。
  • oss.region を設定するとアクセスの正確性と性能を向上できるため、設定を推奨します。
  • 接続が滞留しないよう、同時実行の要件に応じて接続プールのパラメータを調整できます。

OSS-HDFS​

OSS-HDFS サービス(JindoFS サービス)は、Alibaba Cloud のクラウドネイティブなデータレイクストレージ機能です。統一されたメタデータ管理機能を基盤とし、HDFS ファイルシステムのインターフェイスと互換性があります。ビッグデータや AI 分野のデータレイクコンピューティングに対応します。

OSS-HDFS に保存されたデータへのアクセス方法は、OSS サービスに直接アクセスする場合と少し異なります。詳細は以下を参照してください。

パラメータ一覧​

プロパティ名旧名称説明デフォルト値必須
oss.hdfs.endpointoss.endpointAlibaba Cloud OSS-HDFS サービスのエンドポイント。例: cn-hangzhou.oss-dls.aliyuncs.com。なしはい
oss.hdfs.access_keyoss.access_key認証に使用する OSS Access Keyなしはい
oss.hdfs.secret_keyoss.secret_keyAccess Key と併用する OSS Secret Keyなしはい
oss.hdfs.regionoss.regionOSS バケットが配置されているリージョン ID。例: cn-beijing。なしはい
oss.hdfs.fs.defaultFSバージョン 3.1 でサポート。OSS のファイルシステムへのアクセスパスを指定します。例: oss://my-bucket/。なしいいえ
oss.hdfs.hadoop.config.resourcesバージョン 3.1 でサポート。OSS ファイルシステムの設定を含むパスを指定します。相対パスが必要です。デフォルトのディレクトリは(FE/BE の)デプロイディレクトリ内の /plugins/hadoop_conf/ です(fe.conf/be.conf の hadoop_config_dir を変更することで変更可能)。すべての FE ノードと BE ノードで同じ相対パスを設定する必要があります。例: hadoop/conf/core-site.xml,hadoop/conf/hdfs-site.xml。なしいいえ
fs.oss-hdfs.supportoss.hdfs.enabledバージョン 3.1 でサポート。OSS-HDFS 機能を有効にすることを明示的に宣言します。true に設定する必要があります。なしいいえ

バージョン 3.1 より前では、旧名称を使用してください。

エンドポイントの設定​

oss.hdfs.endpoint: OSS-HDFS サービスのエンドポイントを指定します。

エンドポイントは Alibaba Cloud OSS にアクセスするための入口アドレスで、形式は <region>.oss-dls.aliyuncs.com です。例: cn-hangzhou.oss-dls.aliyuncs.com。

エンドポイントが Alibaba Cloud OSS のエンドポイント形式に適合するよう、厳密な形式検証を行います。

後方互換性のため、エンドポイントの設定には https:// または http:// のプレフィックスを含めることができます。システムは形式検証時にプロトコル部分を自動的に解析し、無視します。

旧名称を使用する場合、システムは endpoint に oss-dls が含まれるかどうかに基づいて、OSS-HDFS サービスかどうかを判定します。

バージョン 4.1.5 以降、oss.hdfs.hadoop.config.resources に指定する XML パスには、親ディレクトリを表す .. パス要素を含められません。区切り文字がスラッシュとバックスラッシュのどちらの場合も検査されます。通常のファイルパスを使用してください。

設定ファイル​

バージョン 3.1 でサポート

OSS-HDFS では、oss.hdfs.hadoop.config.resources パラメータを使用して、HDFS 関連の設定ファイルのディレクトリを指定できます。

設定ファイルのディレクトリには、hdfs-site.xml と core-site.xml を含める必要があります。デフォルトのディレクトリは(FE/BE の)デプロイディレクトリ内の /plugins/hadoop_conf/ です。すべての FE ノードと BE ノードで同じ相対パスを設定する必要があります。

設定ファイルに、このドキュメントで前述したパラメータが含まれている場合は、ユーザーが明示的に設定したパラメータが優先されます。設定ファイルは複数指定でき、hadoop/conf/core-site.xml,hadoop/conf/hdfs-site.xml のようにカンマで区切ります。

設定例​

"fs.oss-hdfs.support" = "true",
"oss.hdfs.access_key" = "your-access-key",
"oss.hdfs.secret_key" = "your-secret-key",
"oss.hdfs.endpoint" = "cn-hangzhou.oss-dls.aliyuncs.com",
"oss.hdfs.region" = "cn-hangzhou"

バージョン 3.1 より前の場合:

"oss.hdfs.enabled" = "true",
"oss.access_key" = "your-access-key",
"oss.secret_key" = "your-secret-key",
"oss.endpoint" = "cn-hangzhou.oss-dls.aliyuncs.com",
"oss.region" = "cn-hangzhou"