メインコンテンツまでスキップ

メタデータキャッシュ

外部データソースのアクセスパフォーマンスを改善するために、Apache Dorisは外部データソースのmetadataをキャッシュします。

Metadataには、データベース、テーブル、カラム、パーティション、スナップショット、ファイル一覧などの情報が含まれます。

本記事では、キャッシュされたmetadataの種類、戦略、および関連するパラメータ設定について詳しく説明します。

data cacheについては、data cache documentationを参照してください。

ヒント

この文書は2.1.6以降のバージョンに適用されます。

キャッシュ戦略​

ほとんどのキャッシュには以下の3つの戦略指標があります：

  • 最大キャッシュ数

    キャッシュが保持できるオブジェクトの最大数です。例えば、最大1000個のテーブルをキャッシュできます。キャッシュ数が閾値を超えた場合、LRU（Least-Recent-Used）戦略を使用して一部のキャッシュを削除します。

  • 削除時間

    • バージョン3.0.6まで（含む）：

      キャッシュオブジェクトがキャッシュに書き込まれてから一定時間が経過すると、そのオブジェクトは自動的にキャッシュから削除されます。次回のアクセス時には、データソースから最新情報を再取得してキャッシュを更新します。

      例えば、ユーザーが08:00にテーブルAに初めてアクセスし、それがキャッシュに書き込まれたとします。削除時間が4時間の場合、容量の問題で置き換えられない限り、08:00-14:00の間はユーザーはキャッシュ内のテーブルAに直接アクセスします。14:00以降、キャッシュは削除されます。ユーザーが再びテーブルAにアクセスすると、データソースから最新情報が取得され、キャッシュが更新されます。

    • バージョン3.0.7以降（含む）：

      バージョン3.0.7から、この戦略は書き込まれてから一定時間後ではなく、キャッシュオブジェクトがアクセスされてから一定時間後に自動削除されるように変更されました。キャッシュオブジェクトがアクセスされるたびにタイマーがリセットされ、頻繁にアクセスされるオブジェクトは常にキャッシュに残るようになります。

      例えば、ユーザーが08:00にテーブルAに初めてアクセスし、それがキャッシュに書き込まれたとします。削除時間が4時間の場合、容量の問題で置き換えられない限り、08:00-14:00の間はユーザーはキャッシュ内のテーブルAに直接アクセスします。ユーザーが09:00に再びこのオブジェクトにアクセスしたとすると、キャッシュの削除時間は09:00から再計算され、つまり15:00になります。

  • 最小更新時間

    キャッシュオブジェクトがキャッシュに書き込まれてから一定時間後、自動的に更新がトリガーされます。

    例えば、ユーザーが08:00にテーブルAに初めてアクセスし、それがキャッシュに書き込まれたとします。最小更新時間が10分の場合、容量の問題で置き換えられない限り、08:00-8:10の間はユーザーはキャッシュ内のテーブルAに直接アクセスします。08:10になると、キャッシュオブジェクトは[更新準備完了]としてマークされます。ユーザーが再びこのキャッシュオブジェクトにアクセスすると、現在のオブジェクトが返されますが、同時にキャッシュ更新操作がトリガーされます。キャッシュの更新に1分かかるとすると、1分後に再びキャッシュにアクセスすると更新されたキャッシュオブジェクトが得られます。

    キャッシュ更新がトリガーされる時間は[最小更新時間を超えた後のキャッシュオブジェクトへの最初のアクセス]であり、非同期更新であることに注意してください。つまり、例えば最小更新時間が10分だからといって、10分後に最新のオブジェクトが得られるとは限りません。

    この戦略は[削除時間]とは異なり、主にキャッシュの適時性を調整するために使用され、キャッシュを非同期で更新することで現在の操作をブロックすることを避けます。

キャッシュタイプ​

データベースおよびテーブル名リスト​

データベース名リストとは、Catalog配下のすべてのデータベース名のリストを指します。

テーブル名リストとは、データベース配下のすべてのテーブル名のリストを指します。

名前リストは、SHOW TABLESやSHOW DATABASES文など、名前を列挙する必要がある操作にのみ使用されます。

各Catalogにはデータベース名リストキャッシュがあります。各データベースにはテーブル名リストキャッシュがあります。

  • 最大キャッシュ数

    各キャッシュには1つのエントリのみがあります。そのため、最大キャッシュ数は1です。

  • 削除時間

    86400秒で固定されています。バージョン3.0.7以降は、FEパラメータexternal_cache_expire_time_seconds_after_accessで設定され、デフォルトは86400秒です。

  • 最小更新時間

    FE設定項目external_cache_expire_time_minutes_after_accessで制御され、単位は分です。デフォルトは10分です。この時間を短縮することで、Dorisでより リアルタイムに最新の名前リストを確認できますが、外部データソースへのアクセス頻度が増加します。

    バージョン3.0.7以降、設定項目名はexternal_cache_refresh_time_minutesに変更されました。デフォルト値は変更されていません。

データベースおよびテーブルオブジェクト​

個別のデータベースおよびテーブルオブジェクトをキャッシュします。クエリ、書き込みなど、データベースまたはテーブルへのあらゆるアクセス操作で、このキャッシュから対応するオブジェクトを取得します。

このキャッシュ内のオブジェクトリストはデータベースおよびテーブル名リストキャッシュと一致しない場合があることに注意してください。

例えば、SHOW TABLESコマンドで名前リストキャッシュからテーブルA、B、Cを取得したとします。この時点で外部データソースにテーブルDが追加された場合、SELECT * FROM DでテーブルDにアクセスでき、[テーブルオブジェクト]キャッシュにはテーブルDオブジェクトが追加されますが、[テーブル名リスト]キャッシュは依然としてA、B、Cのままです。[テーブル名リスト]キャッシュが更新されて初めてA、B、C、Dになります。

各Catalogにはデータベース名リストキャッシュがあります。各データベースにはテーブル名リストキャッシュがあります。

  • 最大キャッシュ数

    FE設定項目max_meta_object_cache_numで制御され、デフォルトは1000です。単一Catalog配下のデータベース数や単一データベース配下のテーブル数に応じて、このパラメータを適切に調整できます。

  • 削除時間

    86400秒で固定されています。バージョン3.0.7以降は、FEパラメータexternal_cache_expire_time_seconds_after_accessで設定され、デフォルトは86400秒です。

  • 最小更新時間

    FE設定項目external_cache_expire_time_minutes_after_accessで制御され、単位は分です。デフォルトは10分です。この時間を短縮することで、Dorisでよりリアルタイムに最新のデータベースやテーブルを確認できますが、外部データソースへのアクセス頻度が増加します。

    バージョン3.0.7以降、設定項目名はexternal_cache_refresh_time_minutesに変更されました。デフォルト値は変更されていません。

Table Schema​

テーブルのschema情報（カラム名など）をキャッシュします。このキャッシュは主に、アクセスされたテーブルのschemaをオンデマンドで読み込み、大量の不要なテーブルschemaの同期を防ぎ、FEメモリの占有を避けるために使用されます。

このキャッシュは全てのCatalogで共有され、グローバルに一意です。

  • 最大キャッシュ数

    FE設定項目max_external_schema_cache_numで制御され、デフォルトは10000です。

    Catalog配下のテーブル総数に応じて、このパラメータを適切に調整できます。

  • 削除時間

    86400秒で固定されています。バージョン3.0.7以降は、FEパラメータexternal_cache_expire_time_seconds_after_accessで設定され、デフォルトは86400秒です。

  • 最小更新時間

    FE設定項目external_cache_expire_time_minutes_after_accessで制御され、単位は分です。デフォルトは10分です。この時間を短縮することで、Dorisでよりリアルタイムに最新のschemaを確認できますが、外部データソースへのアクセス頻度が増加します。

    バージョン3.0.7以降、設定項目名はexternal_cache_refresh_time_minutesに変更されました。デフォルト値は変更されていません。

Hive Metastoreテーブルパーティションリスト​

Hive Metastoreから同期されたテーブルのパーティションリストをキャッシュするために使用されます。パーティションリストは、クエリ時のパーティションプルーニングに使用されます。

このキャッシュは、各Hive Catalogに1つあります。

  • 最大キャッシュ数

    FE設定項目max_hive_partition_table_cache_numで制御され、デフォルトは1000です。

    Catalog配下のテーブル総数に応じて、このパラメータを適切に調整できます。

  • 削除時間

    28800秒で固定されています。バージョン3.0.7以降は、FEパラメータexternal_cache_expire_time_seconds_after_accessで設定され、デフォルトは86400秒です。

  • 最小更新時間

    FE設定項目external_cache_expire_time_minutes_after_accessで制御され、単位は分です。デフォルトは10分です。この時間を短縮することで、Dorisでよりリアルタイムに最新のパーティションリストを確認できますが、外部データソースへのアクセス頻度が増加します。

    バージョン3.0.7以降、設定項目名はexternal_cache_refresh_time_minutesに変更されました。デフォルト値は変更されていません。

Hive Metastoreテーブルパーティションプロパティ​

Hiveテーブルの各パーティションのプロパティ（ファイル形式、パーティションルートパスなど）をキャッシュするために使用されます。各クエリでは、パーティションプルーニング後にアクセス対象のパーティションリストを取得し、このキャッシュを通じて各パーティションの詳細プロパティを取得します。

このキャッシュは、各Hive Catalogに1つあります。

  • 最大キャッシュ数

    FE設定項目max_hive_partition_cache_numで制御され、デフォルトは10000です。

    Catalog配下でアクセス予定のパーティション総数に応じて、このパラメータを適切に調整できます。

  • 削除時間

    28800秒で固定されています。バージョン3.0.7以降は、FEパラメータexternal_cache_expire_time_seconds_after_accessで設定され、デフォルトは86400秒です。

  • 最小更新時間

    FE設定項目external_cache_expire_time_minutes_after_accessで制御され、単位は分です。デフォルトは10分です。この時間を短縮することで、Dorisでよりリアルタイムに最新のパーティションプロパティを確認できますが、外部データソースへのアクセス頻度が増加します。

    バージョン3.0.7以降、設定項目名はexternal_cache_refresh_time_minutesに変更されました。デフォルト値は変更されていません。

Hive Metastoreテーブルパーティションファイルリスト​

Hiveテーブルの単一パーティション配下のファイルリスト情報をキャッシュするために使用されます。このキャッシュは、ファイルシステムのList操作のオーバーヘッドを削減するために使用されます。

  • 最大キャッシュ数

    FE設定項目max_external_file_cache_numで制御され、デフォルトは100000です。

    アクセス予定のファイル数に応じて、このパラメータを適切に調整できます。

  • 削除時間

    デフォルトは28800秒です。バージョン3.0.7以降は、FEパラメータexternal_cache_expire_time_seconds_after_accessで設定され、デフォルトは86400秒です。

    Catalogプロパティでfile.meta.cache.ttl-secondプロパティが設定されている場合は、設定された時間が使用されます。

    一部のケースでは、Hiveテーブルのデータファイルが頻繁に変更され、キャッシュが適時性要件を満たさない場合があります。このパラメータを0に設定してこのキャッシュを無効にできます。この場合、各クエリでファイルリストがリアルタイムで取得されるため、パフォーマンスは低下しますがファイルの適時性は向上します。

  • 最小更新時間

    FE設定項目external_cache_expire_time_minutes_after_accessで制御され、単位は分です。デフォルトは10分です。この時間を短縮することで、Dorisでよりリアルタイムに最新のパーティションプロパティを確認できますが、外部データソースへのアクセス頻度が増加します。

    バージョン3.0.7以降、設定項目名はexternal_cache_refresh_time_minutesに変更されました。デフォルト値は変更されていません。

Hudiテーブルパーティション​

Hudiテーブルのパーティション情報をキャッシュするために使用されます。

このキャッシュは、各Hudi Catalogに1つあります。

  • 最大キャッシュ数

    FE設定項目max_external_table_cache_numで制御され、デフォルトは1000です。

    Hudiテーブル数に応じて、このパラメータを適切に調整できます。

  • 削除時間

    28800秒で固定されています。バージョン3.0.7以降は、FEパラメータexternal_cache_expire_time_seconds_after_accessで設定され、デフォルトは86400秒です。

  • 最小更新時間

    FE設定項目external_cache_expire_time_minutes_after_accessで制御され、単位は分です。デフォルトは10分です。この時間を短縮することで、Dorisでよりリアルタイムに最新のHudiパーティションプロパティを確認できますが、外部データソースへのアクセス頻度が増加します。

    バージョン3.0.7以降、設定項目名はexternal_cache_refresh_time_minutesに変更されました。デフォルト値は変更されていません。

Icebergテーブル情報​

Icebergテーブルオブジェクトをキャッシュするために使用されます。オブジェクトは Iceberg APIを通じて読み込まれ、構築されます。

このキャッシュは、各Iceberg Catalogに1つあります。

  • 最大キャッシュ数

    FE設定項目max_external_table_cache_numで制御され、デフォルトは1000です。

    Icebergテーブル数に応じて、このパラメータを適切に調整できます。

  • 削除時間

    28800秒で固定されています。バージョン3.0.7以降は、FEパラメータexternal_cache_expire_time_seconds_after_accessで設定され、デフォルトは86400秒です。

  • 最小更新時間

    FE設定項目external_cache_expire_time_minutes_after_accessで制御され、単位は分です。デフォルトは10分です。この時間を短縮することで、Dorisでよりリアルタイムに最新のIcebergテーブルプロパティを確認できますが、外部データソースへのアクセス頻度が増加します。

    バージョン3.0.7以降、設定項目名はexternal_cache_refresh_time_minutesに変更されました。デフォルト値は変更されていません。

Icebergテーブルスナップショット​

Icebergテーブルのスナップショットリストをキャッシュするために使用されます。オブジェクトはIceberg APIを通じて読み込まれ、構築されます。 このキャッシュは、各Iceberg Catalogに1つあります。

  • 最大キャッシュ数

    FE設定項目max_external_table_cache_numで制御され、デフォルトは1000です。

    Icebergテーブル数に応じて、このパラメータを適切に調整できます。

  • 削除時間

    28800秒で固定されています。バージョン3.0.7以降は、FEパラメータexternal_cache_expire_time_seconds_after_accessで設定され、デフォルトは86400秒です。

  • 最小更新時間

    FE設定項目external_cache_expire_time_minutes_after_accessで制御され、単位は分です。デフォルトは10分です。この時間を短縮することで、Dorisでよりリアルタイムに最新のIcebergテーブルプロパティを確認できますが、外部データソースへのアクセス頻度が増加します。

    バージョン3.0.7以降、設定項目名はexternal_cache_refresh_time_minutesに変更されました。デフォルト値は変更されていません。

キャッシュ更新​

上記の各キャッシュの更新および削除戦略に加えて、ユーザーは手動またはスケジュール実行でmetadataキャッシュを直接更新することもできます。

手動更新​

ユーザーはREFRESHコマンドを使用してmetadataを手動で更新できます。

  1. REFRESH CATALOG

    指定したCatalogを更新します。

    REFRESH CATALOG ctl1 PROPERTIES("invalid_cache" = "true");

    • このコマンドは、指定したCatalogのデータベースリスト、テーブルカラム名、および全てのキャッシュ情報を更新します。
    • invalid_cacheは、パーティションやファイルリストなどのキャッシュを更新するかどうかを示します。デフォルトはtrueです。falseの場合、Catalogのデータベースおよびテーブルリストのみが更新され、パーティションやファイルリストなどのキャッシュは更新されません。このパラメータは、ユーザーが新規追加または削除されたデータベースとテーブルのみを同期したい場合に適しており、falseに設定できます。

  2. REFRESH DATABASE

    指定したDatabaseを更新します。

    REFRESH DATABASE [ctl.]db1 PROPERTIES("invalid_cache" = "true");

    • このコマンドは、指定したDatabase配下のテーブルカラム名および全てのキャッシュ情報を更新します。
    • invalid_cacheプロパティの意味は上記と同じです。デフォルトはtrueです。falseの場合、Databaseのテーブルリストのみが更新され、キャッシュ情報は更新されません。このパラメータは、ユーザーが新規追加または削除されたテーブルのみを同期したい場合に適しています。

  3. REFRESH TABLE

    指定したTableを更新します。

    REFRESH TABLE [ctl.][db.]tbl1;

    • このコマンドは、指定したTable配下の全てのキャッシュ情報を更新します。

スケジュール更新​

ユーザーはCatalog作成時にスケジュール更新を設定できます。

CREATE CATALOG hive PROPERTIES (
    'type'='hms',
    'hive.metastore.uris' = 'thrift://172.0.0.1:9083',
    'metadata_refresh_interval_sec' = '3600'
);

上記の例では、metadata_refresh_interval_sec はCatalogが3600秒ごとにリフレッシュされることを意味します。これは3600秒ごとに以下を自動実行することと同等です：

REFRESH CATALOG ctl1 PROPERTIES("invalid_cache" = "true");

ベストプラクティス​

キャッシュは、メタデータアクセスのパフォーマンスを大幅に改善し、メタデータへの頻繁なリモートアクセスを回避できます。これにより、パフォーマンスのジッタを引き起こしたり、メタデータサービスに負荷をかけたりすることを防げます。しかし、キャッシュはデータの適時性も低下させます。例えば、キャッシュリフレッシュ時間が10分の場合、10分以内はキャッシュされたメタデータのみを読み取ることができます。そのため、状況に応じてキャッシュを適切に設定する必要があります。

デフォルト動作​

このセクションでは、主にデフォルトパラメータ設定下でユーザーが関心を持つ可能性のあるキャッシュ動作を紹介します。

  • 外部データソースに新しいデータベースやテーブルが追加された後、SELECTを通じてDorisでリアルタイムにクエリできます。ただし、SHOW DATABASESやSHOW TABLESでは表示されない場合があり、手動でキャッシュをリフレッシュするか、最大10分待つ必要があります。
  • 外部データソースに新しいパーティションが追加された場合、新しいパーティションデータをクエリするには、手動でキャッシュをリフレッシュするか、最大10分待つ必要があります。
  • パーティションデータファイルが変更された場合、新しいパーティションデータをクエリするには、手動でキャッシュをリフレッシュするか、最大10分待つ必要があります。

Schema Cacheの無効化​

すべてのタイプのExternal Catalogsについて、最新のTable Schemaをリアルタイムで確認したい場合は、Schema Cacheを無効にできます：

  • グローバルに無効化

    -- fe.conf
    max_external_schema_cache_num=0 // Disable Schema cache.

  • Catalogレベルで無効化

    -- Catalog property
    "schema.cache.ttl-second" = "0" // For a specific Catalog, disable Schema cache (supported in 2.1.11, 3.0.6)

設定後、Dorisはリアルタイムで最新のTable Schemaを参照できるようになります。ただし、この設定はメタデータサービスの負荷を増加させる可能性があります。

Hive Catalogメタデータキャッシュの無効化​

Hive Catalogにおいて、リアルタイムで更新されたデータをクエリするためにキャッシュを無効にしたい場合は、以下のパラメータを設定できます：

  • グローバルに無効化

    -- fe.conf
    max_external_file_cache_num=0    // Disable file list cache
    max_hive_partition_table_cache_num=0  // Disable partition list cache

  • Catalog レベルで無効化

    -- Catalog property
    "file.meta.cache.ttl-second" = "0" // For a specific Catalog, disable file list cache
    "partition.cache.ttl-second" = "0" // For a specific Catalog, disable partition list cache (supported in 2.1.11, 3.0.6)

上記のパラメータを設定した後：

  • 外部データソースの新しいパーティションをリアルタイムでクエリできます。
  • パーティションデータファイルの変更をリアルタイムでクエリできます。

ただし、これにより外部データソース（Hive MetastoreやHDFSなど）へのアクセス負荷が増加し、メタデータアクセスのレイテンシが不安定になるなどの現象が発生する可能性があります。

Report issue
ASF
Resources
Community
Join the community
Copyright © 2026 The Apache Software Foundation,Licensed under the Apache License, Version 2.0. Apache, Doris, Apache Doris, the Apache feather logo and the Apache Doris logo are trademarks of The Apache Software Foundation.