に最終更新
データ整合性の問題
このドキュメントでは、Doris の使用中によく発生するデータ整合性の問題を記録します。内容は定期的に更新します。
「テーブル内のキー重複データ」とは、Merge-on-Write 方式の Unique Key テーブルで同じキーを持つデータが重複して現れることを指します。この問題は、フルコンパクションを実行することで修復できます。その他のデータ整合性の問題は、状況に応じた個別の対処が必要になる場合があります。支援が必要な場合は、コミュニティサポートにお問い合わせください。
| 問題の内容 | 発生条件 | 影響を受けるバージョン | 修正済みバージョン | 影響範囲 | 修正 PR |
|---|---|---|---|---|---|
| Merge-on-Write 方式の Unique Key テーブルで、部分列更新によって以前に削除したデータが再び現れる | 部分列更新時に __DORIS_DELETE_SIGN__ 列を指定し、過去のデータに __DORIS_DELETE_SIGN__ 列で削除済みとマークされた行が含まれる | <2.1.8, <3.0.4 | >=2.1.8, >=3.0.4 | ストレージ・コンピュート一体型モード、ストレージ・コンピュート分離型モード、部分列更新 | #46194 |
| テーブル内のキー重複データ | ストレージ・コンピュート分離型モードの Merge-on-Write 方式の Unique Key テーブルで、複数のロードを同時に実行する | <3.0.4 | >=3.0.4 | ストレージ・コンピュート分離型モード | #46039 |
| テーブル内のキー重複データ | ストレージ・コンピュート分離型モードの Merge-on-Write 方式の Unique Key テーブルで、ロード同士、またはロードとコンパクションを同時に実行する | <3.0.4 | >=3.0.4 | ストレージ・コンピュート分離型モード | #44975 |
| 自動採番列に対してシステムが生成した値が 0 または重複した値になる | BE と FE の間でネットワーク異常が発生する | <2.1.8, <3.0.3 | >=2.1.8, >=3.0.3 | ストレージ・コンピュート一体型モード、ストレージ・コンピュート分離型モード、自動採番列 | #43774 |
Merge-on-Write 方式の Unique Key テーブルで、Stream Load によって delete 条件を満たすデータが削除されない | merge_type: MERGE、partial_columns: true、delete パラメータを指定した Stream Load | <2.0.15, <2.17, <3.0.3 | >=2.0.15, >=2.17, >=3.0.3 | ストレージ・コンピュート一体型モード、ストレージ・コンピュート分離型モード、部分列更新 | #40730 |
| 部分列更新によって自動採番列の値が意図せず更新される | テーブルの Value 列に自動採番列があり、部分列更新のロードでその自動採番列の値を指定しない | <2.1.6, <3.0.2 | >=2.1.6, >=3.0.2 | ストレージ・コンピュート一体型モード、ストレージ・コンピュート分離型モード、自動採番列 | #39996 |
| テーブル内のキー重複データ | シーケンス列をサポートしていない Merge-on-Write 方式の Unique Key テーブルに、ユーザーが ALTER TABLE tbl ENABLE FEATURE "SEQUENCE_LOAD" WITH ... を使ってシーケンス列機能を追加した後、新たにロードを実行する | <2.0.15, <2.1.6, <3.0.2 | >=2.0.15, >=2.1.6, >=3.0.2 | ストレージ・コンピュート一体型モード、ストレージ・コンピュート分離型モード | #39958 |
| テーブル内のキー重複データ | ストレージ・コンピュート分離型モードの Merge-on-Write 方式の Unique Key テーブルで、複数のロード、またはロードとコンパクションを同時に実行する | <3.0.1 | >=3.0.1 | ストレージ・コンピュート分離型モード | #39018 |
| Merge-on-Write 方式の Unique Key テーブルで、部分列更新のロードによってデータが破損する | Merge-on-Write 方式の Unique Key テーブルで複数の部分列更新を同時に実行し、ロード中に BE が再起動する | <2.0.15, <2.1.6, <3.0.2 | >=2.0.15, >=2.1.6, >=3.0.2 | ストレージ・コンピュート一体型モード、ストレージ・コンピュート分離型モード、部分列更新 | #38331 |
| テーブル内のキー重複データ | ストレージ・コンピュート分離型モードの Merge-on-Write 方式の Unique Key テーブルで、ロードとコンパクションを同時に実行する | <3.0.2 | >=3.0.2 | ストレージ・コンピュート分離型モード | #37670, #41309, #39791 |
| テーブル内のキー重複データ | シーケンス列を持つ Merge-on-Write 方式の Unique Key テーブルへの大規模な単一ロードによって、セグメントコンパクションが実行される | <2.0.15, <2.1.6, <3.0.2 | >=2.0.15, >=2.1.6, >=3.0.2 | ストレージ・コンピュート一体型モード、ストレージ・コンピュート分離型モード | #38369 |
| テーブル内のキー重複データ | ストレージ・コンピュート一体型モードの Merge-on-Write 方式の Unique Key テーブルで、フルクローンが失敗する | <2.0.13, <2.1.5, <3.0.0 | >=2.0.13, >=2.1.5, >=3.0.0 | ストレージ・コンピュート一体型モード | #37001 |
| テーブル内のキー重複データ | ストレージ・コンピュート分離型モードの Merge-on-Write 方式の Unique Key テーブルで、内部リトライ処理を伴う Stream Load を実行する | <3.0.0 | >=3.0.0 | ストレージ・コンピュート分離型モード | #36670 |
| Merge-on-Write 方式の Unique Key テーブルで、複数レプリカのデータが一致しない | Merge-on-Write 方式の Unique Key テーブルで __DORIS_DELETE_SIGN__ 列を指定した部分列更新をロードし、その間にレプリカ間で Base Compaction の進捗が異なる | <2.0.15, <2.1.5, <3.0.0 | >=2.0.15, >=2.1.5, >=3.0.0 | ストレージ・コンピュート一体型モード、ストレージ・コンピュート分離型モード、部分列更新 | #36210 |
| テーブル内のキー重複データ | Merge-on-Write 方式の Unique Key テーブルで複数の部分列更新を同時に実行し、ロード中に BE が再起動する | <2.0.11, <2.1.4, <3.0.0 | >=2.0.11, >=2.1.4, >=3.0.0 | ストレージ・コンピュート一体型モード、ストレージ・コンピュート分離型モード、部分列更新 | #35739 |