データ整合性の問題
この文書は主にDorisの使用中に発生する一般的なデータ整合性の問題を記録するために使用されます。定期的に更新されます。
「テーブル内の重複キーデータ」という用語は、merge-on-write Uniqueテーブルでの重複キーデータの出現を指します。merge-on-write Uniqueテーブルでの重複キーの問題は、フル圧縮のトリガーにより修正できますが、その他のタイプの整合性問題については、状況に基づいて特定の解決策が必要な場合があります。サポートについては、コミュニティサポートにお問い合わせください。
| 問題の説明 | 発生条件 | 影響を受けるバージョン | 修正バージョン | 影響範囲 | 修正PR |
|---|---|---|---|---|---|
| merge-on-write Uniqueテーブルでの部分カラム更新により、以前に削除されたデータが再導入される | 部分カラム更新中に__DORIS_DELETE_SIGN__カラムが指定され、履歴データに__DORIS_DELETE_SIGN__カラムによって削除済みとマークされた行が含まれる | <2.1.8, <3.0.4 | >=2.1.8, >=3.0.4 | コンピューティング・ストレージ結合モード、コンピューティング・ストレージ分離モード、部分カラム更新 | #46194 |
| テーブル内の重複キーデータ | コンピューティング・ストレージ分離モードのmerge-on-write Uniqueテーブルでの同時インポート | <3.0.4 | >=3.0.4 | コンピューティング・ストレージ分離モード | #46039 |
| テーブル内の重複キーデータ | コンピューティング・ストレージ分離モードのmerge-on-write Uniqueテーブルでのインポート間およびインポートと圧縮間の同時インポート | <3.0.4 | >=3.0.4 | コンピューティング・ストレージ分離モード | #44975 |
| 自動増分カラムのシステム生成値が0または重複 | BEとFE間のネットワーク異常 | <2.1.8, <3.0.3 | >=2.1.8, >=3.0.3 | コンピューティング・ストレージ結合モード、コンピューティング・ストレージ分離モード、自動増分カラム | #43774 |
Stream Loadインポートがmerge-on-write Uniqueテーブルでdelete条件に合致するデータを削除しない | merge_type: MERGE、partial_columns: true、およびdeleteパラメータを使用したStream Loadインポート | <2.0.15, <2.17, <3.0.3 | >=2.0.15, >=2.17, >=3.0.3 | コンピューティング・ストレージ結合モード、コンピューティング・ストレージ分離モード、部分カラム更新 | #40730 |
| 部分カラム更新により自動増分カラム値の意図しない更新が発生 | テーブルのValueカラムに自動増分カラムがあり、部分カラム更新インポートでそれらの自動増分カラムに値が指定されていない | <2.1.6, <3.0.2 | >=2.1.6, >=3.0.2 | コンピューティング・ストレージ結合モード、コンピューティング・ストレージ分離モード、自動増分カラム | #39996 |
| テーブル内の重複キーデータ | ユーザーがALTER TABLE tbl ENABLE FEATURE "SEQUENCE_LOAD" WITH ...を使用して、シーケンスカラムをサポートしないmerge-on-write Uniqueテーブルにシーケンスカラム機能を追加し、その後新しいインポートを実行 | <2.0.15, <2.1.6, <3.0.2 | >=2.0.15, >=2.1.6, >=3.0.2 | コンピューティング・ストレージ結合モード、コンピューティング・ストレージ分離モード | #39958 |
| テーブル内の重複キーデータ | コンピューティング・ストレージ分離モードのmerge-on-write Uniqueテーブルでの同時インポートまたは同時インポートと圧縮 | <3.0.1 | >=3.0.1 | コンピューティング・ストレージ分離モード | #39018 |
| 部分カラム更新インポートによりmerge-on-write Uniqueテーブルでデータ破損が発生 | merge-on-write Uniqueテーブルでの同時部分カラム更新、インポートプロセス中にBE再起動が発生 | <2.0.15, <2.1.6, <3.0.2 | >=2.0.15, >=2.1.6, >=3.0.2 | コンピューティング・ストレージ結合モード、コンピューティング・ストレージ分離モード、部分カラム更新 | #38331 |
| テーブル内の重複キーデータ | コンピューティング・ストレージ分離モードのmerge-on-write Uniqueテーブルでの同時インポートと圧縮 | <3.0.2 | >=3.0.2 | コンピューティング・ストレージ分離モード | #37670, #41309, #39791 |
| テーブル内の重複キーデータ | シーケンスカラムを持つmerge-on-write Uniqueテーブルでの大きな単一インポートがセグメント圧縮をトリガー | <2.0.15, <2.1.6, <3.0.2 | >=2.0.15, >=2.1.6, >=3.0.2 | コンピューティング・ストレージ結合モード、コンピューティング・ストレージ分離モード | #38369 |
| テーブル内の重複キーデータ | コンピューティング・ストレージ結合モードのmerge-on-write Uniqueテーブルでのフルクローンの失敗 | <2.0.13, <2.1.5, <3.0.0 | >=2.0.13, >=2.1.5, >=3.0.0 | コンピューティング・ストレージ結合モード | #37001 |
| テーブル内の重複キーデータ | コンピューティング・ストレージ分離モードのmerge-on-write Uniqueテーブルでの内部再試行プロセスを伴うStream Loadインポート | <3.0.0 | >=3.0.0 | コンピューティング・ストレージ分離モード | #36670 |
| merge-on-write Uniqueテーブルでの一貫性のないマルチレプリカデータ | merge-on-write Uniqueテーブルでの__DORIS_DELETE_SIGN__カラムを使用した部分カラム更新インポート、インポート中のレプリカ間でのBase Compactionの進行の不一致 | <2.0.15, <2.1.5, <3.0.0 | >=2.0.15, >=2.1.5, >=3.0.0 | コンピューティング・ストレージ結合モード、コンピューティング・ストレージ分離モード、部分カラム更新 | #36210 |
| テーブル内の重複キーデータ | merge-on-write Uniqueテーブルでの同時部分カラム更新とインポート中のBE再起動 | <2.0.11, <2.1.4, <3.0.0 | >=2.0.11, >=2.1.4, >=3.0.0 | コンピューティング・ストレージ結合モード、コンピューティング・ストレージ分離モード、部分カラム更新 | #35739 |
