Databricks Certified Data Engineer Associate 無料問題 3 / 10 ・ 分野2: Data Ingestion and Loading
毎晩、同じ COPY INTO（PATTERN = '.csv'、COPY_OPTIONS は無し）で、外部ロケーションのフォルダの CSV を Unity Catalog の Delta 表に取り込んでいる。取引先が、昨夜取り込んだ sales_0930.csv を、同じ名前・同じ列のまま中身を直して上書きした。今夜いつもの COPY INTO が流れたとき、sales_0930.csv はどう扱われるか。
- 中身が変わったファイルは別のファイルとして扱われ、直した行が表に追記される
- 更新日時が昨夜の取り込みより新しいので読み直され、直した行が表に追記される
- 読み込み済みのファイルとして飛ばされ、直した行は表に入らず、昨夜の行が残る
- 同じ名前のファイルとして読み直され、昨夜入った行が直した行に置き換えられる
正解と解説を見る
正解: C
正解の理由
COPY INTO は再実行でき、冪等である。ソースの場所にあるファイルのうち、読み込み済みのものは次の実行で飛ばされる。公式は、読み込み後にファイルが変更されていても同じだと明記している。sales_0930.csv は昨夜読み込み済みなので、上書きで中身が変わっていても今夜は飛ばされ、表には昨夜入った行が残る。
違う選択肢
「更新日時が昨夜の取り込みより新しいので読み直され、直した行が表に追記される」… 公式は "Files in the source location that have already been loaded are skipped. This is true even if the files have been modified since they were loaded." と書いている。上書きで更新日時が変わっても、読み込み済みのファイルは飛ばされ、読み直されない。
「中身が変わったファイルは別のファイルとして扱われ、直した行が表に追記される」… 同じく "This is true even if the files have been modified since they were loaded." である。中身が変わったことで別のファイルとして読み直されることはなく、読み込み済みとして飛ばされる。
「同じ名前のファイルとして読み直され、昨夜入った行が直した行に置き換えられる」… 読み込み済みのファイルは飛ばされるので、読み直しそのものが起きない。COPY INTO はファイルのデータを Delta の表に読み込む文で、同じ名前のファイルの行を探して置き換える動きは持たない。
つまずき方
「上書きしたファイルは次の取り込みで反映される」と考えると、直した行が入ったつもりで集計が古いまま残る。読み込み済みのファイルをあえて読み直す設定は COPY_OPTIONS の force で、冪等性を外し、前に読み込んだかに関係なくファイルを読み込む。
Databricks Certified Data Engineer Associateの演習アプリ（無料10問・全問は解錠で）へ