Databricks Certified Data Analyst Associate 問題集

正解: B

正解の理由
Photon のページは、Photon の効果が最も大きいのは、大きなデータを処理する長く走るクエリだと書く。Photon は何千行ずつの列の束でデータを処理し、ネイティブの C++ で SIMD の命令を使い、ソートマージ結合を高い性能のハッシュ結合に置き換える。どれも、クエリがデータの処理に時間を使うときに効く。一方で、ふだん2秒未満で終わるクエリは、実行の時間の大半を計画と予定の手間が占めるので、意味のある改善が見られないとページは書く。制限の節も、ふだん2秒未満で走るクエリは Photon で良くならないとくり返している。毎晩の40分のレポートが、効果を得る側である。

違う選択肢
「1秒未満の参照のクエリ。クエリの計画とスケジューリングの時間を Photon が縮める」… 計画と予定は、Photon が変えない部分である。クエリを計画するのは今も Apache Spark のオプティマイザーで、Photon は実行の層で働く。2秒未満のクエリではその手間が大半を占めるので、ページは意味のある改善が無いとしている。
「どちらも同じ。どのクエリもほぼ同じ倍率で速くなる」… ページは、どのクエリも同じだけ速くなるとは書いていない。効果が最も大きいのは大きなデータを処理する長いクエリで、ふだん2秒未満で終わるクエリには意味のある改善が無いと書いている。
「どちらでもない。Photon は読み込みでなく書き込みを速める」… Photon は、SQL の処理・DataFrame の API の呼び出し・ETL のパイプライン・ステートレスのストリーミングを速めるベクトル化したクエリエンジンとして説明されている。ネイティブの Parquet の書き込みで MERGE INTO などの書き込みも速くなるが、スキャンでもフィルターの押し下げや行グループの読み飛ばしで読むデータを減らす。

ページが挙げる効果
ページは Photon の効果として、結合とシャッフルの最適化（ハッシュ結合と作り直した列のシャッフル）、書き込みの速さ（ネイティブの Parquet の書き込み）、スキャンの効率（フィルターの押し下げ・辞書による刈り込み・行グループの読み飛ばし）、ディスクキャッシュと同時実行を挙げている。SQL と DataFrame の API は、コードを変えずにそのまま使える。