Databricks Certified Data Engineer Associate 問題集

正解: D

正解の理由
状態を持つストリーミングのクエリでは、シャッフルのパーティション数はチェックポイントを作った時点で決まる。公式は、すでにチェックポイントのあるクエリでは spark.sql.shuffle.partitions を変えても効かず、新しい数を当てるには新しいチェックポイントの場所でクエリを始める必要があると書いている。64 にしてから新しいチェックポイントの場所で始めれば、64 で動く。

違う選択肢
「spark.sql.shuffle.partitions を 64 にし、これまでと同じチェックポイントの場所から再開する」… 公式の設定表の注記は "For Structured Streaming, this configuration cannot be changed between query restarts from the same checkpoint location." である。同じチェックポイントの場所から再開すると、値を 64 にしても、チェックポイントを作ったときの 200 のまま動く。
「spark.sql.adaptive.coalescePartitions.minPartitionNum を 64 にし、新しいチェックポイントの場所で始める」… coalescePartitions.minPartitionNum は、適応クエリ実行（AQE）がシャッフルの後にパーティションを合体させるときの最小の数である。公式は AQE が当たるクエリを "Non-streaming" と書いている。ストリーミングのクエリでは合体は働かず、新しいチェックポイントで始めても spark.sql.shuffle.partitions の 200 で動く。
「spark.sql.adaptive.coalescePartitions.minPartitionNum を 64 にし、これまでと同じチェックポイントの場所から再開する」… minPartitionNum は AQE の合体の設定で、AQE はストリーミングでないクエリに当たる。ストリーミングのクエリには効かず、同じチェックポイントから再開したクエリは 200 のまま動く。

つまずき方
新しいチェックポイントの場所で始めると、クエリは最初からの扱いになり、それまでの進み具合と状態は引き継がれない。どこから読み直すかを決めてから切り替える。