Databricks Certified Data Engineer Professional 問題集

正解: D

正解の理由
Debugging with the Spark UI の Executor logs は、一部のタスクがおかしいときにタスクごとのログを見る手段として、タスク詳細ページで実行したエグゼキューターを調べ、コンピュートのページの # nodes からマスターを開き、そのワーカーの log4j の出力を見る手順を示す。そのうえで注記として、エグゼキューターのログは standard access mode のコンピュートでは使えないと書く。dedicated access mode なら、専用のユーザーかグループとワークスペース管理者がエグゼキューターのログを見られる。standard access mode は複数の利用者でコンピュートを分け合うので、ほかの人の処理の出力が混ざるログを開かない作りである。

違う選択肢
「クラスターのページで # nodes からマスターを開き、そのワーカーを選んで log4j の出力を開く」… これはエグゼキューターのログへの行き方として文書に書かれた手順だが、standard access mode のコンピュートではエグゼキューターのログそのものが使えない。この手順をたどっても、このクラスターでは見られない。
「Spark UI の Executors タブで、そのエグゼキューターの行の stderr のリンクを開き、log4j の出力を順にたどって見る」… standard access mode では、エグゼキューターのログは使えないと文書が書いている。Spark UI の別の画面からたどっても同じである。ログを見るには、dedicated access mode のコンピュートで動かす。
「ワークスペース管理者に頼み、管理者の権限で同じクラスターのエグゼキューターのログを開いてもらう」… standard access mode でドライバーのログを見られるのはワークスペース管理者だけだが、エグゼキューターのログはこのモードでは誰にも使えない。管理者に頼んでも見られない。dedicated access mode なら、専用のユーザーかグループと管理者が見られる。

対比
ドライバーのログは、standard access mode ではワークスペース管理者だけが、dedicated access mode では専用のユーザーかグループと管理者が見られる。タスクの数や実行したエグゼキューター、シャッフルの量はタスク詳細ページで見られる。処理が1つのエグゼキューターに偏っていないかも、ここで確かめる。