Databricks Certified Machine Learning Associate 無料問題 5 / 10 ・ 分野2: Data Processing
Python・Scala・R・SQL のノートブックを使い分けているチームに、dbutils.data.summarize で特徴量の要約統計を出す方法を説明する。このコマンドに渡せる DataFrame と、呼び出せる言語の組み合わせとして正しいものはどれか。
- Spark と pandas の DataFrame を渡せ、呼べる言語は Python・Scala・R に限られる
- Spark と pandas の DataFrame を渡せ、呼べる言語は Python と SQL
- 渡せるのは Spark DataFrame に限られ、呼べる言語は Python・Scala・R
- Spark DataFrame を渡せ、呼べる言語は Python と SQL
正解と解説を見る
正解: A
正解の理由
summarize は Apache Spark DataFrame と pandas DataFrame のどちらについても要約統計を計算し、可視化して表示するコマンドで、使える言語は Python・Scala・R である。Databricks Runtime 9.0 以降のデータユーティリティ（dbutils.data）に入っている。注意書きとして、このコマンドは DataFrame の全内容を解析するので、非常に大きな DataFrame に掛けると重くなる、とある。行数の多い表では、必要な列に絞ってから渡すと負担を抑えられる。
違う選択肢
「渡せるのは Spark DataFrame に限られ、呼べる言語は Python・Scala・R」… pandas DataFrame も対象に含まれる。pandas で読み込んだ小さめのデータでも、Spark DataFrame に変換せずにそのまま要約を出せる。
「Spark と pandas の DataFrame を渡せ、呼べる言語は Python と SQL」… 対応言語は Python・Scala・R で、SQL は挙がっていない。SQL を主に使うメンバーも、要約を出すときは Python などのセルで呼ぶことになる。
「Spark DataFrame を渡せ、呼べる言語は Python と SQL」… Spark DataFrame を渡せる点は合っているが、対応言語に SQL は含まれず、Scala と R が抜けている。SQL のセルからこのコマンドで要約を出すことはできない。
関連する機能
同じ要約は、ノートブックで display(df) を実行した結果表の + > Data Profile からも作れ、こちらはコードを書かずに数値・文字列・日付の列の統計とヒストグラムを出せる。summarize はその要約をコードから出す手段にあたり、ジョブの中など画面を操作しない場面で使いやすい。
Databricks Certified Machine Learning Associateの演習アプリ（無料10問・全問は解錠で）へ