Databricks Certified Machine Learning Associate 問題集

Databricks Certified Machine Learning Associate 試験対策公式 Exam Guide(2025年3月1日公開の試験の版)準拠

Databricks Certified Machine Learning Associateの日本語問題集。全170問に解説つき。

Databricks Certified Machine Learning Associate 無料問題 4 / 10 ・ 分野2: Data Processing

行数の多い Spark DataFrame の要約統計を、ノートブックで dbutils.data.summarize(df, precise=True) を実行して出し直した。precise を指定しない既定の実行より精度は上がるが、precise=True でも近似値のまま残る統計がある。どれか。

  1. カテゴリ列の異なる値の数と、頻出値の件数
  2. カテゴリ列の異なる値の数と、欠損値の数
  3. 数値の列のヒストグラムと、分位数
  4. 数値の列の平均と、標準偏差
正解と解説を見る

正解: C

正解の理由
dbutils.data.summarize は、precise が false(既定)のとき、実行時間を縮めるために一部の統計を近似で出す。precise を true にすると精度の高い計算に切り替わり、数値の列のヒストグラムと分位数を除くすべての統計が厳密な値になる。ヒストグラムと分位数の推定だけは true でも近似のままで、誤差が全行数に対して最大 0.01%(既定)から最大 0.0001% まで小さくなる、という扱いである。外れ値の境界に四分位数を使うときは、要約の値が true でも近似である点を前提にする。

違う選択肢
「カテゴリ列の異なる値の数と、頻出値の件数」… どちらも既定では近似になる統計である。異なる値の数は値の種類が多い列で約5%の相対誤差、頻出値の件数は異なる値が10000を超えると最大0.01%の誤差がありうる。precise=True ではこれらは厳密になり、近似のまま残る側には入らない。
「数値の列の平均と、標準偏差」… precise=True で厳密になる統計に含まれる。true でも近似のまま残るとされるのは数値の列のヒストグラムと分位数で、平均や標準偏差はその中に入らない。
「カテゴリ列の異なる値の数と、欠損値の数」… カテゴリ列の異なる値の数は、precise=True で厳密な値に変わる。true で近似が残るのは数値の列のヒストグラムと分位数の推定で、カテゴリ列の統計は残らない。

押さえどころ
precise 引数は Databricks Runtime 10.4 LTS 以降で使える。どちらのモードで計算されたかは、データ要約の出力の上部のツールチップに表示されるので、近似の値かどうかを出力の側で確かめられる。既定の false は探索の初めに分布の形をつかむ用途に向き、件数を報告に使うときは true で出し直す、という使い分けになる。

Databricks Certified Machine Learning Associateの演習アプリ(無料10問・全問は解錠で)へ

問題集(note)を見る