カスタム チャートの概要

• コード: サンプルの Colab ノートブックを試してください。
• 動画: 解説動画をご覧ください。
• 例: Keras と Sklearn のクイック デモノートブック。

​

仕組み

1. データをログする: スクリプトから、設定 と summary データをログします。
2. チャートをカスタマイズする: GraphQL クエリでログしたデータを取得します。Vega という可視化記法を使って、クエリ結果を可視化します。
3. チャートをログする: スクリプトから wandb.plot_table() を呼び出して、独自のプリセットを使用します。

​

スクリプトからチャートをログする

​

組み込みプリセット

• 折れ線グラフ
• 散布プロット
• 棒グラフ
• ヒストグラム
• PR曲線
• ROC曲線

wandb.plot.line()カスタムの折れ線グラフをログします。これは、任意の x 軸と y 軸上の点 (x, y) を順番に結んだプロットです。

with wandb.init() as run:
  data = [[x, y] for (x, y) in zip(x_values, y_values)]
  table = wandb.Table(data=data, columns=["x", "y"])
  run.log(
      {
          "my_custom_plot_id": wandb.plot.line(
              table, "x", "y", title="Custom Y vs X Line Plot"
          )
      }
  )

折れ線グラフでは、任意の 2 つの次元に対する曲線をログできます。2 つの値のリストを対応させてプロットする場合は、各リストの値の数が完全に一致している必要があります (たとえば、各点には x と y の両方が必要です) 。

レポートの例を見る または Google Colab ノートブックの例を試す。

wandb.plot.scatter()カスタムの散布図、つまり任意の 2 軸 x、y 上の点 (x, y) のリストをログします。

with wandb.init() as run:
  data = [[x, y] for (x, y) in zip(class_x_prediction_scores, class_y_prediction_scores)]
  table = wandb.Table(data=data, columns=["class_x", "class_y"])
  run.log({"my_custom_id": wandb.plot.scatter(table, "class_x", "class_y")})

これを使用すると、任意の2つの次元について散布点をログできます。2つの値のリストを互いにプロットする場合は、リスト内の値の数が完全に一致している必要があることに注意してください (たとえば、各点には x と y の両方が必要です) 。

レポートの例を見る または Google Colab ノートブックの例を試す。

wandb.plot.bar()カスタムの棒グラフをログします (ラベル付きの値のリストを棒として表示します)。

with wandb.init() as run:
  data = [[label, val] for (label, val) in zip(labels, values)]
  table = wandb.Table(data=data, columns=["label", "value"])
  run.log(
      {
          "my_bar_chart_id": wandb.plot.bar(
              table, "label", "value", title="Custom Bar Chart"
          )
      }
  )

これを使うと、任意の棒グラフをログできます。リスト内のラベルと値の数は完全に一致している必要があることに注意してください (たとえば、各データポイントにはその両方が必要です) 。

レポートの例を見る または Google Colab ノートブックの例を試す。

wandb.plot.histogram()カスタムヒストグラムをログします (値のリストを、出現回数または出現頻度に応じて bins に振り分けます) 。たとえば、予測の信頼度スコアのリスト (scores) があり、その分布を可視化したいとします。

with wandb.init() as run:
  data = [[s] for s in scores]
  table = wandb.Table(data=data, columns=["scores"])
  run.log({"my_histogram": wandb.plot.histogram(table, "scores", title=None)})

これを使うと、任意のヒストグラムをログできます。なお、data はリストのリストで、行と列で構成される 2 次元配列を表すことを想定しています。

レポートの例を見る または Google Colab ノートブックの例を試す。

wandb.plot.pr_curve()1 行で 適合率-再現率曲線 を作成できます。

with wandb.init() as run:
  plot = wandb.plot.pr_curve(ground_truth, predictions, labels=None, classes_to_plot=None)

  run.log({"pr": plot})

コードから次の情報にアクセスできる場合は、いつでもこれをログできます:

• 一連のサンプルに対するモデルの予測スコア (predictions)。
• そのサンプルに対応する正解ラベル (ground_truth)。
• labels (任意): ラベル／クラス名のリスト (ラベルのインデックス 0 が cat、1 が dog、2 が bird などを表す場合は labels=["cat", "dog", "bird"...])。
• classes_to_plot (任意): プロットで可視化するラベルのサブセット (リスト形式のまま)。

レポートの例を見る または Google Colab ノートブックの例を試す。

wandb.plot.roc_curve()ROC curve を1行で作成します。

with wandb.init() as run:
  # ground_truth は正解ラベルのリスト、predictions は予測スコアのリスト
  ground_truth = [0, 1, 0, 1, 0, 1]
  predictions = [0.1, 0.4, 0.35, 0.8, 0.7, 0.9]

  # ROC 曲線プロットを作成する
  # labels はクラス名の任意のリスト、classes_to_plot は可視化するラベルの任意のサブセット
  plot = wandb.plot.roc_curve(
      ground_truth, predictions, labels=None, classes_to_plot=None
  )

  run.log({"roc": plot})

コードから次のものにアクセスできる場合は、いつでもこれをログできます:

• 一連のサンプルに対するモデルの予測スコア (predictions)。
• そのサンプルに対応する正解ラベル (ground_truth)。
• labels (任意): ラベル／クラス名のリスト (ラベルインデックス 0 が cat、1 が dog、2 が bird などを表す場合は labels=["cat", "dog", "bird"...])。
• classes_to_plot (任意): プロットに表示する、これらのラベルのサブセット (リスト形式のまま)。

レポートの例を見る または Google Colab ノートブックの例を試す。

​

カスタムプリセット

# プロットする列を含む表を作成する
table = wandb.Table(data=data, columns=["step", "height"])

# 表の列をチャートのフィールドにマッピングする
fields = {"x": "step", "value": "height"}

# 表を使用して新しいカスタム チャートプリセットにデータを入力する
# 保存済みのカスタム チャートプリセットを使用するには、vega_spec_name を変更する
my_custom_chart = wandb.plot_table(
    vega_spec_name="carey/new_chart",
    data_table=table,
    fields=fields,
)

​

データをログする

• Config: 実験の初期設定 (独立変数) です。これには、トレーニング開始時に wandb.Run.config にキーとしてログした名前付きフィールドが含まれます。例: wandb.Run.config.learning_rate = 0.0001
• Summary: トレーニング中にログされた単一の値 (結果または従属変数) です。たとえば、wandb.Run.log({"val_acc" : 0.8}) です。トレーニング中に wandb.Run.log() でこのキーに複数回書き込んだ場合、summary にはそのキーの最後の値が設定されます。
• History: ログされたスカラーの完全な時系列は、history フィールドを通じてクエリできます
• summaryTable: 複数の値のリストをログする必要がある場合は、wandb.Table() を使用してそのデータを保存し、その後カスタムパネルでクエリします。
• historyTable: 履歴データを確認する必要がある場合は、カスタムチャートパネルで historyTable をクエリします。wandb.Table() を呼び出すかカスタムチャートをログするたびに、その step の history に新しい表が作成されます。

​

カスタム表をログする

with wandb.init() as run:
  # カスタムデータ表をログする
  my_custom_data = [[x1, y1, z1], [x2, y2, z2]]
  run.log(
      {"custom_data_table": wandb.Table(data=my_custom_data, columns=["x", "y", "z"])}
  )

​

チャートをカスタマイズする

​

GraphQL クエリを作成する

• Config は、run 設定 の値 (ハイパーパラメーターやその他の設定) を取得します。
• Summary は、summary の値を取得します。デフォルトでは、wandb.Run.log() でログしたキーの summary には、そのキーに最後に書き込まれた値が保持されます。別の集計方法を使用するには、wandb.Run.define_metric(..., summary=...) を "min"、"max"、"mean"、"best"、"none" のいずれかとともに呼び出します。値を直接設定するには、wandb.Run.summary["key"] = value を代入します。
• History は、run 履歴からスカラー時系列を取得します (たとえば、各 step における loss や accuracy) 。最後の数値だけでなく曲線全体が必要な場合は、history を使用してください。
• summaryTable は、run summary から wandb.Table を読み込みます。対象の表が run に単一のスナップショットとして保存されている場合 (たとえば、最後に一度だけログする混同行列) に使用してください。
• historyTable は、run 履歴から wandb.Table を読み込みます。wandb.Run.log() で表をログするたびに、その表を含む新しい step が run 履歴に追加されます。表が時間とともに変化する場合や、カスタム チャート エディターで step セレクターを有効にしたい場合は、historyTable を使用してください (カスタム チャートで step スライダーを表示するにはどうすればよいですか？ を参照してください) 。

• 各 step でログした表の列をプロットする場合 (たとえば PR 曲線) : historyTable を追加し、tableKey をログしたキー (たとえば pr_curve) に設定してから、Chart fields で表の列をマッピングします。カスタム チャート チュートリアル を参照してください。
• summary にある表の列をプロットする場合 (たとえば、複合ヒストグラムのクラス スコア) : summaryTable を追加し、tableKey をそのキーに設定します (チュートリアルでは class_scores を使用しています) 。おまけ: 複合ヒストグラム を参照してください。
• トレーニング step に対するスカラー メトリクスをプロットする場合: history からそのメトリクスを追加します。summary からのみ追加すると、チャートには run ごとに 1 つの値だけが表示されます。

​

カスタム可視化

​

Vega を編集

​

チャートプリセットを保存する

​

Reports とガイド

• W&Bの機械学習可視化IDE
• カスタムチャートを使ってNLPのAttentionベースモデルを可視化する
• カスタムチャートを使ってAttentionが勾配フローに与える影響を可視化する
• 任意の曲線をログする

​

一般的なユース ケース

• エラーバー付きの棒グラフをカスタマイズする
• カスタムの x-y 座標が必要なモデルの検証メトリクス (適合率-再現率曲線など) を表示する
• 2 つの異なるモデルや experiment のデータ分布をヒストグラムとして重ねて表示する
• トレーニング中の複数の時点のスナップショットを使って、メトリクスの変化を表示する
• W&B でまだ利用できない独自の可視化を作成して、他のユーザーと共有する