組み込みシグナルを使った監視

レイテンシ、トークン数、コストといった標準的なシステムメトリクスだけでは、エージェントの動作を十分に捉えられません。個々のトレースを調べれば深い洞察を得られますが、本番環境で生成される数百万件ものトレースに対してそれを行うのは現実的ではありません。 シグナル は、本番のエージェントに対して自動化された動作ベースのスコアリングを提供することで、この課題に対応する高水準のモニタリングソリューションを実現します。

• 自動スコアリング: 本番に入ってくるすべてのトレースが自動的に処理され、一般的な品質上の問題やエラーについてスコアリングされます。
• インフラストラクチャー: 処理は CoreWeave compute と CoreWeave GPUs によって支えられており、数百万件のトレースにもスケーラブルに対応できます。

本番で シグナル を使用すると、次のことが可能になります。

• 動作に関する洞察を得る。システムメトリクスを超えて、エージェントがハルシネーションを起こしていないか、会話パターンに従えているか、根拠となる証拠に基づいて応答できているかを把握できます。
• リサーチループを加速する。シグナル によって生成されたスコアと失敗分析を使用して弱点を特定し、モデル改善、データアノテーション、または強化学習の検討に活用できます。

​

利用可能なシグナル

W&B Weave には組み込みシグナルを備えたモニターが用意されています。これらは、追加のカスタム設定なしでデフォルトで使用でき、本番トレースに対する一般的な品質上の問題やエラーを評価するプリセットの Scorer です。各組み込みシグナルは、ベンチマーク済みの LLM プロンプト を使用してトレースを分類し、検出された問題を表すカンマ区切りのタグとして結果を保存します。 シグナルはトレースのスコアリングに Serverless Inference モデルを使用するため、外部のAPIキーは必要ありません。 W&B Weave には、2 つのグループに分かれた 13 個のプリセットシグナルがあります。

​

品質シグナル

品質シグナルは、成功したルートレベルのトレースについて、出力の品質や安全性に関する問題を評価します。

​

エラーシグナル

エラーシグナルは、失敗したトレースを根本原因ごとに分類し、インフラストラクチャーやアプリケーションの問題を特定して解決しやすくします。

​

シグナルの仕組み

各シグナルは、LLM-as-a-judge アプローチを使用してトレースを分類します。

• トレースの選択: Quality シグナルは、正常終了したルートレベルのトレースを評価します。Error シグナルは、失敗したトレースを評価します。Weave は子スパンや中間の Call をスコアリングしません。
• プロンプトの構築: Weave は、トレースのメタデータ、inputs、outputs、例外の詳細 (存在する場合) 、およびオペレーションのソースコードを含むプロンプトを構築します。Weave は、シグナルの分類器プロンプトに、検出対象の特定の問題に関する指示を追加します。
• LLM によるスコアリング: 各シグナルについて、Serverless Inference モデルが二値分類 (その問題がトレースに存在するかどうか) を実行します。検出された問題は、カンマ区切りの string tags として返されます (例: "Low-quality, User-frustration, Forgetful") 。

同じグループ (Quality または Error) の複数のシグナルが有効になっている場合、Weave はそれらを 1 回の LLM Call にまとめて処理します。モデルは、有効なすべての分類器を 1 回で評価し、それぞれについて結果を返します。

​

Monitors ページからシグナルを追加する

シグナルを追加すると、自動スコアリングが有効になり、Weave がそのシグナルの条件に照らして新しい本番トレースを評価するようになります。シグナルを有効にするには、次の手順に従います。

1. wandb.ai にアクセスし、Weave プロジェクトを開きます。
2. Weave のプロジェクトのサイドバーで、Monitors を選択します。
3. Monitors が有効になっていない project にシグナルを追加するには、カードをクリックしてチェックボックスをオンにし、Setup monitors をクリックします。
4. 既存の Monitor にシグナルを追加するには、Monitors ページの右上にある Browse signals を選択します。すると Add signals ドロワーが開き、利用可能なシグナルがカテゴリ (Quality 分類器 や Error 分類器 など) ごとにグループ化され、各シグナルにチェックボックスが表示されます。個別のシグナルを選択することも、グループに対して Enable all を使用することも、Create custom signal を選択することもできます。その後、ドロワーの下部で Add signals を選択します。

シグナルを追加すると、Weave は受信したトレースを自動的にスコアリングします。

​

アクティブなシグナルを管理する

シグナルの実行を開始すると、どのシグナルがアクティブかを確認したり、不要になったシグナルをオフにしたりできます。アクティブなシグナルを表示または削除するには、次の手順に従います。

1. Monitors ページで、Manage signals () ボタンを選択します。カテゴリごとに整理された、現在アクティブなすべてのシグナルの一覧を表示するドロワーが開きます。
2. シグナルにカーソルを合わせ、Remove signal () ボタンを選択して、そのシグナルを無効にします。

シグナルを削除すると、新しいトレースに対するスコアリングは停止します。Weave はそのシグナルの既存のスコアを保持します。

​

組み込みシグナルを使用する

シグナルが有効になり、トレースの評価が始まると、Weave のさまざまな場所で結果を確認できます。Weave が問題を検出したときにアラートを設定することもできます。以下のセクションでは、シグナルの結果を確認できる場所と、その対処方法について説明します。

​

Traces ページでタグ付きの Call トレースを確認する

個々の function を @weave.op decorator を使って Ops としてトレースする場合、Weave はシグナル の結果を Call object の feedback として保存します。これらの結果は Traces ページからクエリできます。 Traces ページでは、Signals 列を使って、特定の動作を示すトレースを確認できます。Signals 列には、条件を満たした タグ が表示されます。これらの タグ にカーソルを合わせると、スコアの信頼度と推論を確認できます。 トレース表の toolbar を使用して、特定の シグナル が trigger されたトレースだけが表示されるように、トレース表をフィルターできます。 シグナル が生成した 分類器 Call を選択して Trace Details view を確認すると、Traces ページで シグナル の追加詳細を確認できます。Call の Output で、推論については classifier_meta を確認してください。たとえば、次のスクリーンショットでは、Quality-classifiers シグナル が Low-quality に一致し、確信度 (0.9) とこの評価の理由が表示されています。

​

project ダッシュボードでシグナルを確認する

project レベルでもシグナルを確認できます。

1. プロジェクトのサイドバーで Project を選択します。
2. Project ダッシュボードの上部で、Weave タブを選択します。
3. Weave ダッシュボードのパネルで、Monitor Scores を確認します。

Monitor Scores project パネルでは、project で発生したシグナルの時系列グラフを確認できます。

​

シグナルにアラートを設定する

UI でシグナルを確認するだけでなく、シグナルがトリガーされたときに Weave から通知を受け取ることもできます。エージェントのパフォーマンスが特定のしきい値を下回ったときに、Slack などのツールを通じてチームに通知する自動トリガーを設定できます。 シグナルがトリガーされたときに通知を受け取るには、オートメーションを設定します。

---

組み込みシグナルではカバーできない特定の監視を行うには、カスタムモニターを設定するを参照してください。