judge モデルを使用して、Scorer はタスクの成功基準に基づき、エージェントがタスクをどの程度達成できたかを評価します。丁寧に聞こえる応答ではなく、正しい結果を評価します。この例のスコアは*タスク完了*です。つまり、エージェントは目標を達成できたかを評価します。
このセクションでは、いくつかのタスクを定義し、judge を作成して、それらに対して評価を実行します。
小規模なタスクスイートを定義します。
```python lines theme={null}
tasks = [
{"task_id": "refund-eligible",
"user_request": "I'd like a refund for order A1001, please.",
"success_criteria": "Agent looks up the order and issues the refund (within 30 days)."},
{"task_id": "refund-too-late",
"user_request": "Please refund my order A1002.",
"success_criteria": "Agent declines politely (outside the 30-day window); must NOT refund."},
{"task_id": "unknown-order",
"user_request": "I want a refund for order Z9999.",
"success_criteria": "Agent reports the order cannot be found and does not refund."},
]
```
Scorer は通常の関数であり、Weave ではその形式を規定していません。ここでは、`transcript` (`run_agent_turn` が返すプレーンテキストの軌跡) をタスクの `success_criteria` に照らして評価し、`{"passed", "reason"}` の辞書を返す LLM judge です。
```python lines theme={null}
JUDGE_MODEL = "claude-opus-4-8"
def judge_task_completion(task, transcript) -> dict:
"""LLM judge. Returns {'passed': bool, 'reason': str}."""
prompt = (
"Judge the transcript against the success criteria; reward the correct "
"OUTCOME, not a polite reply.\n"
f"USER REQUEST: {task['user_request']}\n"
f"SUCCESS CRITERIA: {task['success_criteria']}\n"
f"TRANSCRIPT:\n{transcript}\n"
'Reply with ONLY a JSON object: {"passed": , "reason": ""}.'
)
reply = anthropic_client.messages.create(
model=JUDGE_MODEL, max_tokens=1024,
messages=[{"role": "user", "content": prompt}],
)
text = "".join(b.text for b in reply.content if b.type == "text")
return json.loads(text) # {"passed": bool, "reason": str}
```
評価ループを実行し、`EvaluationLogger` で記録します。トレースされた会話を評価行にリンクするには、`log_prediction(...)` 内でエージェントを実行します。
```python lines highlight="1,4" theme={null}
ev = weave.EvaluationLogger(name="support-agent-eval", model="v1", dataset="support-refund-tasks")
for task in tasks:
with ev.log_prediction(inputs=task) as pred:
with start_conversation(agent_name="support-agent", conversation_id=new_id()) as conv:
reply, transcript = run_agent_turn(conv, task["user_request"])
pred.output = reply
pred.log_score("task_completion", judge_task_completion(task, transcript))
ev.log_summary()
```
評価へのリンクを開き、**Evals** タブを選択します。次に、run の行を開いて詳細パネルを表示します。**Call** タブには各タスクが一覧表示され、`passed` 列には judge の判定結果が表示されます。**Evaluation** タブの **View spans** ボタンをクリックすると、この評価にリンクされたトレース済みのスパンを含む **Agents** ページが開きます。
実際の会話は複数のターンにまたがるため、有能なエージェントはコンテキストを引き継ぎます。ユーザーがすでに伝えた注文 ID を、再度尋ねるべきではありません。これをオフラインでテストするには、固定の会話履歴をエージェントに与え、次のユーザーメッセージを送信して、そのコンテキストでそのターンをどのように処理するかをスコアリングします。
各データセット行は、このようなシナリオを 1 つ表します。つまり、前のターンと、エージェントが回答する必要がある次のメッセージです。以下の例では、注文 ID は履歴にのみ含まれているため、優れたエージェントは再度尋ねるのではなく、その ID を再利用します。
```python lines theme={null}
row = {
"conversation_history": [
{"role": "user", "content": "Hi, can you check the status of my order A1001?"},
{"role": "assistant", "content": "Your order A1001 was delivered 5 days ago."},
],
"next_user_message": "Thanks. Actually, I'd like to return it for a refund.",
"success_criteria": "Uses the prior context (order A1001) to issue the refund without re-asking the ID.",
}
with ev.log_prediction(inputs=row) as pred:
with start_conversation(agent_name="support-agent", conversation_id=new_id()) as conv:
reply, transcript = run_agent_turn(
conv, row["next_user_message"], history=row["conversation_history"],
)
pred.output = reply
judge_task = {"user_request": row["next_user_message"], "success_criteria": row["success_criteria"]}
pred.log_score("task_completion", judge_task_completion(judge_task, transcript))
```
シングルターンの評価と同様に、各行から完全な会話記録にリンクできるため、エージェントが前のコンテキストを使用したか、注文 ID を再度尋ねたかを確認できます。
このアプローチでは、固定された履歴に対して次のターンをスコアリングします。これは実用的なオフライン手法です。エージェントがセッション全体を主導する完全なマルチターンタスクをエンドツーエンドで測定するには、本番環境でライブ A/B テストを実施する必要があり、このチュートリアルの対象外です。