Skip to main content
期間限定で、Serverless Inference が無料枠に含まれています。Serverless Inference では、API と Weave Playground を通じて主要なオープンソースの基盤モデルにアクセスできます。
LLM のプロンプトと応答を評価するのは簡単ではありません。Weave Playground は、LLM のプロンプトと応答を反復的に改善するプロセスをシンプルにし、さまざまなモデルやプロンプトを試せるようにします。プロンプトの編集、メッセージの再試行、モデル比較などの機能により、Playground を使って LLM アプリケーションをテストし、改善できます。Playground は、LLM のプロンプトをアプリケーションに組み込む前にテスト、比較、改良したい開発者やプロンプトエンジニアを対象としています。Playground は OpenAI、Anthropic、Google などのプロバイダーのモデルに加え、カスタムランタイム もサポートしています。
  • クイックアクセス: 新しいセッションを開始するには Weave のサイドバーメニューから Playground を開き、既存の project をテストするには Call ページから開きます。
  • Message controls: チャット内でメッセージを直接編集、再試行、削除できます。
  • 柔軟なメッセージング: 新しいメッセージをユーザー入力またはシステム入力として追加し、LLM に送信できます。
  • カスタマイズ可能な設定: 使用する LLM プロバイダーを設定し、モデル設定を調整できます。
  • 複数 LLM のサポート: チーム単位で APIキー を管理しながら、モデルを切り替えられます。
  • モデルの比較: 同じプロンプトに対して異なるモデルがどのように応答するかを比較できます。
  • カスタムランタイム: カスタムモデル用の OpenAI 互換 API エンドポイント をテストできます。
  • 保存済みモデル: ワークフローで再利用できるモデルプリセットを作成して設定できます。
Playground を使い始めて LLM とのやり取りを最適化し、プロンプトエンジニアリングと LLM アプリケーション開発を効率化しましょう。以下のセクションでは、Playground の設定方法と使用方法を説明します。

​
プロバイダーの認証情報と情報を追加する

Playgroundを使用するには、まずプロバイダーの認証情報を追加して、Playgroundが各モデルプロバイダーへのリクエストをユーザーに代わって認証できるようにする必要があります。Playgroundは多くのプロバイダーのモデルに対応しています。利用可能なモデルのいずれかを使用するには、適切な情報をW&BのSettingsにあるチームシークレットに追加してください。
  • Amazon Bedrock:
    • AWS_ACCESS_KEY_ID
    • AWS_SECRET_ACCESS_KEY
    • AWS_REGION_NAME
  • Anthropic: ANTHROPIC_API_KEY
  • Azure:
    • AZURE_API_KEY
    • AZURE_API_BASE
    • AZURE_API_VERSION
  • Deepseek: DEEPSEEK_API_KEY
  • Google: GEMINI_API_KEY
  • Groq: GROQ_API_KEY
  • Mistral: MISTRAL_API_KEY
  • OpenAI: OPENAI_API_KEY
  • X.AI: XAI_API_KEY

​
Playground にアクセスする

Playground には 2 つの方法でアクセスできます。
  1. デフォルトの system prompt で新しい Playground ページを開く: Weave プロジェクトのサイドバーで Playground を選択します。Playground は同じタブで開きます。
  2. 特定の call の Playground を開く:
    1. サイドバーで Traces タブを選択します。トレースの一覧が表示されます。
    2. トレースの一覧で、表示したい call の名前をクリックします。その call の詳細ページが開きます。
    3. Open chat in Playground をクリックします。Playground は新しいタブで開きます。
Playground で開くボタンのスクリーンショット

​
LLMを選択する

プロンプトヘッダー (Playground のメインパネル上部) にある Select a model ドロップダウンを使って、LLM を切り替えられます。以下のプロバイダーを利用できます。
  • Amazon Bedrock
  • Anthropic
  • Azure
  • Deepseek
  • Google
  • Groq
  • Mistral
  • OpenAI
  • X.AI
利用可能なモデルは、チームに設定されているプロバイダーによって異なります。

​
Playground の Settings をカスタマイズする

選択したモデルのパラメーターを調整したり、モデルが呼び出す関数を追加したりできます。以下のセクションでは、Playground の Settings をカスタマイズする方法を説明します。

​
LLMパラメーターを調整する

選択したモデルで、さまざまなパラメーター値を試すことができます。Playground でパラメーターを調整するには、次の手順に従ってください。
  1. プロンプトヘッダー (メインパネル上部) で、Chat settings () ボタンをクリックして、Chat settings パネルを開きます。
  2. Chat settings パネルで、必要に応じてパラメーターを調整します。また、Weave Call トラッキング のオン/オフを切り替えたり、関数 を追加したりすることもできます。
  3. 変更は自動的に適用されます。パネルを閉じるには、Chat settings をもう一度クリックするか、右上の x をクリックします。Chat settings ボタンのホバーテキストには、変更した設定が表示されます。
ページを離れると、設定は失われます。設定を保存するには、モデルを保存してください。変更した設定を破棄してやり直すには、ページを更新してください。
「Select a model」ドロップダウンが開き、右側に Chat settings パネルが表示されている Weave Playground。
Playground では、試行回数を設定することで、同じ入力に対して複数の出力を生成できます。デフォルト値は 1 です。試行回数を調整するには、Chat settings パネルを開き、Number of trials を調整します。

​
関数を追加する

ユーザーから受け取った入力に基づいて、異なるモデルが関数をどのように使用するかをテストできます。Playground でテスト用の関数を追加するには、Chat settings パネルで + Add function をクリックします。画面の案内に従って関数を定義し、変更を保存します。

​
Message controls

Playground のチャット インターフェースは、prompt 定義エリア、messages パネル、message composer の 3 つの領域で構成されています。以下のセクションで、それぞれの領域について説明します。

​
プロンプト定義エリア

プロンプト定義エリアでは、やり取り全体を通してモデルの挙動を決める指示を定義できます。 このエリアは、メッセージのやり取りが始まる前に一貫して適用されるコンテキストを指定するために使用します。これには、役割の定義、トーンやスタイルのガイダンス、挙動上の制約、出力要件が含まれます。ここで加えた変更は、再度変更しない限り、その後のすべてのやり取りに影響します。 含まれる項目は次のとおりです。
  • プロンプトセレクター: 保存済みの既存のプロンプトを選択するか、新しいプロンプトを作成します。
  • メッセージロールセレクター: 定義するメッセージの役割 (System、Assistant、または User ロール) を指定します。
  • プロンプトテキスト: モデルの応答方法を定める指示テキストを入力します。
  • Add message ボタン: 実行前に、プロンプトコンテキストに追加のメッセージを含められます。
これらのメッセージはまとめてモデルに送信され、次の目的に使用できます。
  • システムレベルの補足指示を追加する。
  • 応答を導くための Assistant メッセージの例を提供する (few-shot prompting など) 。
  • 特定のシナリオをテストするために User メッセージを事前定義する。

​
メッセージパネル

メッセージパネルには、実行中に生成された会話が表示されます。 次の内容が含まれます。
  • プロンプトのセットアップに含まれる、あらかじめ定義されたメッセージ
  • メッセージコンポーザーから送信されたメッセージ
  • モデルから返されたレスポンス
また、パネル内のメッセージをCopy、Delete、Edit、Retryすることもできます。

​
メッセージコンポーザー (入力フィールド)

メッセージコンポーザー を使用して、モデルに新しいメッセージを送信します。 メッセージのロールを選択し、実行するメッセージを送信できます。ほとんどのやり取りは User メッセージとして作成します。指示の変更をテストする際には、System または Assistant メッセージを追加できます。
上部にプロンプト定義領域、中央にメッセージ履歴、下部に新しいメッセージを送信するための メッセージコンポーザー が表示された Weave Playground。

​
メッセージ履歴を表示する

メッセージ履歴を表示するには、右側のPlaygroundツールバーにある History () ボタンをクリックします。現在のプロジェクトで送信されたすべてのメッセージを表示する History パネルが開きます。 履歴内の項目を選択すると、比較用の追加のチャットパネルに読み込まれます。

​
LLM を比較する

Playground では、LLM を並べて比較して、異なるモデルが同じプロンプトにどう応答するかを評価できます。比較するには、Playground の右側のツールバーにある チャットを追加 () ボタンをクリックします。元のチャットの横に 2 つ目のチャットが開きます。2 つ目のチャットでは、モデルの選択、Settings の調整、関数の追加など、元のチャットと同じ機能を利用できます。

​
カスタムランタイム

Playground では、組み込みプロバイダーに加えて、project に登録できる OpenAI 互換 API エンドポイントであるカスタムランタイムもサポートしています。カスタムランタイムは以前、カスタムプロバイダーと呼ばれていました。カスタムランタイムを使用して、チームが提供するエージェントのプロトタイプ、ローカルモデル、サポートされるプロバイダーのモデルの旧バージョンなどをテストできます。 UI または Python SDK を使用してカスタムランタイムを登録する方法については、カスタムランタイムを参照してください。カスタムランタイムを登録した後、Select a model ドロップダウンからモデルを選択し、標準の Playground 機能を使用してテストします。

​
ローカルモデルをカスタムランタイムとして使用する

Playground でローカルで実行中のモデルをテストするには、ngrok と Ollama を使って、CORS の制限を回避する一時的な公開 URL を作成します。これにより、ブラウザのセキュリティポリシーに違反することなく、Playground からご利用のマシン上で実行されているモデルにアクセスできます。 設定するには、次の手順に従います。
  1. ご利用のオペレーティングシステム向けの ngrok をインストール します。
  2. Ollama モデルを起動します。[MODEL] は、実行する Ollama モデルの名に置き換えてください。
  3. 別のターミナルで、必要な CORS ヘッダーを付けて ngrok トンネルを作成します。
  4. ngrok を起動すると、https://xxxx-xxxx.ngrok-free.app のような公開 URL が表示されます。UI で カスタムランタイムを登録 する際は、この URL を Base URL として使用します。
次の図は、ローカル環境、ngrok プロキシ、W&B クラウドサービス間のデータフローを示しています。

​
保存済みモデル

保存済みモデルを使用すると、プロバイダー、モデル、パラメーター、関数フックを再利用可能なプリセットとして保存できます。以下のセクションでは、モデルの保存、使用、更新の方法を説明します。

​
モデルを保存する

ワークフローで再利用できるモデルプリセットを作成し、設定できます。モデルを保存すると、好みの設定、パラメーター、関数フックを適用した状態ですばやく読み込めます。
  1. プロンプトヘッダー (メインパネル上部) の Select a model ドロップダウンで、プロバイダーとモデルを選択します。
  2. プロンプトヘッダーで、Chat settings () ボタンをクリックして Chat settings パネルを開きます。
  3. チャット設定 パネルで、以下を設定します。
    • モデル名 (必須) : 保存するモデルの名前を入力します。
    • 必要に応じてパラメーターを調整します。また、Weave call トラッキングのオン/オフを切り替えたり、関数を追加したりすることもできます。
  4. モデルを公開 をクリックします。モデルが保存され、Select a model ドロップダウンの 保存済みモデル から利用できるようになります。その後、保存したモデルを使用したり、更新したりできます。

​
保存済みモデルを使用する

以前に保存したモデルに切り替えると、実験やセッションをまたいで一貫性を保てます。これにより、中断したところから再開できます。
  1. プロンプトヘッダー の Select a model ドロップダウンで、保存済みモデル を選択します。
  2. 保存済みモデルの一覧から、読み込みたい保存済みモデルを選択します。モデルが読み込まれ、Playground で使用できる状態になります。

​
保存済みモデルを更新する

既存の保存済みモデルを編集して、パラメーターを微調整したり、設定を更新したりできます。こうすることで、保存済みモデルをユースケースの変化に合わせて進化させることができます。
  1. プロンプトヘッダーの Select a model ドロップダウンで、保存済みモデル を選択します。
  2. 保存済みモデルの一覧から、更新する保存済みモデルを選択します。
  3. プロンプトヘッダーで、Chat settings () ボタンをクリックして Chat settings パネルを開きます。
  4. Chat settings パネルで、必要に応じてパラメーターを調整します。また、Weave call トラッキングのオン/オフを切り替えたり、関数 を追加したりすることもできます。
  5. Update model をクリックします。これによりモデルが更新され、Select a model ドロップダウンの 保存済みモデル から選択できるようになります。保存済みモデルのバージョンは自動的に増分されます。