Inference service にアクセスする
以下のセクションでは、Inference service にアクセスする 3 つの方法を紹介します。現在のワークフローに最も合った方法を選択してください。直接リンク
https://wandb.ai/inference にアクセスしてください。Inference タブから
- https://wandb.ai/ で W&B アカウントにアクセスします。
- プロジェクトのサイドバーから Inference を選択します。利用可能なモデルとその情報が表示されるページが開きます。
Playground タブから
- プロジェクトのサイドバーで Playground を選択します。Playground のチャット UI が表示されます。
- LLM のドロップダウンリストで Serverless Inference にカーソルを合わせます。右側に利用可能なモデルのドロップダウンが表示されます。
- モデルのドロップダウンでは、次の操作ができます:
- 任意のモデル名をクリックして、そのモデルを Playground で試す。
- 複数のモデルを比較する
Playgroundでモデルを試す
モデルを選択したら、他の場所に統合する前に、Playgroundでテストしてその応答を評価し、動作を調整できます。実行できる操作は次のとおりです。複数のモデルを比較する
Playground では、Inference のモデルを並べて比較して、同じプロンプトに対する品質、レイテンシ、出力スタイルを評価できます。Compare ビューには、以下のセクションで説明する 2 つの場所からアクセスできます。Inferenceタブから
- プロジェクトのサイドバーから Inference を選択します。利用可能なモデルのページが表示されます。
- モデルカード上の任意の場所 (モデル名を除く) をクリックして選択します。選択されていることを示すため、カードが強調表示されます。
- 比較したい各モデルについて、この操作を繰り返します
- 選択したいずれかのカードで Playground で [N] 個のモデルを比較 をクリックします。
[N]は選択したモデル数です。比較ビューが開きます。
Playground タブから
- プロジェクトのサイドバーで Playground を選択します。Playground のチャット UI が表示されます。
- LLM ドロップダウンリストで Serverless Inference にカーソルを合わせます。右側にモデルのドロップダウンが表示されます。
- ドロップダウンから Compare を選択します。Inference タブが表示されます。
- モデルカード上の任意の場所 (モデル名を除く) をクリックして選択します。選択されると、カードがハイライト表示されます。
- 比較する各モデルに対してこの操作を繰り返します。
- 選択した任意のカードで Compare [N] models in the Playground をクリックします。比較ビューが開きます。
請求と利用状況の情報を確認する
組織管理者は、W&B UI でクレジット残高、利用履歴、今後の請求額を確認できます。 このビューを使用して、支出を監視し、今後の請求額を予測できます。- UI の W&B Billing ページにアクセスする
- Inference の請求情報カードを検索する
- ここから次の操作を行えます:
- View usage をクリックして、一定期間の利用状況を確認する
- 今後の Inference の請求額を確認する (有料プランの場合)