Serverless Inference - Weights & Biases Documentation

Serverless Inference を使うと、W&B Weave と OpenAI 互換 API 経由で主要なオープンソースの基盤モデルにアクセスできます。

Inference を使うと、ホスティングプロバイダーへの登録やモデルのセルフホスティングをせずに、AI アプリケーションやエージェントを構築できます。
Weave を使うと、Serverless Inference を利用したアプリケーションをトレース、評価、監視、改善できます。

UI で Inference を試す

https://wandb.ai/inference にアクセスして、利用可能なモデルを確認し、Weave Playground で試してみてください。 Web インターフェイスの詳細については、UI Guide を参照してください。

API 経由で Inference を使用する

この Python の例では、Inference を使用して LLM への chat completion リクエストを送信します。

import openai

client = openai.OpenAI(
    # カスタムベースURLはServerless Inferenceを指しています
    base_url='https://api.inference.wandb.ai/v1',

    # Create an API key at https://wandb.ai/settings
    api_key="<your-api-key>",

    # Optional: Team and project for usage tracking
    project="<your-team>/<your-project>",
)

response = client.chat.completions.create(
    model="meta-llama/Llama-3.1-8B-Instruct",
    messages=[
        {"role": "system", "content": "You are a helpful assistant."},
        {"role": "user", "content": "Tell me a joke."}
    ],
)

print(response.choices[0].message.content)

次のステップ

前提条件に従ってアカウントを設定してください。
利用可能なモデルと利用情報と制限を確認してください。
APIまたはUIからサービスを使用してください。
W&B Weave Playgroundでサポートされるモデルを試してください。
使用例を試してください。

料金、利用制限、クレジットについては、利用情報と制限を参照してください。