Ajouter des runtimes personnalisés

• Un prototype d’agent ou de modèle que votre équipe expose derrière une API compatible avec OpenAI.
• Un modèle auto-hébergé ou local (par exemple, servi par Ollama ou vLLM).
• Un fournisseur ou une version de modèle que Weave ne prend pas en charge de manière native.

​

Où utiliser des runtimes personnalisés

• Playground : Discutez de manière interactive avec le point de terminaison.
• playground d’évaluation : Évaluez et comparez le point de terminaison à d’autres modèles.
• Signals : Utilisez le point de terminaison comme modèle juge pour évaluer les traces entrantes.
• Sélecteurs de modèles pour l’itération des scorers et les Agent Signals.
• L’API de complétion Weave : transmettez l’ID du modèle custom::<runtime-name>::<runtime-id> au point de terminaison completions/create afin d’exécuter par programmation des complétions tracées sur votre point de terminaison. Voir la référence de l’API de service.

​

Ajouter un runtime personnalisé

​

Ajouter un runtime personnalisé à l’aide de code

import weave

client = weave.init("[YOUR-TEAM-NAME]/[YOUR-PROJECT-NAME]")

client.register_custom_runtime(
    name="support-agent",
    base_url="https://agent.example/v1",
    api_key_secret="AGENT_API_KEY",
    headers={"X-Tenant-ID": "customer-1"},
    runtime_ids=[
        "support-v12",
        weave.CustomRuntimeID(id="support-canary", max_tokens=8192),
    ],
)

import * as weave from 'weave';

const client = await weave.init('[YOUR-TEAM-NAME]/[YOUR-PROJECT-NAME]');

await client.registerCustomRuntime({
  name: 'support-agent',
  baseUrl: 'https://agent.example/v1',
  apiKeySecret: 'AGENT_API_KEY',
  headers: {'X-Tenant-ID': 'customer-1'},
  runtimeIds: ['support-v12', {id: 'support-canary', maxTokens: 8192}],
});

​

Enregistrer un runtime personnalisé dans l’interface utilisateur

1. Dans la barre latérale de Weave, sélectionnez Project, puis l’onglet AI Providers. Vous pouvez également cliquer sur Configure providers dans le sélecteur de modèles du Playground.
2. Cliquez sur Ajouter un runtime personnalisé. Le volet latéral de configuration s’ouvre.
3. Dans le volet latéral, saisissez le nom du runtime, l’URL de base et un ou plusieurs ID de runtime. Vous pouvez éventuellement ajouter le secret de clé API et des en-têtes personnalisés.
4. Enregistrez le runtime.