맞춤형 런타임 추가

• 팀에서 OpenAI-compatible API를 통해 서빙하는 에이전트 또는 모델 프로토타입
• 자체 호스팅 또는 로컬 모델(예: Ollama 또는 vLLM으로 서빙하는 모델)
• Weave에서 기본적으로 지원하지 않는 공급자 또는 모델 버전

​

맞춤형 런타임을 사용할 수 있는 곳

• 플레이그라운드: 엔드포인트와 대화형으로 채팅합니다.
• Evaluation 플레이그라운드: 엔드포인트를 다른 모델과 비교하고 평가합니다.
• Signals: 수신 트레이스에 점수를 매기는 평가 모델로 엔드포인트를 사용합니다.
• Scorer 반복 및 Agent Signals 모델 선택기
• Weave completions API: 모델 ID custom::<runtime-name>::<runtime-id>를 completions/create 엔드포인트에 전달하여 프로그래밍 방식으로 엔드포인트에 대해 트레이스된 completions를 실행합니다. Service API 레퍼런스를 참조하세요.

​

맞춤형 런타임 추가

​

코드를 사용하여 맞춤형 런타임 추가

import weave

client = weave.init("[YOUR-TEAM-NAME]/[YOUR-PROJECT-NAME]")

client.register_custom_runtime(
    name="support-agent",
    base_url="https://agent.example/v1",
    api_key_secret="AGENT_API_KEY",
    headers={"X-Tenant-ID": "customer-1"},
    runtime_ids=[
        "support-v12",
        weave.CustomRuntimeID(id="support-canary", max_tokens=8192),
    ],
)

import * as weave from 'weave';

const client = await weave.init('[YOUR-TEAM-NAME]/[YOUR-PROJECT-NAME]');

await client.registerCustomRuntime({
  name: 'support-agent',
  baseUrl: 'https://agent.example/v1',
  apiKeySecret: 'AGENT_API_KEY',
  headers: {'X-Tenant-ID': 'customer-1'},
  runtimeIds: ['support-v12', {id: 'support-canary', maxTokens: 8192}],
});

​

UI에서 맞춤형 런타임 등록

1. Weave 사이드바에서 Project를 선택한 후 AI Providers 탭을 선택합니다. 또는 플레이그라운드 모델 선택기에서 Configure providers를 클릭합니다.
2. Add custom runtime을 클릭합니다. 설정 패널이 열립니다.
3. 패널에서 런타임 이름, 기본 URL, 하나 이상의 런타임 ID를 입력합니다. 필요에 따라 API 키 시크릿과 맞춤형 헤더를 추가합니다.
4. 런타임을 저장합니다.