기본 URL
다음 URL에서 Inference 서비스에 액세스할 수 있습니다:사전 요구 사항
Inference API를 호출하려면 다음이 필요합니다:- Inference 크레딧이 있는 W&B 계정
- 유효한 W&B API 키
[YOUR-TEAM]/[YOUR-PROJECT] 형식으로 표시됩니다. 이를 지정하지 않으면 W&B는 기본 entity와 inference 프로젝트 이름을 사용합니다.
사용 가능한 메서드
Inference API는 파운데이션 모델과 상호작용할 수 있는 OpenAI 호환 엔드포인트를 제공합니다. 다음 메서드를 사용할 수 있습니다:- Chat Completions: 파운데이션 모델을 사용해 채팅 완성을 생성합니다.
- List Models: 사용 가능한 모든 모델와 해당 IDs를 조회합니다.
인증
모든 API 요청은 W&B API 키를 사용해 인증해야 합니다. wandb.ai/settings에서 API 키를 생성하세요. 요청 헤더에 API 키를 포함하세요:- OpenAI SDK의 경우,
api_key파라미터를 설정하세요. - API를 직접 호출하는 경우,
Authorization: Bearer [YOUR-API-KEY]를 사용하세요.
오류 처리
전체 오류 코드 목록과 해결 방법은 API 오류를 참조하세요.다음 단계
API 키를 받았다면, 다음 중 하나를 계속 진행하세요:- API가 어떻게 작동하는지 확인하려면 사용 예시를 사용해 보세요.
- Inference UI에서 모델을 탐색하세요.
- 계정의 사용 제한을 확인하세요.