사전 요구 사항
시작하기 전에 다음을 완료하세요:- 공식 Azure 문서에 따라 Azure OpenAI 서비스를 설정합니다.
- API 키를 사용하도록 W&B 계정을 설정합니다.
워크플로 개요
다음 단계에서는 일반적인 Azure OpenAI 파인튜닝 작업이 작업 준비부터 결과 모델 평가까지 W&B에서 어떻게 진행되는지 요약해 설명합니다.파인튜닝 설정
파인튜닝 설정은 다음 step으로 구성됩니다:- Azure OpenAI 요구 사항에 따라 트레이닝 데이터를 준비합니다.
- Azure OpenAI에서 파인튜닝 작업을 설정합니다.
- W&B를 사용해 파인튜닝 과정을 추적하고 메트릭과 하이퍼파라미터를 로깅합니다.
실험 추적
파인튜닝 중 W&B는 다음을 기록합니다:- 트레이닝 및 검증 메트릭.
- 모델 하이퍼파라미터.
- 리소스 사용량.
- 트레이닝 아티팩트.
모델 평가
파인튜닝 후 W&B Weave를 사용해 다음을 수행합니다:- 모델 출력을 레퍼런스 데이터셋과 비교하여 평가합니다.
- 서로 다른 파인튜닝 run 간의 성능 비교합니다.
- 특정 테스트 사례에서 모델의 동작 분석합니다.
- 데이터에 기반해 모델 선택 결정합니다.
실제 사용 사례
인테그레이션이 엔드투엔드로 적용되는 방식을 확인하려면 다음 리소스를 살펴보세요:- 의료 노트 생성 데모를 살펴보며 이 인테그레이션이 다음을 어떻게 지원하는지 확인해 보세요:
- 파인튜닝 실험의 체계적인 추적
- 도메인별 메트릭을 활용한 모델 평가
- 대화형 파인튜닝 노트북을 따라 해보세요.