前提条件
開始する前に、以下を完了してください。- Azure の公式ドキュメントに従って、Azure OpenAI Service を設定します。
- W&BアカウントにAPIキーを設定します。
ワークフローの概要
以下では、一般的な Azure OpenAI のファインチューニング ジョブが、ジョブの準備から生成されたモデルの評価まで、W&B 上でどのように進むかを各段階に分けて概説します。ファインチューニングのセットアップ
ファインチューニングのセットアップには、次の手順が含まれます。- Azure OpenAI の要件に従って、トレーニングデータを準備します。
- Azure OpenAI でファインチューニング ジョブを設定します。
- W&B を使用してファインチューニングのプロセスをトラッキングし、メトリクスとハイパーパラメーターをログします。
実験管理
ファインチューニング中、W&B では次を取得します：- トレーニングおよび検証のメトリクス。
- モデルのハイパーパラメーター。
- リソース使用状況。
- トレーニングアーティファクト。
モデル評価
ファインチューニング後、W&B Weaveを使用して、次のことを行います。- モデルの出力を参照用データセットに対して評価する。
- 複数のファインチューニング run 間でパフォーマンスを比較する。
- 特定のテストケースにおけるモデルの挙動を分析する。
- モデル選択のために、データに基づいて意思決定する。
実際の使用例
このインテグレーションがエンドツーエンドでどのように適用されるかを確認するには、以下のリソースをご覧ください。- 医療メモ生成デモで、このインテグレーションによって次のことがどのように実現されるかを確認できます。
- ファインチューニング実験の体系的なトラッキング。
- ドメイン固有のメトリクスを用いたモデル評価。
- インタラクティブなファインチューニング ノートブックを実際に試してみてください。