OpenAI ファインチューニング

このページでは、OpenAI GPT-3.5 または GPT-4 モデルのファインチューニングに関するメトリクスと設定を W&B にログする方法を説明します。W&B を OpenAI のファインチューニング API と統合することで、ファインチューニングの実験、モデル、データセットを 1 か所でトラッキングし、結果を同僚と共有できます。OpenAI モデルをファインチューニングし、トレーニングデータと生成されたモデルに対して一元的な実験管理とバージョン管理を行いたい場合は、このインテグレーションを使用してください。

ファインチューニング可能なモデルの一覧については、OpenAI ドキュメントを参照してください。

OpenAI でのファインチューニングに W&B を統合する方法についての補足情報は、OpenAI ドキュメントの W&B Integration セクションを参照してください。

OpenAI Python API をインストールまたは更新する

ファインチューニングの結果を Sync する前に、互換性のあるバージョンの OpenAI Python クライアントがインストールされていることを確認してください。W&B の OpenAI ファインチューニングインテグレーションは、OpenAI バージョン 1.0 以降に対応しています。最新バージョンについては、OpenAI Python API ライブラリの PyPI ドキュメントを参照してください。 OpenAI Python API をインストールするには、次を実行します。

pip install openai

OpenAI Python API がすでにインストールされている場合は、以下のコマンドで更新します。

pip install -U openai

OpenAI のファインチューニング結果を同期する

このセクションでは、OpenAI のファインチューニングジョブのメトリクスと設定を W&B に送信し、他の Experiments とあわせて確認する方法を説明します。これを行うには、wandb.integration.openai.fine_tuning モジュールの WandbLogger クラスを使用します。

from wandb.integration.openai.fine_tuning import WandbLogger

# ファインチューニングのロジック

WandbLogger.sync(fine_tune_job_id=FINETUNE_JOB_ID)

ファインチューニングを同期する

スクリプトから結果を同期できます。次の例では、最小限の 1 行の呼び出しと、同期の挙動を制御するために指定できる省略可能なパラメーター一式の両方を示します。

from wandb.integration.openai.fine_tuning import WandbLogger

# 1行のコマンド
WandbLogger.sync()

# オプションのパラメーターを渡す場合
WandbLogger.sync(
    fine_tune_job_id=None,
    num_fine_tunes=None,
    project="OpenAI-Fine-Tune",
    entity=None,
    overwrite=False,
    model_artifact_name="model-metadata",
    model_artifact_type="model",
    **kwargs_wandb_init
)

参照

次の表では、WandbLogger.sync が受け付ける各引数について説明します。

Argument	Description
`fine_tune_job_id`	`client.fine_tuning.jobs.create` でファインチューニングジョブを作成したときに取得する OpenAI のファインチューニング ID です。この引数が `None` (デフォルト) の場合、W&B はまだ同期されていないすべての OpenAI ファインチューニングジョブを同期します。
`openai_client`	初期化済みの OpenAI クライアントを `sync` に渡します。クライアントを指定しない場合は、ロガーがクライアントを初期化します。デフォルトは `None` です。
`num_fine_tunes`	ID を指定しない場合、W&B は未同期のすべてのファインチューニングをログします。この引数を使用すると、同期する直近のファインチューニング数を指定できます。`num_fine_tunes` が 5 の場合、W&B は直近 5 件のファインチューニングを選択します。
`project`	W&B がファインチューニングのメトリクス、モデル、データなどをログする W&B のプロジェクト名です。デフォルトのプロジェクト名は `"OpenAI-Fine-Tune"` です。
`entity`	Runs の送信先となる W&B のユーザー名またはチーム名です。デフォルトでは、W&B は通常ユーザー名であるデフォルトの entity を使用します。
`overwrite`	ログを強制し、同じファインチューニングジョブに対応する既存の `wandb` run を上書きします。デフォルトは `False` です。
`wait_for_job_success`	OpenAI のファインチューニングジョブは、開始してから完了するまでにしばらく時間がかかります。ファインチューニングジョブの完了後すぐに W&B がメトリクスをログできるよう、この設定では 60 秒ごとにジョブのステータスが `succeeded` に変わったかどうかを確認します。ファインチューニングジョブが成功すると、W&B は自動的にメトリクスを同期します。デフォルトは `True` です。
`model_artifact_name`	ログされたモデル artifact の名前です。デフォルトは `"model-metadata"` です。
`model_artifact_type`	ログされたモデル artifact のタイプです。デフォルトは `"model"` です。
`**kwargs_wandb_init`	`wandb.init()` に直接渡される追加の引数です。

データセットのバージョン管理と可視化

ファインチューニングジョブを同期すると、W&B はトレーニングデータと検証データも取得するため、それらをバージョン管理し、インタラクティブに探索できます。以下の各サブセクションでは、W&B がトラッキングする内容と、その確認方法について説明します。

バージョン管理

ファインチューニングのためにOpenAIへアップロードするトレーニングデータと検証データは、バージョン管理をしやすくするために、自動的にW&B Artifactsにログされます。次の画像は、Artifacts内のトレーニングファイルの表示例です。ここでは、このファイルをログしたW&B run、ログされた日時、このデータセットのバージョン、メタデータ、そしてトレーニングデータからトレーニング済みモデルまでのDAGリネージを確認できます。

可視化

W&B はデータセットを W&B Tables として可視化し、データセットの探索、検索、操作を行えます。以下の画像は、W&B Tables で可視化されたトレーニングサンプルを示しています。

ファインチューニングしたモデルとモデルのバージョン管理

OpenAI はファインチューニングしたモデルの基となる重みを公開していないため、W&B は代わりにそのメタデータを取得してモデルをトラッキングします。OpenAI は、ファインチューニングしたモデルの ID を返します。モデルの重みにはアクセスできないため、WandbLogger は fine_tuned_model`` ID と、モデルのすべての詳細 (ハイパーパラメーター、データファイル ID など) を含む model_metadata.json ファイルを作成し、これを W&B Artifact としてログします。このモデル (メタデータ) の Artifact は、さらに W&B Registry 内のモデルにリンクできます。

よくある質問

以下のセクションでは、OpenAI から同期したファインチューニング Runs の共有、整理、復元に関するよくある質問に回答します。次を使用して、ファインチューニングジョブをチームアカウントにログしてください。

WandbLogger.sync(entity="<your-team-name>")

Runs を整理する

W&B は Runs を自動的に整理します。ジョブタイプ、base model、学習率、トレーニングファイル名、その他のハイパーパラメーターなど、任意の設定パラメーターに基づいてフィルターや並べ替えを行えます。さらに、Runs の名前を変更したり、メモを追加したり、タグを作成してグループ化したりできます。整理できたら、Workspace を保存し、それを使用して report を作成できます。Runs や保存済みの Artifacts (トレーニング/検証ファイル) からデータを取り込めます。

ファインチューニングしたモデルにアクセスする

W&B は、ファインチューニングしたモデルの ID を Artifacts (model_metadata.json) および設定としてログします。

import wandb
    
with wandb.init(project="OpenAI-Fine-Tune", entity="<your-team-name>") as run:
    ft_artifact = run.use_artifact("<entity>/<project>/model_metadata:<version>")
    artifact_dir = ft_artifact.download()

<version> プレースホルダーには、次のいずれかを指定します。

v2 のようなバージョン番号。
ft-xxxxxxxxx のようなファインチューニング ID。
latest のような自動的に追加されたエイリアス、または手動で追加したエイリアス。

その後、ダウンロードした model_metadata.json file を参照することで、fine_tuned_model ID にアクセスできます。

Sync されなかったファインチューニングを復元する

ファインチューニングの情報が W&B に正常にログされなかった場合は、overwrite=True を使用し、ファインチューニングのジョブ ID を渡してください。

WandbLogger.sync(
    fine_tune_job_id="<fine-tune-job-id>",
    overwrite=True,
)

W&B でデータセットとモデルをトラッキングする

W&B は、トレーニングデータと検証データを自動的に Artifacts としてログします。W&B は、ファインチューニングしたモデルの ID を含むメタデータも Artifacts としてログします。 wandb.Artifact や wandb.Run.log などの低レベルの wandb API を使って、パイプラインを制御することもできます。これにより、データとモデルを完全に追跡可能にできます。

リソース

より詳しい背景情報とエンドツーエンドの例については、以下のリソースを参照してください。

OpenAIのファインチューニングドキュメントには、詳細なガイダンスと役立つヒントが掲載されています。
デモ用Colab。
W&B を使った OpenAI GPT-3.5 と GPT-4 モデルのファインチューニング方法 report。

ガイド

インテグレーション

リファレンス

OpenAI Python API をインストールまたは更新する

OpenAI のファインチューニング結果を同期する

ファインチューニングを同期する

参照

データセットのバージョン管理と可視化

バージョン管理

可視化

ファインチューニングしたモデルとモデルのバージョン管理

よくある質問

Runs を整理する

ファインチューニングしたモデルにアクセスする

Sync されなかったファインチューニングを復元する

W&B でデータセットとモデルをトラッキングする

リソース

​OpenAI Python API をインストールまたは更新する

​OpenAI のファインチューニング結果を同期する

​ファインチューニングを同期する

​参照

​データセットのバージョン管理と可視化

​バージョン管理

​可視化

​ファインチューニングしたモデルとモデルのバージョン管理

​よくある質問

​チームでファインチューニング結果を共有する

​Runs を整理する

​ファインチューニングしたモデルにアクセスする

​Sync されなかったファインチューニングを復元する

​W&B でデータセットとモデルをトラッキングする

​リソース

OpenAI Python API をインストールまたは更新する

OpenAI のファインチューニング結果を同期する

ファインチューニングを同期する

参照

データセットのバージョン管理と可視化

バージョン管理

可視化

ファインチューニングしたモデルとモデルのバージョン管理

よくある質問

チームでファインチューニング結果を共有する

Runs を整理する

ファインチューニングしたモデルにアクセスする

Sync されなかったファインチューニングを復元する

W&B でデータセットとモデルをトラッキングする

リソース