PyTorch torchtune

torchtune est une bibliothèque basée sur PyTorch conçue pour simplifier le développement, le fine-tuning et l’expérimentation pour les LLM. De plus, torchtune intègre une prise en charge native du logging avec W&B, ce qui améliore le suivi et la visualisation des processus d’entraînement. Ce guide vous montre comment activer la journalisation W&B dans les recettes torchtune, configurer le logger de métriques WandBLogger, comprendre quelles métriques torchtune suit par défaut et enregistrer les points de contrôle du modèle dans W&B Artifacts.

tableau de bord d’entraînement de torchtune

Consultez l’article de blog de W&B sur le Fine-tuning de Mistral 7B avec torchtune.

Activez la journalisation W&B

Vous pouvez activer la journalisation W&B de deux façons : redéfinir les arguments au lancement depuis la ligne de commande, ou modifier le fichier de configuration de la recette. Choisissez l’option qui convient le mieux à votre flux de travail.

Ligne de commande
Recette

Redéfinissez les arguments de ligne de commande au lancement :

tune run lora_finetune_single_device --config llama3/8B_lora_single_device \
  metric_logger._component_=torchtune.utils.metric_logging.WandBLogger \
  metric_logger.project="llama3_lora" \
  log_every_n_steps=5

Activez la journalisation W&B dans la configuration de la recette :

# dans llama3/8B_lora_single_device.yaml
metric_logger:
  _component_: torchtune.utils.metric_logging.WandBLogger
  project: llama3_lora
log_every_n_steps: 5

Utiliser le logger de métriques W&B

Activez la journalisation W&B dans le fichier de configuration de la recette en modifiant la section metric_logger. Remplacez _component_ par la classe torchtune.utils.metric_logging.WandBLogger. Vous pouvez également fournir un nom de project ainsi que log_every_n_steps pour personnaliser le comportement de journalisation. Vous pouvez aussi transmettre n’importe quels autres kwargs, comme vous le feriez avec la méthode wandb.init(). Par exemple, si vous travaillez au sein d’une équipe, vous pouvez passer l’argument entity à la classe WandBLogger pour indiquer le nom de l’équipe.

Recette
Ligne de commande

# dans llama3/8B_lora_single_device.yaml
metric_logger:
  _component_: torchtune.utils.metric_logging.WandBLogger
  project: llama3_lora
  entity: my_project
  job_type: lora_finetune_single_device
  group: my_awesome_experiments
log_every_n_steps: 5

tune run lora_finetune_single_device --config llama3/8B_lora_single_device \
  metric_logger._component_=torchtune.utils.metric_logging.WandBLogger \
  metric_logger.project="llama3_lora" \
  metric_logger.entity="my_project" \
  metric_logger.job_type="lora_finetune_single_device" \
  metric_logger.group="my_awesome_experiments" \
  log_every_n_steps=5

Données enregistrées

Après avoir activé la journalisation W&B, vous pouvez explorer le tableau de bord W&B pour consulter les métriques enregistrées. Par défaut, W&B enregistre tous les hyperparamètres du fichier de configuration ainsi que les paramètres remplacés au lancement, afin de conserver un enregistrement de la configuration de chaque run à côté de ses métriques. W&B capture la configuration résolue dans l’onglet Aperçu. W&B stocke également la configuration au format YAML dans l’onglet Files.

Métriques enregistrées

Chaque recette a sa propre boucle d’entraînement. Consultez chaque recette pour voir les métriques enregistrées, qui incluent par défaut les suivantes :

Métrique	Description
`loss`	La perte du modèle.
`lr`	Le taux d’apprentissage.
`tokens_per_second`	Le nombre de jetons par seconde du modèle.
`grad_norm`	La norme du gradient du modèle.
`global_step`	Correspond à l’étape actuelle de la boucle d’entraînement. Tient compte de l’accumulation des gradients. Chaque fois qu’une étape de l’optimiseur s’exécute, le modèle est mis à jour, les gradients s’accumulent, et le modèle est mis à jour une fois tous les `gradient_accumulation_steps`.

global_step n’est pas identique au nombre d’étapes d’entraînement. Il correspond à l’étape actuelle de la boucle d’entraînement et tient compte de l’accumulation des gradients. Chaque fois qu’une étape de l’optimiseur s’exécute, global_step est incrémenté de 1. Par exemple, si le chargeur de données comporte 10 lots, que le nombre d’étapes d’accumulation des gradients est de 2 et que vous exécutez 3 époques, l’optimiseur effectue 15 étapes, donc global_step va de 1 à 15.

La conception de torchtune vous permet d’ajouter des métriques personnalisées ou de modifier celles qui existent déjà. Modifiez le fichier de recette correspondant. Par exemple, vous pouvez enregistrer current_epoch en pourcentage du nombre total d’époques comme ceci :

# dans la fonction `train.py` du fichier de recette
self._metric_logger.log_dict(
    {"current_epoch": self.epochs * self.global_step / self._steps_per_epoch},
    step=self.global_step,
)

L’ensemble des métriques enregistrées peut varier d’une version de torchtune à l’autre. Pour ajouter une métrique personnalisée, modifiez la recette et appelez la fonction self._metric_logger.* correspondante.

Enregistrer et charger des points de contrôle du modèle

Enregistrez les points de contrôle du modèle dans W&B Artifacts pour versionner les poids du modèle en même temps que les métriques et la configuration de chaque run, afin de pouvoir reproduire les résultats et comparer les versions du modèle ultérieurement. La bibliothèque torchtune prend en charge plusieurs formats de point de contrôle du modèle. Selon l’origine du modèle que vous utilisez, vous devez utiliser la classe checkpointer appropriée. Pour enregistrer les points de contrôle du modèle du modèle dans W&B Artifacts, l’approche recommandée consiste à redéfinir les fonctions save_checkpoint de la recette correspondante. L’exemple suivant montre comment redéfinir la fonction save_checkpoint pour enregistrer les points de contrôle du modèle du modèle dans W&B Artifacts.

def save_checkpoint(self, epoch: int) -> None:
    ...
    ## Enregistrez le point de contrôle du modèle dans W&B.
    ## Le nom du fichier dépend de la classe Checkpointer.
    ## Voici un exemple pour le cas full_finetune.
    checkpoint_file = Path.joinpath(
        self._checkpointer._output_dir, f"torchtune_model_{epoch}"
    ).with_suffix(".pt")
    wandb_artifact = wandb.Artifact(
        name=f"torchtune_model_{epoch}",
        type="model",
        # description du point de contrôle du modèle du modèle
        description="Model checkpoint",
        # vous pouvez ajouter les métadonnées de votre choix sous forme de dictionnaire
        metadata={
            utils.SEED_KEY: self.seed,
            utils.EPOCHS_KEY: self.epochs_run,
            utils.TOTAL_EPOCHS_KEY: self.total_epochs,
            utils.MAX_STEPS_KEY: self.max_steps_per_epoch,
        },
    )
    wandb_artifact.add_file(checkpoint_file)
    wandb.log_artifact(wandb_artifact)

Guides

Intégrations

Référence

Activez la journalisation W&B

Utiliser le logger de métriques W&B

Données enregistrées

Métriques enregistrées

Enregistrer et charger des points de contrôle du modèle

​Activez la journalisation W&B

​Utiliser le logger de métriques W&B

​Données enregistrées

​Métriques enregistrées

​Enregistrer et charger des points de contrôle du modèle

Activez la journalisation W&B

Utiliser le logger de métriques W&B

Données enregistrées

Métriques enregistrées

Enregistrer et charger des points de contrôle du modèle