TensorFlow

Cette page explique comment intégrer W&B à TensorFlow pour suivre les expériences, consigner des métriques et synchroniser les journaux TensorBoard. Suivez ces approches pour capturer les données d’entraînement des modèles TensorFlow, personnaliser ce que vous consignez à l’aide de hooks d’estimateur ou d’une journalisation manuelle, et réutiliser vos flux de travail TensorBoard existants avec le tableau de bord centralisé de W&B. Utilisez cette intégration si vous souhaitez un suivi des expériences plus riche que celui fourni par TensorBoard seul.

Pour commencer

Si vous utilisez déjà TensorBoard, vous pouvez l’intégrer à W&B. Importez les deux bibliothèques afin de pouvoir utiliser les API W&B et TensorFlow dans votre script.

import tensorflow as tf
import wandb

Consigner des métriques personnalisées

Cette section explique comment consigner des métriques que TensorBoard ne capture pas déjà, afin que vous puissiez suivre des valeurs supplémentaires en plus de vos résumés TensorBoard standard. Si vous devez consigner d’autres métriques personnalisées que TensorBoard ne journalise pas, vous pouvez appeler run.log() dans votre code, par exemple run.log({"custom": 0.8}). W&B désactive l’argument step dans run.log() lors de la synchronisation avec TensorBoard. Pour définir un nombre d’étapes différent, consignez les métriques avec une métrique d’étape, comme suit :

with wandb.init(config=tf.flags.FLAGS, sync_tensorboard=True) as run:
    run.log({"custom": 0.8, "global_step":global_step}, step=global_step)

Hook pour les estimateurs TensorFlow

Cette section décrit le hook W&B pour les estimateurs TensorFlow, qui vous permet de contrôler finement ce que W&B capture pendant l’entraînement de l’estimateur. Si vous souhaitez mieux contrôler ce qui est journalisé, W&B propose également un hook pour les estimateurs TensorFlow. Ce hook journalise toutes les valeurs tf.summary du graphe.

import tensorflow as tf
import wandb

run = wandb.init(config=tf.FLAGS)

estimator.train(hooks=[wandb.tensorflow.WandbHook(steps_per_log=1000)])
run.finish()

Journaliser manuellement

Si vous n’utilisez pas d’estimateurs ou si vous souhaitez consigner explicitement des synthèses spécifiques, cette section montre comment envoyer directement des valeurs tf.summary à W&B. Une façon de consigner des métriques dans TensorFlow consiste à utiliser tf.summary avec le logger de TensorFlow :

import wandb
run = wandb.init(config=tf.flags.FLAGS, sync_tensorboard=True)
with tf.Session() as sess:
    # ...
    wandb.tensorflow.log(tf.summary.merge_all())

Avec TensorFlow 2, la manière recommandée d’entraîner un modèle avec une boucle personnalisée est d’utiliser tf.GradientTape. Pour plus d’informations, voir le guide pas à pas TensorFlow sur l’entraînement personnalisé. Pour intégrer W&B afin de consigner des métriques dans vos boucles d’entraînement TensorFlow personnalisées, suivez cet extrait :

    with tf.GradientTape() as tape:
        # Obtenir les probabilités
        predictions = model(features)
        # Calculer la perte
        loss = loss_func(labels, predictions)

    # Consigner vos métriques
    run.log({"loss": loss.numpy()})
    # Obtenir les gradients
    gradients = tape.gradient(loss, model.trainable_variables)
    # Mettre à jour les poids
    optimizer.apply_gradients(zip(gradients, model.trainable_variables))

Un exemple complet pour personnaliser les boucles d’entraînement dans TensorFlow 2 est disponible.

Différences entre W&B et TensorBoard

Si vous vous demandez s’il faut adopter W&B en complément de TensorBoard ou à la place, cette section met en évidence les principales différences. W&B a été conçu pour remédier aux limites couramment rencontrées par les utilisateurs de TensorBoard. Voici les principaux points qui distinguent W&B :

Reproduire les modèles : W&B prend en charge l’expérimentation, l’exploration et la reproduction ultérieure des modèles. W&B capture les métriques, les hyperparamètres et la version du code, et peut enregistrer l’état de votre gestion de versions ainsi que les points de contrôle du modèle afin de rendre votre projet reproductible.
Organisation automatique : Lorsque vous reprenez un projet d’un collaborateur, y revenez après une période d’absence ou revisitez un ancien projet, W&B vous permet de voir les modèles que vous avez déjà essayés afin de ne pas relancer inutilement des expériences.
Intégration flexible : Ajoutez W&B à votre projet en installant le package Python open source et en ajoutant quelques lignes à votre code. Chaque run produit des métriques et des enregistrements.
Tableau de bord centralisé et persistant : Que vous entraîniez vos modèles sur votre machine locale, sur un cluster de laboratoire partagé ou sur des instances spot dans le cloud, W&B envoie vos résultats vers un même tableau de bord centralisé. Vous n’avez pas besoin de copier et d’organiser des fichiers TensorBoard provenant de différentes machines.
Tableaux : Recherchez, filtrez, triez et regroupez les résultats de différents modèles. Vous pouvez examiner les versions des modèles et trouver les plus performants pour différentes tâches.
Outils de collaboration : Utilisez W&B pour organiser vos projets de machine learning. Partagez un lien vers W&B ou utilisez des Teams privées pour envoyer des résultats vers un projet partagé. Reports prend en charge la collaboration grâce à des visualisations interactives et à des descriptions en Markdown, que vous pouvez utiliser pour tenir un journal de travail, partager vos conclusions avec votre responsable ou les présenter à votre laboratoire ou à votre équipe.

Pour essayer W&B, créez un compte gratuit.

Exemples

Pour voir ces schémas d’intégration appliqués à des projets complets, explorez les exemples suivants :

Exemple MNIST avec estimateurs TensorFlow.
Exemple Fashion MNIST avec TensorFlow pur.
Tableau de bord W&B pour l’exemple MNIST.
Personnalisation des boucles d’entraînement dans TensorFlow 2 : article et tableau de bord.

Guides

Intégrations

Référence

Pour commencer

Consigner des métriques personnalisées

Hook pour les estimateurs TensorFlow

Journaliser manuellement

Différences entre W&B et TensorBoard

Exemples

​Pour commencer

​Consigner des métriques personnalisées

​Hook pour les estimateurs TensorFlow

​Journaliser manuellement

​Différences entre W&B et TensorBoard

​Exemples

Pour commencer

Consigner des métriques personnalisées

Hook pour les estimateurs TensorFlow

Journaliser manuellement

Différences entre W&B et TensorBoard

Exemples