Les automatisations à l’échelle d’une équipe ou d’une organisation, ainsi que le hub Automatisations, sont disponibles sur Cloud mutualisé de W&B et sur W&B Cloud dédié (Server v0.83.0 et versions ultérieures).
- Lorsqu’un run échoue (événement), notifier un canal Slack (action).
- Lorsque l’alias
productionest ajouté à un artefact (événement), appeler un webhook pour déclencher un déploiement (action).
production ajouté (événement), puis webhook (action).
Où créer des automatisations
- Dans le hub Automatisations : sélectionnez Automatisations dans la navigation de gauche pour voir toutes les automatisations auxquelles vous avez accès, toutes portées confondues : organisation, équipe, projet, registre ou collection. Vous choisissez la portée lors de la création d’une automatisation. Voir le hub Automatisations.
- Dans un projet : ouvrez le projet, puis sélectionnez l’onglet Automatisations dans la barre latérale du projet.
- Dans un registre : ouvrez le registre, puis sélectionnez l’onglet Automatisations.
Hub Automatisations
- Créer une automatisation et choisir sa portée, sans avoir à connaître au préalable le point d’entrée correspondant.
- Afficher dans une seule liste toutes les automatisations auxquelles vous avez accès, puis les filtrer et les trier (par exemple, par portée, déclencheur ou action).
- Cliquer sur le nom d’une automatisation pour afficher les détails complets de sa configuration.
- Afficher l’historique d’exécution d’une automatisation pour vérifier si elle a réussi ou échoué.
- Utiliser le filtre rapide pour basculer entre les automatisations que vous avez créées et toutes les automatisations de votre organisation.
- Sélectionner plusieurs automatisations et les supprimer en une seule fois.
Cas d’utilisation
- Surveillance des runs et alertes : notifier l’équipe lorsqu’un run échoue ou lorsqu’une métrique franchit un seuil (par exemple, la perte passe à NaN ou la précision baisse).
- CI/CD du Registry : lorsqu’une nouvelle version de modèle est liée ou qu’un alias (tel que
stagingouproduction) est ajouté, déclencher un webhook pour exécuter des tests ou déployer. - Flux de travail des artefacts de projet : lorsqu’une nouvelle version d’artefact est créée ou qu’un alias est ajouté dans un projet, exécuter un job en aval ou publier sur Slack.
Actions d’automatisation
- Notification Slack : Envoie un message dans un canal Slack avec des détails sur l’événement déclencheur. Le message résume l’événement et inclut un lien pour afficher plus de détails dans W&B.
- Webhook : Appelle une URL de webhook avec une charge utile JSON contenant des informations sur l’événement déclencheur. Utilisez les webhooks pour intégrer des systèmes externes tels que des pipelines CI/CD, des services de déploiement de modèles ou des flux de travail personnalisés.
Fonctionnement des automatisations
- Si nécessaire, configurez des secrets pour les chaînes sensibles dont l’automatisation a besoin, comme des jetons d’accès, des mots de passe ou des détails de configuration sensibles. Les secrets sont définis dans Team Settings. Ils sont le plus souvent utilisés dans les automatisations webhook pour transmettre en toute sécurité des identifiants ou des jetons au service externe du webhook, sans les exposer en clair ni les coder en dur dans la charge utile du webhook.
- Configurez des intégrations webhook ou Slack au niveau de l’équipe afin d’autoriser W&B à publier dans Slack ou à exécuter le webhook en votre nom. Une même action d’automatisation (webhook ou notification Slack) peut être utilisée par plusieurs automatisations. Ces actions sont définies dans Team Settings.
- Dans le projet ou le registre, créez l’automatisation :
- Définissez l’événement à surveiller, par exemple l’ajout d’une nouvelle version d’artefact.
- Définissez l’action à effectuer lorsque l’événement se produit (publier dans un canal Slack ou exécuter un webhook). Pour un webhook, indiquez un secret à utiliser pour le jeton d’accès et/ou un secret à envoyer avec la charge utile, si nécessaire.
Recommandations
- Commencez simple : commencez par une ou deux automatisations pour des événements à fort impact (par exemple, des échecs de run ou des changements d’alias de production). Vérifiez qu’elles fonctionnent comme prévu avant d’en ajouter d’autres.
- Testez avant la mise en production : créez d’abord des automatisations dans un projet de test ou avec un webhook ou un salon Slack de test. Déclenchez manuellement l’événement, puis vérifiez que l’action s’exécute et que la charge utile ou le message est correct.
- Évitez la surcharge d’alertes : utilisez des filtres de run, des seuils de métrique ou des motifs d’alias pour limiter la fréquence de déclenchement d’une automatisation. Si vous avez plusieurs niveaux de gravité, acheminez-les vers différents canaux.
Limitations
- Les automatisations sur les métriques des runs et les automatisations sur les variations du score z des métriques des runs sont prises en charge uniquement dans le Cloud mutualisé de W&B et le Cloud dédié.
- Aux portées Équipe et Organisation, W&B App ne prend en charge que les événements liés aux artefacts et aux collections. Les événements basés sur les runs ne sont pas disponibles dans W&B App à ces portées. Voir événements et portée des automatisations.
Étapes suivantes
- Tutoriel sur les automatisations : vous guide dans la création d’une automatisation de projet pour alerter en cas d’échec de run, ainsi que d’une automatisation Registry pour exécuter un webhook lorsqu’un alias est ajouté. Le tutoriel utilise l’application W&B.
- Créer une automatisation.
- Événements et portée des automatisations.
- Créer un secret.
Vous cherchez des tutoriels complémentaires sur les automatisations ?