Ce qui occupe l’espace du bucket
W&B stocke plusieurs catégories de données dans le stockage d’objets que vous avez configuré. L’Aperçu de BYOB donne des exemples, notamment les fichiers d’expérience et les métriques, les fichiers d’artefacts, les fichiers multimédias, les fichiers de run et l’historique exporté au format Parquet. L’ensemble de ces éléments détermine la taille et le coût du bucket.Comment W&B supprime les données du stockage
La suppression dans l’application W&B ou l’API publique met d’abord à jour les métadonnées W&B. Supprimer un run, un artefact ou un fichier du produit ne garantit pas une diminution immédiate de l’utilisation du bucket indiquée. Le nettoyage du stockage d’objets s’effectue en arrière-plan et peut prendre du retard, en particulier sur les instances très sollicitées.Artefacts
Les artefacts supprimés font d’abord l’objet d’une suppression réversible, puis sont traités par le garbage collection des artefacts. Les déploiements autogérés doivent définirGORILLA_ARTIFACT_GC_ENABLED et respecter les exigences du fournisseur, comme la gestion des versions ou la suppression réversible. Voir Supprimer un artefact et Configurer les variables d’environnement.
Données et fichiers de run
Après la suppression de runs ou de fichiers associés à des runs, la suppression définitive des objets stockés sous-jacents est gérée séparément des artefacts. Dans les déploiements Cloud dédié et Autogéré,GORILLA_DATA_RETENTION_PERIOD définit pendant combien de temps les données de run supprimées sont conservées avant de pouvoir être supprimées du stockage. Ce paramètre ne supprime pas les artefacts. Voir Configurer les variables d’environnement, Politique de conservation des données pour Cloud dédié, et Supprimer les runs pour comprendre le lien entre la suppression des runs et des fichiers et le stockage.
À quoi vous attendre du nettoyage en arrière-plan
La récupération de l’espace et les jobs associés qui libèrent du stockage d’objets s’exécutent sans garantie de délai. W&B ne garantit pas qu’un objet donné disparaîtra de votre bucket dans un délai précis après la suppression de contenu dans l’interface utilisateur ou l’API. Pour les projets comportant un grand nombre de fichiers par run, par exemple lorsque vous journalisez de nombreux fichiers multimédias par run, attendez-vous à des délais plus longs avant la libération de l’utilisation du stockage. Surveillez votre bucket auprès de votre fournisseur de cloud et contactez W&B Support ou votre équipe de compte si le nettoyage semble bloqué.Réduire l’utilisation du bucket
Cette section décrit l’ordre des opérations recommandé pour libérer de l’espace dans votre bucket, en commençant par les méthodes sûres prises en charge par le produit et en terminant par les opérations directes sur le bucket, qui nécessitent davantage de précautions. Commencez par utiliser les méthodes prises en charge par le produit :- Supprimer des runs dans l’application W&B ou avec Python lorsque vous n’en avez plus besoin.
- Supprimer des artefacts dont vous n’avez plus besoin, et utilisez Artifact TTL lorsque cela s’intègre à votre flux de travail.
- Les objets que vous supprimez ne pourront plus être téléchargés via W&B.
- Supprimez uniquement les clés que vous souhaitez retirer. Des suppressions incorrectes peuvent empêcher l’accès à des données auxquelles l’application fait toujours référence.
- Si votre bucket utilise la gestion des versions des objets ou la suppression réversible côté fournisseur (par exemple dans Google Cloud Storage), des frais de stockage peuvent continuer à s’appliquer jusqu’à l’expiration des versions non courantes ou des objets supprimés de manière réversible, conformément aux règles de cycle de vie de votre cloud. :::