- URL pré-signées pour AWS S3, qui s’applique également aux stockages compatibles S3 comme CoreWeave AI Object Storage.
- URL signées pour Google Cloud Storage.
- Signature d’accès partagé pour Azure Blob Storage.
- Si nécessaire, les charges de travail d’IA ou les clients navigateur de vos utilisateurs au sein de votre réseau demandent des URL pré-signées à W&B.
- W&B répond à la requête en accédant au stockage Blob pour générer une URL pré-signée avec les autorisations requises.
- W&B renvoie l’URL pré-signée au client.
- Le client utilise l’URL pré-signée pour lire depuis le stockage Blob ou y écrire.
- Opérations de lecture : 1 heure.
- Opérations d’écriture : 24 heures, afin de laisser plus de temps pour téléverser de gros objets par morceaux.
Contrôle d’accès au niveau de l’équipe
Chaque URL pré-signée est limitée à des buckets spécifiques selon le contrôle d’accès au niveau de l’équipe dans la plateforme W&B. Prenons le cas d’un utilisateur qui n’appartient qu’à une seule équipe, et que cette équipe est associée à un bucket de stockage via le connecteur de stockage sécurisé. Dans ce cas, les URL pré-signées générées pour ses requêtes n’auront pas les autorisations nécessaires pour accéder aux buckets de stockage associés à d’autres équipes.W&B recommande d’ajouter les utilisateurs uniquement aux équipes auxquelles ils sont censés appartenir.
Restriction réseau
W&B recommande d’utiliser des politiques IAM pour restreindre, via des URL pré-signées, les réseaux autorisés à accéder au stockage externe. Cela permet de garantir que vos buckets W&B ne sont accessibles que depuis les réseaux sur lesquels s’exécutent vos charges de travail d’IA, ou depuis des adresses IP de passerelle associées aux machines de vos utilisateurs. Consultez la documentation de votre fournisseur de cloud pour obtenir des conseils sur la configuration de ces politiques IAM :- Pour CoreWeave AI Object Storage, se référer à la référence de la politique de bucket dans la documentation CoreWeave.
- Pour AWS S3 ou un stockage compatible S3 comme MinIO hébergé dans votre environnement, se référer au Guide de l’utilisateur Amazon S3, à la documentation MinIO ou à la documentation de votre fournisseur de stockage compatible S3.
Journaux d’audit
W&B recommande d’utiliser les journaux d’audit W&B conjointement avec les journaux d’audit propres au stockage Blob. Pour les journaux d’audit du stockage Blob, consultez la documentation de chaque fournisseur de cloud :- Journaux d’audit CoreWeave.
- Journaux d’accès AWS S3.
- Journaux d’audit Google Cloud Storage.
- Surveiller le stockage Blob Azure.
Les URL pré-signées sont le seul mécanisme d’accès au stockage Blob pris en charge dans W&B. W&B recommande de configurer tout ou partie des contrôles de sécurité précédents en fonction des besoins de votre organisation.
Déterminer l’utilisateur ayant demandé une URL pré-signée
Pour corréler l’activité des URL pré-signées avec des utilisateurs W&B spécifiques lors de l’examen des journaux d’audit, inspectez le paramètre de requête spécifique au fournisseur que W&B ajoute à chaque URL :Mettre en corrélation l’activité Azure Blob Storage avec un utilisateur
Azure exige quescid soit un GUID. W&B dérive donc un UUID stable à partir du nom d’utilisateur, plutôt que d’inclure directement celui-ci. L’UUID ne contient pas le nom d’utilisateur et ne peut pas être décodé. Pour mettre en corrélation l’activité de stockage Azure avec un utilisateur, calculez ou conservez un mappage entre les noms d’utilisateur W&B et les valeurs scid correspondantes.
Azure inclut scid uniquement dans les URL SAS de délégation utilisateur, que W&B génère lorsque le bucket de stockage est configuré avec une identité managée. Les URL SAS avec clé partagée n’incluent pas scid.
W&B ajoute par défaut des paramètres d’attribution aux URL pré-signées. Pour désactiver l’attribution pour tous les fournisseurs de stockage, définissez la variable d’environnement
GORILLA_BUCKET_ATTRIBUTION_DISABLED sur true. Lorsque l’attribution est désactivée, W&B omet scid et X-User, et vous ne pouvez pas mettre en corrélation l’activité des URL pré-signées avec des utilisateurs individuels.