Exigences de l’infrastructure autogérée

Cette page décrit les exigences d’infrastructure et les prérequis logiciels pour déployer W&B Autogéré. Elle s’adresse aux ingénieurs plateforme et infrastructure qui planifient une installation Autogérée. Consultez ces prérequis avant de commencer votre déploiement afin de confirmer que votre environnement peut prendre en charge le serveur W&B.

W&B recommande des types de déploiement entièrement gérés, tels que W&B Cloud mutualisé ou W&B Cloud dédié. Les services W&B entièrement gérés sont simples à utiliser et sécurisés, avec une configuration minimale, voire aucune configuration.

Pour des recommandations d’architecture détaillées, voir l’architecture de référence.

Exigences relatives aux versions logicielles

Logiciel	Version minimale
Kubernetes	v1.34 ou ultérieure (Versions de Kubernetes prises en charge)
Helm	v3.x
MySQL	Les déploiements W&B Autogéré doivent utiliser une version prise en charge de MySQL qui reçoit des correctifs de sécurité et des corrections de bugs critiques. Installez ou mettez à niveau vers MySQL 8.4.x, ou utilisez une version de service géré que votre fournisseur indique comme prise en charge et corrigée. Les chaînes de version d’Aurora MySQL diffèrent de celles de MySQL communautaire. Utilisez `SELECT version()` pour voir la chaîne complète de version du moteur et `SELECT aurora_version()` pour voir la version d’Aurora. La version 3 d’Aurora MySQL est compatible avec MySQL 8.0.x et reste prise en charge. Voir la gestion des versions d’Amazon Aurora ainsi que la documentation de votre fournisseur de cloud lorsque vous choisissez une version cible.
Redis	v7.x
ClickHouse	Requis pour Weave sur les déploiements autogérés. Non requis si votre déploiement n’utilise pas Weave. Voir la compatibilité de ClickHouse pour les mises à niveau et les versions du serveur W&B prises en charge.

Configuration matérielle requise

Architecture CPU : W&B fonctionne uniquement sur des processeurs Intel (x86). ARM n’est pas pris en charge. Dimensionnement : Pour les recommandations de dimensionnement du processeur, de la mémoire et du disque pour les nœuds Kubernetes et MySQL, consultez la section Dimensionnement de l’architecture de référence. Les exigences varient selon que vous exécutez Models, Weave ou les deux. Pour obtenir des recommandations détaillées sur le dimensionnement selon votre cas d’utilisation (Models uniquement, Weave uniquement, ou les deux), consultez la section sur le dimensionnement de l’architecture de référence.

Kubernetes

le serveur W&B est déployé sous la forme d’un opérateur Kubernetes qui gère plusieurs pods. Votre cluster Kubernetes doit respecter les exigences suivantes :

Version : Voir la section Exigences relatives aux versions logicielles précédente.
Contrôleur d’ingress : Un contrôleur d’ingress entièrement configuré et opérationnel (Nginx, Istio, Traefik ou ingress d’un cloud provider).
Volumes persistants : Capacité à provisionner des volumes persistants.
Architecture CPU : Intel ou AMD 64 bits (ARM n’est pas pris en charge).

W&B prend en charge le déploiement sur des clusters Kubernetes OpenShift dans des environnements cloud, sur site et isolés du réseau. Pour obtenir des instructions de configuration spécifiques, voir la section OpenShift dans le guide de l’opérateur. Pour connaître l’ensemble des exigences Kubernetes, y compris la configuration de l’équilibreur de charge et de l’ingress, voir la section Kubernetes de l’architecture de référence.

Base de données MySQL

W&B nécessite une base de données MySQL externe. Pour la Production, W&B recommande d’utiliser des services de base de données gérés :

Les services de base de données gérés offrent des sauvegardes automatisées, de la supervision, une haute disponibilité et l’application des correctifs, tout en réduisant la charge opérationnelle. Voir l’architecture de référence pour connaître les exigences MySQL, y compris les recommandations de dimensionnement et les paramètres de configuration. Pour le SQL permettant de créer la base de données, consultez le guide bare-metal. Pour toute question sur la configuration de la base de données de votre déploiement, contactez l’assistance ou votre AISE. W&B recommande d’utiliser des services de base de données managés tels qu’AWS RDS Aurora MySQL, Google Cloud SQL for MySQL ou Azure Database for MySQL pour les déploiements en Production. Les services managés assurent des sauvegardes automatisées, la supervision, la haute disponibilité, l’application des correctifs et réduisent la complexité opérationnelle.

Paramètres de configuration MySQL

Si vous utilisez votre propre instance MySQL, configurez MySQL avec les paramètres suivants pour assurer la compatibilité avec le serveur W&B :

binlog_format = 'ROW'
binlog_row_image = 'MINIMAL'
innodb_flush_log_at_trx_commit = 1
innodb_online_alter_log_max_size = 268435456
max_prepared_stmt_count = 1048576
sort_buffer_size = '67108864'
sync_binlog = 1

W&B a validé ces paramètres en termes de performances et de fiabilité.

Création de la base de données

Si vous n’utilisez pas un service MySQL géré qui provisionne automatiquement la base de données, suivez ces instructions pour créer manuellement la base de données MySQL et l’utilisateur utilisés par le serveur W&B : Créez une base de données et un utilisateur à l’aide des commandes SQL suivantes. Remplacez [PASSWORD] par un mot de passe robuste :

CREATE USER 'wandb_local'@'%' IDENTIFIED BY '[PASSWORD]';
CREATE DATABASE wandb_local CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci;
GRANT ALL ON wandb_local.* TO 'wandb_local'@'%' WITH GRANT OPTION;

Pour des considérations supplémentaires, notamment sur les sauvegardes, les performances, la surveillance et la disponibilité, voir la section MySQL de l’architecture de référence.

Redis

Le serveur W&B utilise Redis pour la mise en cache et la coordination des tâches en arrière-plan. W&B dépend d’un déploiement Redis 7.x à nœud unique, utilisé par les composants de W&B pour la mise en file d’attente des jobs et la mise en cache des données. Pour les tests et les preuves de concept, W&B Autogéré inclut un déploiement Redis local. Ce déploiement intégré n’est pas adapté à un usage en production. Pour les déploiements en production, W&B peut se connecter à une instance Redis dans les environnements suivants :

Amazon ElastiCache
Google Cloud Memorystore
Azure Cache for Redis
Redis auto-hébergé dans votre cloud ou sur site

W&B peut se connecter à une instance Redis dans l’un des environnements suivants :

AWS Elasticache.
Google Cloud Memory Store.
Azure Cache for Redis.
Un déploiement Redis hébergé dans votre cloud ou sur votre infrastructure sur site.

ClickHouse

W&B Weave dans les déploiements autogérés utilise ClickHouse. ClickHouse n’est pas requis pour chaque installation autogérée. Avant de mettre à niveau le serveur W&B ou de modifier votre version de ClickHouse, voir Compatibilité de ClickHouse pour les mises à niveau dans le guide de l’opérateur ainsi que les notes de compatibilité dans Versions du serveur W&B prises en charge. Pour les procédures de déploiement, voir Déployer Weave dans un environnement autogéré.

Stockage d’objets

Le serveur W&B nécessite un bucket de stockage d’objets pour stocker des artefacts, des médias et les données d’exécution. W&B requiert un stockage d’objets prenant en charge les URL pré-signées et CORS. W&B recommande les fournisseurs de stockage suivants :

Amazon S3 : service de stockage d’objets offrant évolutivité, disponibilité des données, sécurité et performances.
Google Cloud Storage : service géré pour stocker des données non structurées à grande échelle.
Azure Blob Storage : service de stockage d’objets cloud pour les données non structurées à grande échelle.
CoreWeave AI Object Storage : stockage d’objets compatible S3 optimisé pour les charges de travail d’IA.
Stockage compatible S3 de niveau entreprise, comme MinIO Enterprise (AIStor), NetApp StorageGRID ou d’autres solutions d’entreprise.

MinIO Open Source est en mode maintenance, sans développement actif ni binaires précompilés. Pour les déploiements en production, W&B recommande les services de stockage d’objets gérés ou les solutions compatibles S3 de niveau entreprise, comme MinIO Enterprise (AIStor).

Après avoir sélectionné un fournisseur, configurez le bucket afin que W&B puisse y accéder. Pour obtenir des instructions détaillées sur le provisionnement du bucket, notamment les stratégies IAM, la configuration CORS et la configuration des accès, voir le guide Bring Your Own Bucket (BYOB). Pour la liste complète des exigences de stockage d’objets, y compris les recommandations relatives à la capacité et aux performances, voir la section sur le stockage d’objets de l’architecture de référence.

Provisionnez votre bucket de stockage

Avant de configurer W&B, vous devez provisionner votre bucket de stockage d’objets avec les politiques IAM requises, une configuration CORS et les identifiants d’accès nécessaires. Voir le guide Bring Your Own Bucket (BYOB) pour obtenir des instructions de provisionnement détaillées, étape par étape, pour :

Amazon S3 (y compris les politiques IAM et les politiques de bucket)
Google Cloud Storage (y compris les notifications PubSub)
Azure Blob Storage (y compris les identités gérées)
CoreWeave AI Object Storage
stockage compatible S3 (MinIO Enterprise, NetApp StorageGRID et d’autres solutions d’entreprise)

Configurer W&B pour utiliser votre bucket

Une fois votre bucket provisionné, vous devez configurer W&B pour l’utiliser dans les valeurs Helm de l’opérateur afin que le serveur W&B puisse lire depuis le bucket et y écrire. Voir la section de configuration du stockage d’objets de l’opérateur pour plus de détails.

Réseau

La configuration réseau rend le serveur W&B accessible aux utilisateurs et aux charges de travail de machine learning. Les sections suivantes présentent les exigences relatives au DNS, à l’équilibreur de charge et à l’ingress. Pour un déploiement connecté au réseau, autorisez le trafic sortant vers ces points de terminaison pendant l’installation et à l’exécution :

https://deploy.wandb.ai
https://charts.wandb.ai
https://quay.io (utilisé pour les images Prometheus)

Des registres de conteneurs supplémentaires peuvent être requis selon votre configuration de déploiement :

https://gcr.io lorsque vous déployez Bufstream et etcd pour les évaluations en ligne de Weave.

Pour en savoir plus sur les déploiements air-gapped, consultez l’opérateur Kubernetes pour les instances air-gapped. Accordez à l’infrastructure d’entraînement et à chaque système de suivi des expériences l’accès à W&B et au stockage d’objets.

DNS

Le nom de domaine complet (FQDN) du déploiement W&B doit pointer vers l’adresse IP de l’ingress ou de l’équilibreur de charge au moyen d’un enregistrement A.

Équilibreur de charge et ingress

L’opérateur Kubernetes W&B expose des services à l’aide d’un contrôleur d’ingress Kubernetes, qui les achemine vers les points de terminaison de service en fonction des chemins d’URL. Le contrôleur d’ingress doit être accessible depuis toutes les machines qui exécutent des charges de travail de machine learning ou accèdent au service via un navigateur web. Pour plus de détails sur les options d’équilibreur de charge, les exigences du contrôleur d’ingress et des exemples de configuration, voir la section sur l’équilibreur de charge de l’architecture de référence.

SSL/TLS

W&B exige un certificat SSL/TLS valide, signé par une autorité reconnue, pour sécuriser les communications entre les clients et le serveur. La terminaison SSL/TLS doit se faire au niveau de l’ingress ou de l’équilibreur de charge. L’application W&B Server ne termine pas les connexions SSL ou TLS.

W&B ne prend pas en charge les certificats auto-signés ni les autorités de certification personnalisées. Les certificats auto-signés entraînent des problèmes pour les utilisateurs et ne sont pas pris en charge.

Si possible, utilisez un service comme Let’s Encrypt pour fournir des certificats approuvés à votre équilibreur de charge. Des services comme Caddy et Cloudflare gèrent le SSL pour vous. Si vos politiques de sécurité exigent une communication SSL au sein de vos réseaux de confiance, envisagez d’utiliser un outil comme Istio et des conteneurs sidecar.

Licence

Une licence serveur W&B valide est requise pour tous les déploiements autogérés. Sans licence, le serveur W&B ne peut pas démarrer. Vous avez besoin d’une licence W&B pour déployer W&B Self-Managed. Cette procédure vous montre comment en obtenir une.

Si vous n’avez pas encore de compte W&B, créez-en un.
Si vous avez besoin d’une licence d’essai Enterprise, soumettez une requête ou contactez votre équipe W&B. Une licence d’essai Enterprise inclut l’assistance pour des fonctionnalités de sécurité importantes et d’autres capacités adaptées aux entreprises.
Sinon, ouvrez le Deploy Manager pour générer une licence d’essai gratuite. L’URL vous redirige vers un formulaire Obtenir une licence pour W&B Local. Fournissez les informations suivantes :
- Le titulaire de la licence
- Le type de déploiement
- Un nom et une description facultative pour l’instance
Cliquez sur Générer une clé de licence.

Une page s’affiche avec un aperçu de votre déploiement ainsi que de la licence associée à l’instance.

Étapes suivantes

Après avoir confirmé que votre infrastructure répond à ces exigences, consultez le guide de déploiement correspondant à votre environnement :

Déploiements cloud et sur site : Voir Déployer W&B avec l’opérateur Kubernetes pour les options de déploiement avec Helm et Terraform.
Déploiements en environnement isolé du réseau : Voir Déployer sur Kubernetes en environnement isolé pour les environnements déconnectés.
Toutes les méthodes de déploiement : Voir Déployer avec l’opérateur Kubernetes pour le guide de référence du déploiement avec l’opérateur.

Weights & Biases

Propulsé par CoreWeave

Détails de la plateforme

Ressources

Exigences relatives aux versions logicielles

Configuration matérielle requise

Kubernetes

Base de données MySQL

Paramètres de configuration MySQL

Création de la base de données

Redis

ClickHouse

Stockage d’objets

Provisionnez votre bucket de stockage

Configurer W&B pour utiliser votre bucket

Réseau

DNS

Équilibreur de charge et ingress

SSL/TLS

Licence

Étapes suivantes

​Exigences relatives aux versions logicielles

​Configuration matérielle requise

​Kubernetes

​Base de données MySQL

​Paramètres de configuration MySQL

​Création de la base de données

​Redis

​ClickHouse

​Stockage d’objets

​Provisionnez votre bucket de stockage

​Configurer W&B pour utiliser votre bucket

​Réseau

​DNS

​Équilibreur de charge et ingress

​SSL/TLS

​Licence

​Étapes suivantes

Exigences relatives aux versions logicielles

Configuration matérielle requise

Kubernetes

Base de données MySQL

Paramètres de configuration MySQL

Création de la base de données

Redis

ClickHouse

Stockage d’objets

Provisionnez votre bucket de stockage

Configurer W&B pour utiliser votre bucket

Réseau

DNS

Équilibreur de charge et ingress

SSL/TLS

Licence

Étapes suivantes