Tarification
La tarification comprend trois composants : l’inférence, l’entraînement et le stockage. Pour connaître les tarifs de facturation applicables, consultez notre page de tarification. Les sections suivantes décrivent chaque composant.Inférence
La tarification des requêtes d’inférence de Serverless Training correspond à celle de Serverless Inference. Voir les coûts spécifiques au modèle. Pour en savoir plus sur l’achat de crédits, les niveaux de compte et les plafonds d’utilisation, consultez la documentation de Serverless Inference.Entraînement
À chaque étape d’entraînement, Serverless Training collecte des lots de trajectoires qui incluent les sorties de votre agent ainsi que les récompenses associées (calculées par votre fonction de récompense). Serverless Training utilise ces trajectoires regroupées en lots pour mettre à jour les poids d’un adaptateur LoRA qui spécialise un modèle de base pour votre tâche. Les tâches d’entraînement qui mettent à jour ces LoRA s’exécutent sur des clusters GPU dédiés gérés par Serverless Training. L’entraînement est gratuit pendant la préversion publique.Stockage des modèles
Serverless Training stocke les points de contrôle de vos LoRA entraînés afin que vous puissiez les évaluer, les déployer ou poursuivre leur entraînement à tout moment. W&B facture le stockage chaque mois en fonction de la taille totale des points de contrôle et de votre plan tarifaire. Chaque plan inclut au moins 5 Go de stockage gratuit, ce qui suffit pour environ 30 LoRA. Pour économiser de l’espace, supprimez les LoRA peu performants. Voir l’ART SDK pour savoir comment les supprimer.Limites
Les limites suivantes s’appliquent à l’utilisation de Serverless Training. Consultez-les lorsque vous dimensionnez vos charges de travail ou prévoyez d’utiliser le service depuis une nouvelle région.-
Limites de concurrence pour l’Inférence : Par défaut, Serverless Training prend en charge jusqu’à 2 000 requêtes simultanées par utilisateur et 6 000 par projet. Si vous dépassez votre limite de débit, l’API d’Inférence renvoie la réponse
429 Concurrency limit reached for requests. Pour éviter cette erreur, réduisez le nombre de requêtes simultanées envoyées par votre tâche d’entraînement ou votre charge de travail de production. Si vous avez besoin d’une limite de débit plus élevée, demandez-en une à support@wandb.com. - Restrictions géographiques : Serverless Training est disponible uniquement dans les zones géographiques prises en charge. Pour plus d’informations, voir les Conditions d’utilisation.