reasoning des réponses. La valeur de ce champ est null dans les réponses des modèles qui ne prennent pas en charge le raisonnement.
Modèles pris en charge avec raisonnement
Le tableau suivant répertorie les modèles de Serverless Inference qui peuvent renvoyer un raisonnement, ainsi que le comportement de chacun :- Always on : Le modèle renvoie toujours un raisonnement. Vous ne pouvez pas le désactiver.
- Activé par défaut / Désactivé par défaut : Vous pouvez activer ou désactiver le raisonnement. Le tableau indique la valeur par défaut lorsque vous ne spécifiez aucun paramètre.
- Adaptatif ; le modèle choisit par défaut : Le modèle décide, pour chaque requête, s’il renvoie ou non un raisonnement. Vous pouvez redéfinir ce comportement.
Modèles avec le raisonnement Always on
Si un modèle figure comme Always on dans le tableau des modèles pris en charge ci-dessus, il inclut toujours le raisonnement et vous ne pouvez pas le désactiver.
Désactiver le raisonnement
Si un modèle est indiqué commeActivé par défaut dans le tableau précédent Modèles pris en charge, vous pouvez désactiver le raisonnement pour réduire la consommation de jetons ou simplifier la réponse. Pour désactiver le raisonnement pour une requête, dans chat_template_kwargs, définissez l’indicateur enable_thinking sur False (Python) ou false (Bash). Une fois la requête terminée, la réponse omet le contenu de raisonnement :
- Python
- Bash
Activer le raisonnement
Si un modèle est répertorié commeDésactivé par défaut dans le tableau modèles pris en charge ci-dessus, vous pouvez activer le raisonnement en définissant l’indicateur enable_thinking sur True (Python) ou true (Bash) dans l’extrait de code ci-dessus.