reasoning フィールドに表示されます。推論非対応モデルのレスポンスでは、このフィールドの値は null です。
サポートされるモデル (推論対応)
次の表は、推論出力を返すことができる Serverless Inference モデルと、それぞれの動作を示しています。- 常時有効: モデルは常に推論出力を返します。これを無効にすることはできません。
- デフォルトで有効 / デフォルトで無効: 推論出力のオンとオフを切り替えられます。表には、設定を指定しない場合のデフォルト値が示されています。
- 適応型; デフォルトではモデルが選択: モデルがリクエストごとに、推論出力を返すかどうかを決定します。この動作は上書きできます。
推論が 常時有効 のモデル
前述のサポートされるモデル表でモデルが常時有効と記載されている場合、そのモデルには常に推論が含まれており、これを無効にすることはできません。
推論を無効にする
モデルが前述の サポートされるモデル の表でデフォルトで有効 として記載されている場合は、トークン使用量を減らしたり、応答を簡潔にしたりするために、推論を無効にできます。リクエストで推論を無効にするには、chat_template_kwargs で enable_thinking フラグを False (Python) または false (Bash) に設定します。リクエストが完了すると、応答には推論コンテンツが含まれません。
- Python
- Bash
推論 を有効にする
モデルが前述のサポートされるモデルの表でデフォルトで無効と記載されている場合は、前述のコードスニペットでenable_thinkingフラグをTrue (Python) またはtrue (Bash) に設定すると、推論 を有効にできます。