控制glm的thinking模式在ccr中的方法
在您的场景中,您希望控制使用sglang部署的glm4.6模型在ccr环境中的思考模式。根据您提供的描述,默认情况下,当使用vLLM和SGLang时,发送请求会启用思考模式。若要禁用思考模式,您需要在请求中添加参数 `extra_body={
在您的场景中,您希望控制使用sglang部署的glm4.6模型在ccr环境中的思考模式。根据您提供的描述,默认情况下,当使用vLLM和SGLang时,发送请求会启用思考模式。若要禁用思考模式,您需要在请求中添加参数 `extra_body={
评论已关闭