​
1. 模型输出乱码

目前看到部分模型在不设置参数的情况下，容易出现乱码，遇到上述情况，可以尝试设置temperature，top_k，top_p，frequency_penalty这些参数。

对应的 payload 修改为如下形式，不同语言酌情调整

    payload = {
        "model": "Qwen/Qwen2.5-Math-72B-Instruct",
        "messages": [
            {
                "role": "user",
                "content": "1+1=?",
            }
        ],
        "max_tokens": 200,  # 按需添加
        "temperature": 0.7, # 按需添加
        "top_k": 50,        # 按需添加
        "top_p": 0.7,       # 按需添加
        "frequency_penalty": 0 # 按需添加
    }

​
2.关于max_tokens说明

平台提供的LLM模型中，Qwen/QwQ-32B-Preview 和 AIDC-AI/Marco-o1 的 max_tokens 限制为 8192，其他模型的 max_tokens 限制为 4096。如有特殊需求，建议您点击硅基流动MaaS线上需求收集表进行反馈。

​
3.关于context_length说明

不同的LLM模型，context_length是有差别的，具体可以在模型广场上搜索对应的模型，查看模型具体信息。

如遇其他问题，请点击硅基流动MaaS线上需求收集表反馈。
开具发票更新公告