模型问题

​

1. 模型输出乱码

目前看到部分模型在不设置参数的情况下，容易出现乱码，遇到上述情况，可以尝试设置temperature，top_k，top_p，frequency_penalty这些参数。

对应的 payload 修改为如下形式，不同语言酌情调整

    payload = {
        "model": "Qwen/Qwen2.5-Math-72B-Instruct",
        "messages": [
            {
                "role": "user",
                "content": "1+1=?",
            }
        ],
        "max_tokens": 200,  # 按需添加
        "temperature": 0.7, # 按需添加
        "top_k": 50,        # 按需添加
        "top_p": 0.7,       # 按需添加
        "frequency_penalty": 0 # 按需添加
    }

​

2. 关于max_tokens说明

平台提供的LLM模型中，

• max_tokens 限制为 16384 的模型:

  • Pro/deepseek-ai/DeepSeek-R1
  • Qwen/QVQ-72B-Preview
  • deepseek-ai/DeepSeek-R1-Distill-Llama-70B
  • deepseek-ai/DeepSeek-R1-Distill-Qwen-32B
  • deepseek-ai/DeepSeek-R1-Distill-Qwen-14B
  • deepseek-ai/DeepSeek-R1-Distill-Llama-8B
  • deepseek-ai/DeepSeek-R1-Distill-Qwen-7B
  • deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B
  • Pro/deepseek-ai/DeepSeek-R1-Distill-Llama-8B
  • Pro/deepseek-ai/DeepSeek-R1-Distill-Qwen-7B
  • Pro/deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B

• max_tokens 限制为 8192 的模型:

  • Qwen/QwQ-32B-Preview
  • AIDC-AI/Marco-o1
  • deepseek-ai/DeepSeek-R1

• max_tokens 限制为 4096的模型：

  • 除上述提到的其他LLM模型的

如有特殊需求，建议您点击硅基流动MaaS线上需求收集表进行反馈。

​

3. 关于context_length说明

不同的LLM模型，context_length是有差别的，具体可以在模型广场上搜索对应的模型，查看模型具体信息。

​

4. 关于 DeepSeek-R1 和 DeepSeek-V3 模型调用返回 429 说明

1. 未实名用户用户：每天仅能访问 100次。如果当天访问次数超过 100次，将收到 429 错误，并提示 “Details: RPD limit reached. Could only send 100 requests per day without real name verification”，可以通过实名解锁更高的 Rate Limit。

2. 实名用户：拥有更高的 Rate Limit，具体值参考模型广场

   如果访问次数超过这些限制，也会收到 429 错误。

​

5. Pro 和非 Pro 模型有什么区别

1. 对于部分模型，平台同时提供免费版和收费版。免费版按原名称命名；收费版在名称前加上“Pro/”以示区分。免费版的 Rate Limits 固定，收费版的 Rate Limits 可变，具体规则请参考：Rate Limits。

2. 对于 DeepSeek R1 和 DeepSeek V3 模型，平台根据支付方式的不同要求区分命名。Pro 版仅支持充值余额支付，非 Pro 版支持赠费余额和充值余额支付。

​

6. 语音模型中，对用户自定义音色有时间音质要求么

• cosyvoice2 上传音色必须小于30s
• GPT-SoVITS 上传音色须在3～10s
• fishaudio 没有特殊限制 为保证生成语音效果，建议用户上传音色为：时间8～10s左右，发音吐字清晰，没有杂音/背景音。

​

7. 模型输出截断问题

可以从以下几方面进行问题的排查：

• 通过API请求时候，输出截断问题排查：
  • max_tokens设置：max_token设置到合适值，输出大于max_token的情况下，会被截断，deepseek R1系列的max_token最大可设置为16384。
  • 设置流式输出请求：非流式请求时候，输出内容比较长的情况下，容易出现504超时。
  • 设置客户端超时时间：把客户端超时时间设置大一些，防止未输出完成，达到客户端超时时间被截断。
• 通过第三方客户端请求，输出截断问题排查：
  • CherryStdio 默认的 max_tokens 是 4096，用户可以通过设置，打开“开启消息长度限制”的开关，将max_token设置到合适值