​
1. 使用场景

目前，硅基流动的大模型 API 平台 SiliconCloud 默认生成非结构化文本，但在某些应用场景中，您可能希望模型以结构化的形式输出内容，但用提示词的方式直接告诉大模型却无法获得正确的结构化输出。

作为一种标准化、轻量级的数据交换格式，JSON 模式是支持大模型 API 进行结构化输出的重要功能。当您调用大模型的 API 进行请求时，模型返回的结果以 JSON 格式呈现，易于人类阅读和编写，同时也易于机器解析和生成。

现在，SiliconCloud 平台主要语言模型都已支持 JSON 模式，能让模型输出 JSON 格式的字符串，以确保模型以预期的结构输出，便于后续对输出内容进行逻辑解析。

比如，您现在可以通过 SiliconCloud API 对以下案例尝试结构化输出：

  • 从公司相关报道中构建新闻数据库，包括新闻标题、链接等。
  • 从商品购买评价中提取出情感分析结构，包括情感极性（正面、负面、中性）、情感强度、情感关键词等。
  • 从商品购买历史中提取出产品列表，包括产品信息、推荐理由、价格、促销信息等。

​
2. 使用方式

在请求中添加

response_format={"type": "json_object"}

​
3. 支持模型列表

目前线上提供的大语言类模型都支持上述参数。

注意：支持的模型情况可能会发生变化，请查阅本文档了解最新支持的模型列表。
你的应用必须检测并处理可能导致模型输出不完整JSON对象的边缘案例。
请合理设置max_tokens，防止JSON字符串被中断。

​
4. 使用示例

下面是在 openai 中使用的例子：

import json  
from openai import OpenAI

client = OpenAI(
    api_key="您的 APIKEY", # 从https://cloud.siliconflow.cn/account/ak获取
    base_url="https://api.siliconflow.cn/v1"
)

response = client.chat.completions.create(
        model="deepseek-ai/DeepSeek-V2-Chat",
        messages=[
            {"role": "system", "content": "You are a helpful assistant designed to output JSON."},
            {"role": "user", "content": "? 2020 年世界奥运会乒乓球男子和女子单打冠军分别是谁? "
             "Please respond in the format {\"男子冠军\": ..., \"女子冠军\": ...}"}
        ],
        response_format={"type": "json_object"}
    )

print(response.choices[0].message.content)

模型将输出：

{"男子冠军": "马龙", "女子冠军": "陈梦"}
快速上手前缀续写