场景示例
在 MindSearch 中使用
1. 获取 API Key
2. 部署MindSearch
-
复制 MindSearch 到本地并安装相关依赖后(参考 https://github.com/InternLM/MindSearch/blob/main/README.md) ,
-
修改:
/path/to/MindSearch/mindsearch/models.py
-
加上调用硅基流动 API 的相关配置。配置如下:
internlm_silicon = dict(type=GPTAPI,
model_type='internlm/internlm2_5-7b-chat',
key=os.environ.get('SILICON_API_KEY', 'YOUR SILICON API KEY'),
openai_api_base='https://api.siliconflow.cn/v1/chat/completions',
meta_template=[
dict(role='system', api_role='system'),
dict(role='user', api_role='user'),
dict(role='assistant', api_role='assistant'),
dict(role='environment', api_role='system')
],
top_p=0.8,
top_k=1,
temperature=0,
max_new_tokens=8192,
repetition_penalty=1.02,
stop_words=['<|im_end|>'])
加入这段配置后,可以执行相关指令来启动 MindSearch。
- 启动后端:
# 指定硅基流动的 API Key
export SILICON_API_KEY=上面流程中复制的密钥
# 启动
python -m mindsearch.app --lang en --model_format internlm_silicon --search_engine DuckDuckGoSearch
- 启动前端。这里以gradio前端为例,其他前端启动可以参考MindSearch的README:
python frontend/mindsearch_gradio.py
3. 上传到 HuggingFace Space
我们也可以选择部署到 HuggingFace 的 Space 当中。
-
在 https://huggingface.co/new-space 创建一个新的Space, 配置为: Gradio Template:Blank Hardware:CPU basic·2 vCPU·16GB·FREE
-
创建成功后,进入” Settings “设置 API Key。
-
把第二步中的 MindSearch 目录、requirements.txt 和一个 app.py 一并上传。
app.py 详细内容请参考:https://huggingface.co/spaces/SmartFlowAI/MindSearch_X_SiliconFlow/blob/main/app.py