1. 获取 API Key

  1. 打开 SiliconCloud 官网 并注册账号(如果注册过,直接登录即可)。
  2. 完成注册后,打开API密钥 ,创建新的 API Key,点击密钥进行复制,以备后续使用。

2. 部署MindSearch

  1. 复制 MindSearch 到本地并安装相关依赖后(参考 https://github.com/InternLM/MindSearch/blob/main/README.md)

  2. 修改: /path/to/MindSearch/mindsearch/models.py

  3. 加上调用硅基流动 API 的相关配置。配置如下:

internlm_silicon = dict(type=GPTAPI,
                        model_type='internlm/internlm2_5-7b-chat',
                        key=os.environ.get('SILICON_API_KEY', 'YOUR SILICON API KEY'),
                        openai_api_base='https://api.siliconflow.cn/v1/chat/completions',
                        meta_template=[
                            dict(role='system', api_role='system'),
                            dict(role='user', api_role='user'),
                            dict(role='assistant', api_role='assistant'),
                            dict(role='environment', api_role='system')
                        ],
                        top_p=0.8,
                        top_k=1,
                        temperature=0,
                        max_new_tokens=8192,
                        repetition_penalty=1.02,
                        stop_words=['<|im_end|>'])

加入这段配置后,可以执行相关指令来启动 MindSearch。

  1. 启动后端:
# 指定硅基流动的 API Key
export SILICON_API_KEY=上面流程中复制的密钥
# 启动
python -m mindsearch.app --lang en --model_format internlm_silicon --search_engine DuckDuckGoSearch
  1. 启动前端。这里以gradio前端为例,其他前端启动可以参考MindSearch的README: python frontend/mindsearch_gradio.py

3. 上传到 HuggingFace Space

我们也可以选择部署到 HuggingFace 的 Space 当中。

  1. https://huggingface.co/new-space 创建一个新的Space, 配置为: Gradio Template:Blank Hardware:CPU basic·2 vCPU·16GB·FREE

  2. 创建成功后,进入” Settings “设置 API Key。

  3. 把第二步中的 MindSearch 目录、requirements.txt 和一个 app.py 一并上传。

app.py 详细内容请参考:https://huggingface.co/spaces/SmartFlowAI/MindSearch_X_SiliconFlow/blob/main/app.py