​
什么是 GPU 云容器

GPU 云容器，是 SiliconCloud 针对 AI 推理等高性能计算场景的特点，进行了针对性优化的云端 GPU 算力资源服务。

通过 SiliconCloud GPU 云容器，您可以快速、便捷地访问 GPU 资源，部署 AI 推理等计算密集型服务，同时灵活管控成本。

SiliconCloud 提供多种计费方式：

  • 按需实例（On-Demand Instance）：按实际占用 GPU 卡时支付费用，随用随付，用多少付多少，成本管理更加灵活；
  • 可中断实例（Spot Instance）：相较于按需实例费用更低，按实际占用 GPU 卡时计费，但当资源紧张时可能被中断，适用于成本敏感且不要求稳定性的业务场景；
  • 预留实例（Reserved Instance）：为了保证服务稳定、资源充足，长期成本最优，您可以购买一定数量指定区域、指定型号的预留 GPU。

​
如何使用 GPU 云容器

SiliconCloud 的 GPU 云容器分为“自主管理”和“智能托管”两类。您通过界面或 API 直接创建、维护的云容器，为“自主管理”类型；通过使用 SiliconCloud GPU 云函数创建的云容器则为“智能托管”类型。

  1. 准备镜像 您可以在本地或使用 SiliconCloud 云开发机开发、构建镜像。

    使用 SiliconCloud 云开发机构建镜像，构建完成即可用于 GPU 云容器部署。

    您在本地完成构建的镜像，可以使用简单的命令将其推送到您在 SiliconCloud 的私有镜像仓库，详见 镜像仓库用户指南：

    docker login --username={YOUR_USER_ID} hub.6scloud.com
docker tag {YOUR_LOCAL_IMAGE_NAME}:{YOUR_LOCAL_IMAGE_TAG} hub.6scloud.com/{YOUR_USER_ID}/{REMOTE_IMAGE_NAME}:{REMOTE_TAG_NAME}
docker push {YOUR_LOCAL_IMAGE_NAME}:{YOUR_LOCAL_IMAGE_TAG} hub.6scloud.com/{YOUR_USER_ID}/{REMOTE_IMAGE_NAME}:{REMOTE_TAG_NAME}

    推送完成后即可用于部署 GPU 云容器。

  2. 新建并部署 GPU 云容器 您可以通过界面或 API 方式创建并部署 GPU 云容器。

    通过界面新建并部署 GPU 云容器：

    1. 基础信息 —— 名称 / 描述 / 标签，可以帮您区分、识别不同的 GPU 云容器；
    2. 服务配置
      • 在一个 GPU 云容器的服务配置中，除了可以访问 GPU 资源的主容器（Docker Container），可以额外添加至多 3 个辅助容器；
      • 主容器可以访问 GPU 资源，用于 AI 推理等算力密集型任务；
      • 辅助容器（边车容器）仅可访问 CPU 资源，可以用于处理不需要 GPU 资源的辅助性任务；
    3. 算力配置
      • 选择区域和 GPU 规格 —— 您需要根据服务对 GPU 算力的要求，评估需要为每个实例配置的 GPU 卡数；
      • 指定目标实例数量 —— 每个实例都将按您的前述配置进行创建和运行；
      • ⚠️ 请注意，您能创建的实例数量受限于平台总体可用资源的情况和您的账号的配额情况，如遇配额无法满足您的业务需求，请您联系我们。

  3. 通过 API 新建并部署 GPU 云容器 待补充

​
参数配置说明

参数名（EN）参数名（CN）参数配置说明
----镜像您可以选择已推送到 SiliconCloud 镜像仓库的镜像和 tag 进行部署
----端口- 同一个 GPU 云容器服务内，端口不允许重复，每个容器允许暴露最多 10 个端口，暂不支持暴露端口段
----启动命令容器的启动命令，参见 Define a Command and Arguments for a Container
----启动参数容器的启动参数，参见 Define a Command and Arguments for a Container
----环境变量容器的环境变量，参见 Define Environment Variables for a Container
----挂载镜像卷- 为保障服务运行的稳定、安全，目前仅支持将镜像以只读方式挂载为镜像卷
----健康检查- 参见 Pod Lifecycle 及 Configure Liveness, Readiness and Startup Probes
----内网域名- 请注意「内网域名」在创建后不允许修改
----公网端口- 目前仅允许将前述端口配置中的一个端口，映射为公网 API 端点
----优雅退出限期- 参见 Pod Lifecycle

​
GPU 云容器的变更与停止

  • 除了区域和内网域名，您可以随时变更您的 GPU 云容器配置，如：
    • 调整目标实例数量，根据服务负载进行扩/缩容；
    • 更新镜像版本或部署其他镜像；
    • 改用不同的 GPU 卡，以提高推理性能或节约成本；
  • 您可以停止已经部署的 GPU 云容器，这是一个危险操作，因此需要您输入 GPU 云容器的名称以确认操作。

​
查看日志和监控

  • 您可以在 GPU 云容器列表，点击对应条目的“日志”按钮，选择并查看指定实例、指定容器的运行日志。