在Ubuntu系统上部署模型时,需确保操作流程的精确无误。本文将详细阐述在Ubuntu环境下安装Docker、执行模型部署以及启动相关服务的详细步骤。
安装Docker
在Ubuntu系统中,安装Docker是不可或缺的一环。按照既定的安装步骤进行,需谨慎操作。安装完成之后,执行docker -v
指令,用以确认安装是否顺利。若显示Docker版本号,则表示安装无误,可继续进行后续操作。
创建启动脚本
在电脑磁盘的任一区域,均可建立一个名为start-docker.sh
的启动脚本。此脚本中包含的数字,例如74a5b9615370
,代表之前检索到的Docker镜像的唯一标识符;mindIE
则是用户自定义的容器标签,用户可自由修改以符合个人需求。需注意的是,访问Docker容器时,必须使用该标签。
下载模型权重
根据规定指导,进行下载DeepSeek - R1 - Distill - Qwen - 14B模型的权重文件。下载成功后,需将文件存放在/models
目录中。这一操作确保了模型权重在后续任务中的便捷使用,同时简化了模型推理和服务启动流程。
调整内存分区
电脑内存若未达到32GB,宜扩大内存交换区域。若内存容量不足以支撑权重转换和推理程序的运行,程序将自动终止。需特别指出,此操作需在物理主机上执行,而采用Docker容器操作则无法达到预期效果。
更改文件权限
执行chown
指令可调整/models/DeepSeek - R1 - Distill - Qwen - 14B
目录及其中文件的所有权。此操作将root用户和root组设为所有者。权限变更后,系统在处理这些文件时将更为安全有序。此举有助于减少因权限配置错误引起的程序错误风险。
启动服务配置
模型推理恢复后,需对MindIE Server的配置进行调整。首先,需将模型目录中的config.json
文件权限修改为640。若权限设置有误,Server服务将无法启动。启动Server服务并观察到相应输出,则表示启动成功。成功启动后,程序会自动搜索并展示设备上运行的MindIE模型信息。将显示的URL复制至浏览器打开,第一个URL仅限于启动主程序的电脑访问,第二个URL则可供同一网络下的其他设备访问。
在Ubuntu系统中进行模型部署的过程相对复杂,您在操作过程中是否遭遇了难以解决的难题?欢迎在评论区分享您的经历,同时,请不要忘记为这篇文章点赞和转发!