在EPAI模型服务中心的模型微调模块,可以结合处理过的微调数据,对基座大模型进行微调,以便获得性能更高、符合企业要求的新的大模型。
大模型微调前,要求先将基座大模型提前上传到模型仓库,且准备好了微调数据。微调数据准备可参考上述《企业文档生成微调数据》步骤说明。模型微调的具体操作步骤如下:
(1)模型上传
用户准备好的基座大模型,可上传至平台的数据管理模块。在“数据管理”—“文件管理”页面的“用户目录”下,点击“上传”,可将大模型文件上传到EPAI模型服务中心。记住大模型文件存放的路径。
(2)导入模型仓库
需要将存放在文件管理的大模型文件导入至模型仓库。在模型服务中心的“模型仓库”界面,选择“导入”,进入“导入模型”界面,如下图:
根据导入模型界面要求,填写必要的参数,包括模型名称、模型参数、类别和模型路径等。其中模型路径就是第一步中存放大模型文件路径。完成参数填写后,点击“确定”,即可完成模型的导入。在模型仓库列表可新增一条模型记录。
(3)创建微调任务
基于导入的大模型基座,再结合之前得到的微调数据,可开始进行模型微调。在“模型微调”列表下,点击“创建”,进入微调任务的创建页面,如下图:
填写任务基本信息,包括任务类型、微调方法(注意!目前只支持全参数微调)、任务名称、基座模型、模型类型、微调数据(即之前处理获得的数据)。
- 设置微调参数:包括基础参数和高级参数,如训练轮数、micro batch size、学习率、学习率调节器、梯度累计等
- 配置资源,选择资源组、加速卡等
- 模型输出:可选择将微调生成的模型自动导入至模型仓库
- 完成任务配置后,点击“确定”,提交任务,系统即可从资源组中调用资源对任务进行处理
(4)查看微调任务过程
在模型微调过程中,用户通过点击任务名称,进入任务详情,查看任务运行日志;可以在任务列表中点击“可视化”,平台调用Tensorboard对任务运行情况进行可视化展示。
(5)模型导出
微调任务完成后,EPAI平台会将生成的模型自动导入至模型仓库,供用户进行模型再次微调、评估或者服务部署。
(6)发布模型
当大模型微调完成并自动生成新的模型到模型仓库后,需要先将新的模型进行发布。在“模型仓库”->模型版本列表中,选择对应的模型版本点击“发布”,确定后,模型版本状态为“已发布”。
(7)模型部署
在“模型部署”页面,点击“立即部署”,打开模型部署页面,如下图所示。
基本信息:选择场景和模型,填写业务名称;在快速配置模式下,对算力用量、模型推理参数配置、健康检查规则等进行调整和确认,点击“部署”,即可完成部署,等待系统调用资源将服务进行部署和启动。
(8)查看服务详情
在“模型部署”列表页,选择业务名称,进入服务详情页,查看服务各项信息和运行情况,包括概述、服务监控、日志、shell链接、在线调试和AB测试。用户可根据自身业务要求查看服务对应的内容或更新服务。
(9)服务发布
当服务已就绪且验证测试OK后,可选择将服务发布给应用开发中心。选择某个服务,点击“发布”,可将该服务进行发布,发布范围支持“指定用户”和“全员”。
指定用户:点击添加按钮,从用户列表中选择可使用服务的用户;
全员:服务将发布至全体平台用户







