EPAI主要功能——模型服务:服务聚合

用户部署好自己的模型服务,或系统管理员获取了第三方大模型服务,可以开启服务聚合和调用的流程:

(1)接入服务

平台支持系统管理员对不同服务进行聚合,目前提供两种接入服务的方式,分别是“接入模型中心服务”和“接入自定义服务”,既支持接入平台部署的大模型服务,也支持接入外部的大模型服务。

系统管理员登录后,在平台“服务聚合”-“URL渠道”页面,在列表右上角选择“接入自定义服务”,打开接入自定义服务的页面,需要填写的内容包括 :

  • 服务源名称:自定义服务的来源名称,必填项。
  • 服务URL:自定义服务的URL访问地址,必填项。
  • API-KEY:访问自定义服务URL的Key,填写后,点击“获取模型”,会对服务URL和API-Key进行鉴权,鉴权通过,可自动获取自定义服务对应的模型列表。
  • 模型重定向:显示自动获取到的模型服务列表,支持对获取到的模型名称进行重定向修改或映射,也支持添加未能自动获取的模型名称。

当在列表右上角选择“接入模型中心服务”,打开接入模型中心服务的页面,需要填写的内容包括:

源名称:支持从列表中选择用户部署的全部模型服务

模型重定向:显示从服务源名称自动获取到的模型服务列表,支持对获取到的模型名称进行重定向修改或映射

完成服务接入后,用户在“服务聚合”-“URL渠道”页面支持查看该用户有权限使用的服务列表,默认在列表上方提示平台服务调用的统一URL地址。支持按模型名称、接入类型、服务源名称进行筛选,支持对接入的 模型服务进行连接测试。

在URL渠道页的服务信息列,可以查看服务渠道的推理参数与展示信息,管理员可以对服务展示信息进行调整。在这个页面展示的推理参数信息会作为应用中心默认推理参数传至应用中心,并 可在应用中心进一步调整。

持对每个URL渠道设置不同的用户组访问权限;管理员可以点选渠道操作列的调整调用权限,或多选后点选调整调用权限按钮,进行服务权限调整。

(2)令牌管理
完成服务接入聚合后,用户可在平台的“服务聚合”-“令牌管理”页面,点击“创建”,可自行创建一个API-KEY,以便能够调用这些聚合后的模型服务,创建KEY时,支持设置令牌的有效期和访问的模型范围(支持选择全部模型);支持设置该KEY总计可使用的请求响应tokens量(即余额)。创建KEY后,当余额不足时KEY会失效;创建KEY时可以从用户的配额中分配余额至特定KEY。

(3)请求记录

在“服务聚合”-“请求记录”页面,支持查看每次调用情况,包括操作时间、模型名称、用户、请求响应内容、请求结果、tokens、tps等关键指标。支持按KEY、模型名称、时间、请求结果进行筛选。在页面顶部可查看每日/每周的请求响应tokens量。

(4)配额管理
管理员可在配额管理页面对平台内用户的API-KEY可用tokens数量进行调整。当未调整用户配额时,用户可用的服务聚合tokens配额使用页面顶部显示的预设配额值。