Rui Work预约场景评估
← 全部产品能力

多模态能力

按模型能力接入图片理解、语音、图片或视频生成,并组合进对话与流程。

多模态能力不是让一个模型处理所有格式,而是按业务输入和输出选择合适模型,再把它们组合进对话或流程。具体能否使用,取决于模型类型、供应商能力和场景配置。

适合解决什么问题

  • 现场照片、截图等图片信息需要先理解,再进入后续问答或流程。
  • 业务需要语音识别、语音合成,或图片、视频等生成能力。
  • 不同模态需要分别配置,但希望仍由智能体和工作流统一组织。

合同、报告等文档的解析、切分和检索应结合知识库或附件处理能力评估,不与图片、视频生成混为一项能力。

怎么选择和配置

  1. 先确定输入与输出:明确要理解的是图片还是文字,要生成的是语音、图片还是视频。
  2. 配置对应模型:在模型管理中选择具备相应能力的模型,不默认一个模型支持全部模态。
  3. 接入实际入口:图片理解等能力按对话附件或工作流节点配置,生成能力按实际场景调用。
  4. 用真实样例验证:检查输入格式、模型限制、结果核对方式和异常处理,再决定使用范围。

处理后能看到什么

图片理解结果可以进入对话或后续流程,语音识别、合成以及图片、视频生成结果按所配置的入口使用。多模态节点可以和其他节点组合,参与分支与变量传递。

使用边界

  • 对话中的图片理解需要为智能体配置视觉模型,未配置时不能按视觉问答使用。
  • 语音、图片和视频能力分别受模型与供应商支持范围限制,不承诺任意模型都能处理任意格式。
  • 生成内容需要人工核对,不应把生成结果直接当作事实依据或业务凭证。

对应场景与服务

把这个能力用起来

带上现有系统和一个真实问题,先评估从哪个场景开始。