多模态能力不是让一个模型处理所有格式,而是按业务输入和输出选择合适模型,再把它们组合进对话或流程。具体能否使用,取决于模型类型、供应商能力和场景配置。
适合解决什么问题
- 现场照片、截图等图片信息需要先理解,再进入后续问答或流程。
- 业务需要语音识别、语音合成,或图片、视频等生成能力。
- 不同模态需要分别配置,但希望仍由智能体和工作流统一组织。
合同、报告等文档的解析、切分和检索应结合知识库或附件处理能力评估,不与图片、视频生成混为一项能力。
怎么选择和配置
- 先确定输入与输出:明确要理解的是图片还是文字,要生成的是语音、图片还是视频。
- 配置对应模型:在模型管理中选择具备相应能力的模型,不默认一个模型支持全部模态。
- 接入实际入口:图片理解等能力按对话附件或工作流节点配置,生成能力按实际场景调用。
- 用真实样例验证:检查输入格式、模型限制、结果核对方式和异常处理,再决定使用范围。
处理后能看到什么
图片理解结果可以进入对话或后续流程,语音识别、合成以及图片、视频生成结果按所配置的入口使用。多模态节点可以和其他节点组合,参与分支与变量传递。
使用边界
- 对话中的图片理解需要为智能体配置视觉模型,未配置时不能按视觉问答使用。
- 语音、图片和视频能力分别受模型与供应商支持范围限制,不承诺任意模型都能处理任意格式。
- 生成内容需要人工核对,不应把生成结果直接当作事实依据或业务凭证。