- 作者:老汪软件技巧
- 发表时间:2024-09-29 21:01
- 浏览量:
AI 助理与大模型多场景助理的落地方案AI 驱动,业务赋能未来展望
01 AI助理与大模型
谈到 AI 助理,大家首先想到的问题可能是,AI 助理到底能做什么、AI助理有什么优势、AI 助理应该具备什么样的功能?
目前大多数 AI 助理功能聚焦在智能对话、智能问答、智能查询以及 AIGC(人工智能生成内容)。在现有 AI 技术,大模型、RAG(Retrieval-Augmented Generation)以及 Agent 等技术下实现的 AI 助理,更能够深刻理解用户需求、专业高效、且可以实现 24 小时不间断服务,帮助用户解决各种业务问题。
AI 助力优势明显,但为什么我们需要用大模型来实现这些功能?这是因为大模型在不断迭代中变得越来越智能,更像人了。
目前大模型不仅知识渊博,能够回答许多我们不知道的问题,还具备听、说、理解和生成的能力。例如,大模型能够处理语音输入并生成语音输出,进行复杂的角色化交流,甚至进行情感识别和回应。这些能力使得大模型在许多应用场景中比人类更加高效和可靠。
货拉拉也基于 LLM 在探索 AI 助理的落地应用。目前已在多个业务场景探索,例如,司乘沟通问题挖掘助手、流量回放智能客服、小拉智能客服等司内真实业务需求,旨在通过 AI 技术提升业务效率和用户体验。货拉拉的 AI 助理应用探索主要有以下三个特点:
基于上述特点,我们重新定义 AI 助理:凡是能够帮助业务提升效率的 AI 应用,均可以称为 AI 助理。
02 多场景助理的落地方案
接下来将介绍货拉拉多场景助理的落地方案。在货拉拉面临多业务场景高效落地的挑战,在 AI 助理的搭建过程中也遇到了一些痛点,主要包括三个方面:
为了应对这些挑战,我们自研了大模型应用平台——悟空平台。这个平台的核心优势在于可以灵活应用大模型,支持直接或间接调用大模型进行开发。无论是直接调用大模型,还是构建 Chain 或 Agent,悟空平台都能胜任。此外,该平台在数据安全方面表现优异,确保没有数据外传的风险,并且可以根据需求进行定制化开发,同时支持高效的业务落地。
平台上提供了多种对接形式,以满足不同业务需求。例如,有些业务希望使用飞书机器人对接到飞书群,我们可以快速支持实现这一需求。还有些业务需要对接到浏览器插件“lalabot”,通过浏览器右键操作即可解决问题。此外,平台还支持直接提供 API 接口,方便直接对接到业务系统。
在自研 LLM 应用平台赋能的加持下,可以在多个场景中高效落地。例如,在教育引擎、教育培训、HR、PMO 等 14 个以上的场景中,我们可以快速搭建并实现高效落地。同时,平台也在不断迭代,从最初的文本处理逐步发展到多模态处理,我们进行了持续地探索和改进。
03 AI驱动,业务赋能
在第三部分中分享如何在 AI 驱动下实现业务赋能。
从去年开始到现在,AI 应用的发展速度惊人,覆盖范围也越来越广泛,我们涉及的业务需求也越来越多样,业务诉求也逐渐进阶;具体可分为以下 5 个阶段:
接下来,将逐一介绍每一个阶段的业务应用实例及其解决方案。
1. 专业助手
大模型能解决专业问题吗?这是一个很关键的问题,例如,大模型自动排查容器问题吗,容器中出现报错信息,大模型能否评估并提供解决方案?能否根据事件列表针对每个事件分析给出溯源报告,进行漏洞利用与攻击分析?大模型是否能够分析告警信息判断是否误报,进行 IDS 入侵研判?
实践发现“大模型知道的远比我们想象的多”,通过 prompt 和大模型结合就可以解决这些专业问题。问题解决的关键在于 prompt,高质量的 prompt 可以让大模型更好地理解并提取出有效信息,从而解决专业问题。
我们总结了一个 80 分 prompt 的框架和原则:清晰明了地提供业务背景和角色定位,简单直接地描述任务,清晰罗列业务特殊情况,并提供必要的引导。这些要素结合起来,能够使大模型更好地解决专业问题。当然 prompt“没有最好,只有更好”,需要我们持续地学习实践。
2. AI问答助手
第二个实例是 AI 问答助手。AI 问答助手可以分为两类:无标准答案(综合问答)、有标准答案(精准问答)。基于 LLM 的 AI 问答助手业界有搭建范式“业务知识库+RAG+LLM = AI 问答助手”,搭建范式可以解决大多“无标准答案”的搭建问题,但针对“有标准搭建”的精准问答效果差。
针对这个问题,我们做了综合提效,精确率&效率 tradeoff,实现“精准问答”业务精确率 90%+。具体地,将助手分类(是否需要问答、有无标准答案、是否需要精准问答),结合个性化 RAG,对于标准问答单独处理,提升业务业务精确率,针对其他的日常处理侧重提升效率;同时结合 prompt 针对性优化,强调信息准确提取,设置兜底回复,综上几方面即可以实现 AI 问答助手的综合提效。
3.周报生成助手
第三个实例是周报生成助手。LLM 真的能帮我们写周报吗?LLM 用 1 句话生成的周报真的可以用吗?
回答这两个问题之前,我们先看下怎么写一份周报,周报生成的核心要素为“3有”:
如何用 LLM 生成周报呢?我们需要搭建周报 Agent,做到有数、有图、有结论。具体地
通过综合应用这些技术可以搭建周报生成 Agent,实现数据获取、图表生成和结论分析。
同时有零代码平台可高效搭建周报生成 Agent 快速复用,只需三步操作:描述目标、配置工具、调试上线,即可高效搭建周报生成 Agent。
4.多模态 AI 助手
第四阶段是多模态 AI 助手。货拉拉在这方面的探索包括车险报价方案生成助手和培训对练助手。这些 AI 助手需要具备听、说、理解的能力。
(1)车险报价方案生成助手
车险报价方案生成,业务需要处理多个公司图片形式的报价单,对比图片中的内容生成报价方案。前面聊 LLM 可以解决专业问题,可以支持 AI 问答,那只用 LLM 能实现车险报价方案吗?
基于 LLM 生成的车险报价方案,挑战在于敏感信息识别&处理(保单中有姓名、车牌号等敏感信息需要前置处理)、精确率提升(复杂表格、多图处理、LLM 数据提取偏差)、解决方案自动生成(理解总结给解决方案)。
要做一个车险报价助手,只用 LLM 不行,不用 LLM 不行;车险报价 agent 需要具备六个关键能力:
基于我们探索了工具加大模型以及多模态综合理解提升精确率。具体地,首先用 OCR 提取信息,然后对敏感信息进行处理,再用大模型提取信息,最后结合多模态综合理解生成最终报价方案,进一步提升业务准确率。
(2)AI 培训对练助手
另一个应用示例是 AI 培训对练助手,它需要具备听、说、理解的能力,可以帮助运营和管理人员提升业务能力。融合了数字人、大模型、ASR 和 TTS 提供智能化 AI 培训服务,实现了在线学习、练习和考试,综合提升业务能力。
5.多Agent 助手
最后一个阶段是 multi-agent 助手,multi-agent 可分为合作型和对抗型,我们探索了多场景融合的合作型 multi-agent 助手。在 IT 助手场景中,我们针对各业务场景搭建独立 agent 聚焦各自场景问题问答,例如,办公设备 agent(聚焦解决 vpn 相关问题)、邮箱 agent(聚焦邮箱相关问题)、网络 agent(聚焦网络相关问题);采用路由 agent 硬控,提升业务整体精确率。这种多 Agent 协同的工作方式,使得我们能够更高效地应对复杂的业务需求,提供全面的解决方案。
以上通过对不同阶段 AI 助手的应用实例的逐一介绍,展示了货拉拉在 AI 驱动业务赋能方面的深度探索与实践。大模型的广泛应用不仅提升了业务效率,也为未来的智能化发展奠定了坚实的基础。
04 展望
整个 AI 行业一直在快速发展,未来五年、十年物流行业与 AI 结合后的发展前景令人遐想。在 AI 技术的加持下,物流行业将会更加智能化、高效化,为各类用户提供更优质的服务和体验。
技术支持|货拉拉/技术中心/智能运营部
架构支持|胡报、李闪磊、管宝鑫、杜典浩
算法支持|张洪龙、杨丹、邬继豪、张梦冉、杜香焜