本文为稀土掘金技术社区首发签约文章，30天内禁止转载，30天后未获授权禁止转载，侵权必究！

部分内容参考：数据智能｜交互新探索：大模型时代可视化应用的交互新可能

传统的数据应用中，用户通常利用图形用户界面（GUI）对可视分析内容进行配置、编辑和交互，但面对众多的编辑选项及复杂的交互界面，相对应的使用门槛也会较高。这导致用户要么感到界面过于复杂而难以应对，想要实现一个功能往往找不到入口，要么受限于界面中固定且有限的功能选项，缺乏必要的编辑灵活性。

随着大模型技术的发展，自然语言界面（NLI）正作为一种可行的交互替代方案出现，允许用户通过自然语言来指定编辑操作，来进行可视分析。然而，自然语言界面放弃了传统GUI的优势：自由探索和重复编辑的能力，并能够看到即时的视觉反馈。因为通过语言与系统进行交互，往往需要等待一些时间，才能看到结果。

传统 GUI 界面自然语言界面（NLI）

优势

自由探索和重复编辑的能力，并能够看到即时的视觉反馈，且操作通常可逆

简单、使用门槛低

劣势

复杂、使用门槛高、灵活性有限

无探索入口、无实时叠加编辑的能力，无法看到即时的视觉反馈

GUI 为主、NLI 为辅的交互模式

GUI 与 NLI 并存的交互模式为在普通的 GUI 界面上增加 NLI 界面，使得两者并存。用户既可以通过 GUI 界面来进行编辑操作，也可以直接通过 NLI 界面发送自然语言指令。通常通过 NLI 能够成功执行的指令，在 GUI 界面也有途径能够执行成功。

PowerBI Copilot：BI场景中的问答机器人

下列是PowerBI Copilot的主要功能：

智能洞察

自定义提示： Copilot 窗口生成报告页面的摘要。支持灵活地通过自定义提示来优化摘要，例如“使用项目符号总结此页面”或“提供此页面上的销售摘要”。

交互式提问： 针对报告页面上的可视化数据提出具体问题，回复的内容包括数据引用，可溯源答案或摘要中的各部分数据源。

智能推荐

Copilot 可以根据数据推荐主题，并编写新的报告。直接在聊天中选择此选项时，Copilot 会评估数据并提供：

分片式提问

在报告上选择某个可视化元素，即可提问，包括：总结某个图表上的数据，观众可能会针对数据进行什么样的提问...

以可视化的方式回答

Copilot 还可以使用语义模型中的度量值和列来探索数据。询问有关报告和数据集的问题时，Copilot 会检查是否可以在报告视觉效果中找到答案。如果现有视觉效果无法回答问题，Copilot 会直接构建视觉效果。

Copilot 可以帮您处理以下类型的请求：

增强问答的同义词

Copilot 可以编写同义词，您可以将其添加到问答中，以提高机器人对用户问题的理解能力。

编写 DAX 查询

DAX查询: DAX（Data Analysis Expressions）查询是在 Microsoft Power BI、Excel Power Pivot 以及 SQL Server Analysis Services Tabular 模型中用于数据分析和计算的表达式语言。

Copilot 可以编写 DAX 查询。例如，可以输入提示来描述您希望它生成什么 DAX 查询，然后选择“发送”或按 Enter。要运行返回的内容，请选择“保留”以将其添加到查询选项卡。然后选择“运行”或按 F5 以查看 DAX 查询的结果。

NLI 与 GUI 相互融合的交互模式DynaVis：动态生成可视化UI小组件

/abs/2401.10…

研究动机实现框架：

预处理（Pre-processing）基于大型语言模型的合成（LLM-based Synthesis）后处理（Post-Processing）用户界面实现（User Interface Implementation）BISCUIT：在NoteBook中使用UI组件调整 LLM 生成的代码

/abs/2404.07…

研究动机

设计目标功能设计实现细节

纯 NLI 的交互模式DB-GPT：蚂蚁开源的AI原生数据应用开发框架

…

架构

自下而上分别是（个人理解）：

Train：底层模型，包括自然语言到SQL查询、DSL描述、可视化...的生成模型

Protocol：包含智能体工作流的相关表达，描述了不同任务对应的pipeline

Module：pipeline对应的执行逻辑

Server：不同任务的派发和调度逻辑

Application：上层应用

交互场景

最终形态与GPT对话类似，只不过在此基础上增加可视化的问答。

NLI + 无限画布Intelligent Canvas: 支持探索性数据分析的智能画布

/pdf/2402.08…

概念提出

智能画布：提出了一个集成生成性AI的“智能画布环境，该环境通过快速原型制作、迭代和比较可视化管理来解决现有界面的局限性。

智能画布的主要优势在：无边界式探索分析，挖掘可视化之间的关联性

交互设计快速原型制作

原始设计（左侧）：用专门的容器放置指令，并通过确认按钮进行确认

最终设计（右侧）：不需要专门的容器，指令直接作为确认框的标题

快速迭代

原始设计（左侧）：写完指令后，用线进行连接，来表示作用在哪个可视化上

最终设计（右侧）：单击想要修改的内容，输入指令，然后修改

可视化比较+洞察内容管理

原始设计（左侧）：单击和拖动单个可视化

最终设计（右侧）：支持框选后，操作多个可视化

启发

不同交互策略对应的场景和目标人群

目标用户适用场景

GUI为主、NLI为辅

传统数据分析师

涉及复杂数据编辑的分析场景，对结果的精确性要求比较高

NLI、GUI相融合

可视化设计师

需要反复编辑可视化、且对配置的灵活度要求较高

纯NLI

开发人员

对数据和分析软件的熟悉度没那么高，但又需要获取可视化信息

NLI + 无限画布

数据分析师（期望快速寻求启发和洞见）

快速制作原型、主要用于寻找数据关联和启发，对准确性没有那么高的要求

欢迎交流

VChart：VChart 官网、VChart Github（感谢 Star）

VTable：VTable 官网、VTable Github（感谢 Star）

VMind：VMind 官网、VMind Github（感谢 Star）

官方网站：

Discord：discord.gg/3wPyxVyH6m

飞书群（外网）：