- 作者:老汪软件技巧
- 发表时间:2024-12-28 07:05
- 浏览量:
01平台产品能力介绍1. 产品矩阵
数据可视化产品是一种利用数据分析和可视化技术,帮助企业从大量数据中提取具有价值的信息和洞察的工具,主要作用有以下几点:
数据可视化产品可以帮助企业更好地利用数据进行决策和业务洞察,加强数据驱动的决策文化,促进业务的增长和创新。
京东数据可视化的产品矩阵主要有:智能BI平台,数据大屏平台,低代码平台和交互分析平台。
数据可视化平台的产品有多种典型应用场景。比如将来自企业内部的业务数据通过数据抽取、清理加工,进行数仓的分层存储,通过数据集市提供给用户进行分析处理。或通过消息管道的方式,利用 Flink 等引擎进行实时的数据计算,再通过 OLAP 数据库进行数据查询和使用,等等。根据不同的业务场景,有不同的产品使用链路。
下面主要介绍如下三个京东内部的可视化产品平台:
接下来将详细介绍这几款产品的功能。
2. EasyBI
EasyBI是京东推出的一款自助式数据报表与可视化分析工具,面对不同的业务场景,以数据驱动价值,帮助用户快速地分析和洞察数据。
整体架构分为四层:
数据连接层,支持 MySQL、Presto、ClickHouse、ElasticSearch、API 等数据的接入,还支持本地上传以及数据填报等,满足不同场景的数据接入与集成。
第二层为数据建模,可进行轻量级数据建模,包括表与表之间的关联,表条件的过滤,表权限的配置和设置,实现了类似数据视图的功能。
第三层是可视化配置,包括大量自研的可视化组件和配置能力,目前支持 insight 等不同画布模式,通过不同的图层设计、可视化组件编排,以及相应的筛选器、组件参数配置等形成整体的可视化看板。
最上面是数据看板应用的发布与管理,支持邮件订阅、看板智能预警,支持配置不同主题,加入第三方组件,也可以无缝嵌入其它业务平台,支持报表、门户等不同功能。
这款产品目前赋能于京东各个集团及海内外业务,在报表开发者数量、日常使用者数量、嵌入式支持系统的数量、已开发报表数量和外嵌报表数量等方面均取得了较为领先的数据规模。
EasyBI的核心功能包括,支持多源数据的接入,可以用于搭建企业级数据门户,支持智能分析,允许用户深度追踪和挖掘数据,包含内置算法,可提供数据诊断分析、时间序列分析等等,帮助用户做智能数据分析和决策。场景模板功能,是基于京东零售在数据分析领域内多年的积累和沉淀,将方法论模板化,形成开箱即用的场景化模板。此外还有丰富的数据可视化组件,交互分析能力,权限管控能力和数据抽取能力等核心功能。
在数据看板消费者端,我们做了很多工作,比如性能查询的提升,通过数据查询全链路的监控分析、缓存性能的优化提升、SQL 语法的识别分析、SQL 全表扫描的查询优化、性能诊断工具等能力,为用户查询体验保驾护航。
EasyBI产品的核心优势包括:支持零代码拖拽,可以灵活嵌入到各种不同的业务系统中,做到无缝嵌入,还有数据找人的智能预警功能、引擎侧的优化,以及安全管控体系的优化等等。
3. 低代码平台
低代码平台的产生背景有三个方面,首先在业务上,京东有一套成熟的数据 BP 陪跑模式,会深入到业务一线战场做业务的数据分析,从而对场景化分析提出了较高要求;第二是在研发资源上,希望在有限的人力下,通过技术能力提升,改变原有定制化的研发模式,提升研发效率和质量;第三是需要纵观全行业,做竞品分析。基于这些需求,我们搭建了一站式低代码平台,通过深入业务场景,抽象数据分析流程,打造了全流程分析配置化的能力,大幅优化了传统开发模式中的复杂流程,通过将前期原型设计、代码编辑、调试、测试与部署上线的流程于一身,实现了可视化代码全生命周期管理。在功能上还涵盖移动分析、交叉分析、转化分析、地域分析等多种分析方法。
产品架构:
(1)技术栈基于react ,webpack ,nodejs等,打造了一套分析可视化的组件,也是基于业界先进的图形语法理论,通过数据、元素、坐标等的组合,深层次反映可视化图形的层次结构,并且沉淀了大量可视化场景分析能力。
(2)编排能力。数据产品页面往往有比较复杂的业务逻辑,可能包含很多组件,涵盖布局、筛选等配置,组件间存在大量的联动逻辑,如筛选器和可视化组件联动,可视化组件间的联动等。基于上述特性,我们设计并实现了一整套编排技术方案。首先,自研了基于 MVC 模型的状态管理框架,在 Redux 基础上升级了状态更新变化的响应机制,可以支持复杂的异步状态管理。其次,可以灵活做到布局组件和复杂页面的编排,除了常规样式的编排外,充分发挥底层数据的可视化能力,支持如杜邦分析等指标关系的编排。
(3)数据编排系统。通过编排维度、指标、过滤构建数据分析模型,将可视化组件和数据服务进行充分打通,实现数据驱动可视化。
(4)代码生成和注入系统。使用一套标准的 schema 驱动,基于 schema 结合底层的 react 技术栈自动生成代码。
(5)将基础能力和基础编排服务于京东域内的各种不同的产品线产品平台,打造可视化场景看板。
以异动分析为例,为了实现对全链路检测的可视化展示,平台沉淀了一套网格指标卡组件,该组件适用于异常监控分析、全链路转化分析等场景。
在具体的技术实现上,针对点、线、卡片位置进行计算和绘制,采用类似杜邦分析的技术思路,前端动态计算节点连接关系位置,使用 SVG 等前端技术渲染。由于图表机构和逻辑的复杂性,在图表配置化方案层面进行了大量的技术创新和优化。除异动分析组件外,在自动化、智能化的数据分析方面,也沉淀了自动化分析组件,核心思路是通过贡献度和基尼系数等算法计算出最需要关注的品牌品类等,基于增强分析技术,如洞察文案生成技术和图表标注技术等自动生成分析报告,还可以通过多种因素分析进一步进行数据探查。基于表格组件,通过组件的联动能力,组合多个表格形成联动下钻分析。
4. JDV 大屏
JDV 是京东内部搭建可视化大屏的数据平台工具,内置多种特效模板,数十种风格各异的图表组件,并与集团其它数据工具打通,支持一站式、自动化、拖拽式大屏搭建,可以实现非常炫酷的大屏效果,包括数据切换、数据刷新等效果,可以满足高管、采销、产研等整个集团内部对可视化大屏的诉求。比如双 11 活动、媒体对外宣传的大屏都是基于 JDV 大屏搭建的。
产品步骤包括首先进行数据接入,然后使用预置组件与素材模板,通过大屏画布的编排系统,最终进行大屏的发布。
与 EasyBI、低代码平台不同,大屏系统将软硬件管控结合,用于媒体发布会、演讲等现场的投放,与现场硬件进行联动,通过技术集成方案,可以集成到其它平台系统中。