数据管理的演进 从响应业务到创造业务
互联网 2023-06-14 11:58:20

数据中台本身还是围绕数据服务来进行的,未来的操作系统,一定会越来越个性化,甚至系统可以根据对应的终端用户自行呈现符合该用户习惯的系统界面——AI中台的概念应运而生。企业对数据的利用有三个阶段:响应运营,响应业务,创造业务。数据中台解决的是响应业务的问题数据中台对一个企业,起着至关重要的作用。在数据中台这个称谓成型之前,各个企业也都在用不同的方式来尽可能地利用数据产生价值。只是在这个过程中,也不得不处理着数据带来的各种问题,比如各个业务系统经年累月以烟囱架构形式存在而导致的数据孤岛、数据隔离、数据不一致等等。因为这些问题实在是过于繁杂,企业开始建立数据团队,或者数据部分开始继续数据整顿工作,因此数据仓库、数据湖、主数据治理等一系列的工作职能应运而生。

本质上,这些工作都是因为业务需要不得不进行的一系列数据治理的动作,对于如何利用数据来发力,并没有形成一个强有力的底座。

有点像“头痛医头、脚痛医脚”:各个业务系统规范不一致了,于是开展了元数据治理;数据分析的时候数据关联不上了,于是不得不进行主数据治理。


(资料图)

在这种模式下,频繁出现的字眼是:共享。那么,到底共享的是什么?答案便是数据的服务。

这样的数据治理工作在进行了很多年后,数据中台这个概念逐渐有人提出了,阿里的《企业IT转型直到:阿里巴巴中台战略思想与架构实践》这本书更是把用中台战略把这个概念推向了一个极致。中台战略中,人们常说:大中台,小前台。中台战略,并不是搭建一个数据平台,但是中台的大部分服务都是围绕数据而生,更加巧妙的地方是中台战略让数据在数据平台和业务系统之间形成了一个良性的闭环。于是,数据和业务系统融为了一体。

(图1 数据中台所解决的问题)

过去,数据依赖于手工进行,没有软件;有了数据中台,以功能驱动,固定的数据输入,得到固定的数据输出,构建出能用的服务变得更快速、更加的标准化,解决了业务侧的“能用”问题。但是,如何以固定的输入,以产生更灵活多变的输出,提供比如个性化的服务,做到“好用”,数据中台并没有给出答案。

在建立了数据中台架构之后,我们逐步认识到,原来数据的价值并不只是个运营出个参考的分析报表,做一系列的预算。数据中台为大型企业数据利用最大化提供了一个初始的参照方向。当我们发现,深度学习、机器学习等等一系列技术开始在这个平台下施展拳脚的时候,我们可能已经清晰地认识到:中台并不是数据分析利用的终点。

常见的主数据、元数据治理就是发生在这个阶段,只是数据仓库将主数据和元数据治理进行了规范化。

响应运营是数据分析最直接也是最原始的诉求。没有谁不不会关心自己的用户留存率,没有谁不关心自己的营收额;出现了故障、如何分析定位,如何预测预防,运用数据分析自然不过。但是在运营分析过程中,也发现了另外一系列的问题,比如各个业务系统的数据存储格式、存储介质都不相同,在进行基本的运营分析的时候,无法流畅的进行。此时,不得不进行一系列的数据治理。

第二阶段:响应业务

数据分析停留在运营阶段的时候,对企业来讲最大的感受就是投入产出比不对称。这个问题在大数据爆发的时间点上,更为凸显。例如在今天的业务场景下,传统的数据仓库已经解决不了海量数据、异构数据等一系列问题,而大行其道的大数据分析技术,硬件要求高、学习门槛高。要实施一个大数据平台,成立一个大数据团队,这是一个不小的成本开销,更何况现在有不少数据分析团队要借助机器学习等手段,来对数据做分析来响应运营,这导致基础设施成本、整体门槛进一步提高。

于是像数据中台这样的思想就被提了出来:既然数据是从业务系统产生的,那么是否业务系统也需要数据分析结果呢?对于数据平台来说,数据平台本身提供两大能力:数据存储和数据计算的能力。那么业务系统的数据存储和数据计算能力是否可以剥离到数据平台,仅仅让业务系统很轻量的维护自己的业务流程操作?所以利用中台剥离了复杂的业务环境,再配合微服务等技术,一下子让人感受到了“数据服务的共享”。

而对业务场景来说,很多时候是需要数据服务的,例如用户的基本信息管理、用户的行为数据分析,这些数据不但可以暴露给业务系统使用,甚至可以直接丢给终端用户自行使用。

类似这种契合点,让数据平台变成了一个服务,提供给业务系统。

第三阶段:创造业务

业务不会总停滞不前,因为人的生活会改变,想要的体验会改变。过去,大家到视频平台看视频,利用通用的数据服务,不同的用户看到的视频推荐都是一样的;很快,我们就会发现根据用户的偏好,推荐个性化的视频几乎是必不可少的体验要求。然后,我们就开始思考:数据是否可以变成个性化服务提供给终端用户?这是一个非常简单、常见的例子。当这样的个性化数据服务越来越多之后,各种服务不断组合,就会创造出很多可能性,进而提供创新的个性化体验和新的业务模式,这就是数据服务用于创造业务的阶段。

虽然有了数据中台,但是当有大规模的、基于智能算法的数据服务需要落地实现时,依然会碰到以下挑战。

当智能服务成千上万的时候,如何管理、如何构建、如何高效维护,就会成为很大的麻烦。

如何对规模化的智能服务进行管理:当只是零星三两个智能服务的时候,通过手动人工管理等方式,不会有太大的问题;然则,

没有良好的工程实践来保证质量和流畅性:对于常规的应用软件开发我们有TDD、自动化测试、CI/CD等成熟的工程实践做保障;但是在智能服务这一块,无论是编程开发、还是服务构建,都没有成熟的工程实践,也没有良好的基础设施支撑,非常依赖于构建这个服务的数据工程师的个人能力,导致在实施过程中,问题难以复现,难于定位。

数据安全、治理和数据量不充分:数据中台的价值点,在于提供了数据的计算和存储的能力,但是在智能服务构建下,光有计算和存储还不够。治理到什么程度的数据,才能较好的支撑服务的构建?个性化的服务与数据安全冲突的时候,如何抉择?数据量不足导致算法模型泛化能力太差,怎么办?

(图3 创造业务阶段,数据中台面临的挑战)

从数据中台到AI中台

什么是AI中台?

对于这样的场景和服务,我们需要怎样的平台?整个软件开发架构和流程是否也都会相应重造?

数据中台本身还是围绕数据服务来进行的,而非围绕智能服务来进行的。未来的操作系统,一定会越来越个性化,甚至每一个人看到的登录界面都不一样,系统可以根据对应的终端用户自行呈现符合该用户习惯的系统界面。那么

回到创造业务的需求。以简单的销售业务为例,数据中台提供的服务本质如下图所示:

(图4 软件平台的业务模式)

这是目前最常见的软件平台的运作方式,开发人员开发出了对应的软件服务后,提供给终端用户使用,虽然会有销售售卖该服务。这种方式,好比是拿着一个锤子找钉子,而不是给钉子快速制作一把合适的锤子再去售卖。

能不能这样:将整个软件组装出来的服务,包装成个性化的产品一样去售卖,提供量身定做的服务?那么整个运营模式就变成:平台提供了一种快速构建智能服务的过程,服务售卖者利用这个平台,自己动手构建出服务,拿出去售卖,类似一个提供“智能业务服务的PaaS”。

(图5 引入AI中台的软件平台业务模式)

如果尝试给AI中台下个定义:

AI中台是一个用来构建大规模智能服务的基础设施,对企业需要的算法模型提供了分步构建和全生命周期管理的服务,让企业可以将自己的业务不断下沉为一个个算法模型,以达到复用、组合创新、规模化构建智能服务的目的。

借助一个平台,将软件的服务个性化的创造,这将是未来的发展趋势。在麦肯锡的分析报告中,我们可以看到,各个企业或者行业,都在第三个阶段做了不同的探索和努力。

首先,从基础设施角度,可以将数据中台智能化

所谓的智能化,是指将在数据中台进行的一系列的数据服务构建操作进行智能化实现,让数据的接入、存储、分析展现、训练、到构建管道(pipeline)都更加自动化。例如,对于通用的CI/CD来说,测试不过则会构建失败,那对于AI中台下,就要考虑一个推荐模型构建失败的条件是什么?答案可能是“本次模型的准确率低于上一次构建的准确率”的时候,CI应该被构建失败。在实践中,这可能是CI构建过程的维度之一,还会有很多其他指标和维度。我们就需要在现有的数据平台的CI中,实现并自动化这些指标和维度,使之更加智能化。

数据管理的演进 从响应业务到创造业务

2023-06-14 11:58:20

全球热点!芯片“刺客”冒头,万亿英伟达还能狂飙多久?

2023-06-14 11:52:52

新时2020新时代好少年观后感(观2019年最新的新时代好少年观后感) 速讯

2023-06-14 11:15:53

当前聚焦:苹果公布 iPhone 逆天新专利,丑到密集恐惧症都犯了!

2023-06-14 11:01:00

环球播报:山东省莒县:62名职工角逐全县建筑业技能大赛

2023-06-14 10:18:56

5倍牛股,控股股东遭强平!

2023-06-14 10:03:51

泉州市新生儿专科联盟成立,首批27家医院加入-世界资讯

2023-06-14 09:21:56

今日关注:武汉天气预报,武汉天气预报40天准确查询

2023-06-14 09:07:03

当前简讯:旺季包裹寄递速度为什么能快起来

2023-06-14 08:22:39

含羞草原理_含羞草为什么会收缩 热讯

2023-06-14 07:42:21

报道:office激活码2019_office激活码2010

2023-06-14 06:52:35

急得像什么句子_急得像什么

2023-06-14 06:01:57

科学技术与工程退稿率(科学技术工程)

2023-06-14 02:22:17

武汉发现外来“植物杀手”,连根铲除以绝后患

2023-06-13 23:23:17

热讯:安徽英克尔汽车零部件有限公司

2023-06-13 21:46:43

每日快报!盗墓笔记云顶天宫电影_盗墓笔记云盘

2023-06-13 21:00:31

交易异动!电广传媒:近3个交易日上涨22.68% 无未披露的重大信息

2023-06-13 20:24:24

天天观察:山东省已开工保障性租赁住房4.7万套(间) 建成使用2.6万套(间)

2023-06-13 18:58:03

广汽集团A股将于6月16日派发现金红利18.87亿元

2023-06-13 18:32:18

全球即时看!亚非拉九国代表考察吉林寻合作

2023-06-13 18:11:00

世界关注:深蓝S7来了,预售不到17万起,定位纯电中型SUV

2023-06-13 17:17:28

国际航协专家:C919国产大飞机折射中国民航市场巨大潜力

2023-06-13 16:53:36

打印设置的基本方法是什么?打印设置的是纵向打出来是横向?

2023-06-13 16:45:33

超详细剪窗花步骤图(最简单),只需三个步骤就能剪出漂亮的窗花

2023-06-13 16:05:42

焦点热文:江苏警方劝阻诈骗:女子疑遭诈骗转账4万多元

2023-06-13 15:37:20

windows ce游戏下载_windows ce 软件

2023-06-13 15:08:59

日本与北约“勾连互动”不断的背后

2023-06-13 14:33:23

最新资讯:如何分辨红酒是不是原装进口?

2023-06-13 13:58:42

第一次用苹果手机怎么激活_第一次用苹果手机怎么激活-天天快资讯

2023-06-13 13:16:17

6月12日资金流向(纸箱股票)

2023-06-13 12:13:30

世界百事通!【新华财经调查】英国电动汽车缺乏战略产业政策 电池行业机会窗口或已错过

2023-06-13 12:01:54

0-0!56万人口小国神了:零封世界杯4强队,世界排名比国足高10位

2023-06-13 11:28:27

天天热议:电报解读|掌阅科技(603533.SH):AI阅读产品“阅爱聊”内测

2023-06-13 11:16:10

当前观点:《双向奔赴》——关爱新就业形态劳动者④:奔跑

2023-06-13 10:33:20

魍衡是什么动漫 魍衡

2023-06-13 10:07:45

三六零6月13日盘中涨幅达5%

2023-06-13 09:49:32

环球微头条丨国际油价再遭重挫 美油跌超4%

2023-06-13 09:23:55

宋小宝小品搞笑大全集吃面_宋小宝小品搞笑大全集

2023-06-13 08:43:25

快报:小学想象作文题目大全_小学想象作文

2023-06-13 08:06:42

清一色6月13日早报(周二)_世界实时

2023-06-13 07:12:06

苹果 Mac Studio 电脑今日正式开售:可选M2 Max/Ultra 芯片

2023-06-13 06:18:04

奥尔良鸡翅做法_奥尔良鸡翅怎么做 天天新资讯

2023-06-13 01:53:19

微笑抑郁症的症状表现有哪 微笑抑郁症的症状和前兆 环球今日报

2023-06-12 23:12:14

九龙湖龙舟赛刚收桨,新建电竞嘉年华又上演!这个夏天南昌热力值拉满_焦点报道

2023-06-12 22:06:31

嫦娥奔月简介100字(嫦娥奔月作文100字)

2023-06-12 21:04:34

业绩“雪崩”后遭CFO离职,九毛九(09922)未来只能认“怂”?

2023-06-12 20:55:25

世界微头条丨京东“阿根廷夺冠球衣”上线1秒即售罄

2023-06-12 20:01:23

k422次列车14车厢多少号靠窗_了解一下

2023-06-12 18:44:09

全球关注:文淇首部自导自演短片《她问》曝预告 入围金爵奖

2023-06-12 18:11:42

大东方: 公司并购“健高儿科”股权等事项,请详细参阅公司历史已披露的相关信息

2023-06-12 17:03:16

广州有4050灵活就业社保补偿吗?

2023-06-12 16:23:53

宁波余姚市6.97亿元成交2宗商住地 均有地方城投公司竞得

2023-06-12 15:57:05

全球新消息丨品质人居 绿色守护 | 招商积余绿萝行动,守护美好人居环境

2023-06-12 14:44:46

【独家】李斌回应蔚来降价:没法做到每个人都满意

2023-06-12 12:02:21

一年来变化巨大!《星空》新实机和去年画面对比-全球短讯

2023-06-12 11:16:35

朱婷回归国家队条件还不成熟?排协需替她讨回公道,解决后顾之忧

2023-06-12 10:42:05

中金:维持保利物业(06049)“跑赢行业”评级 目标价68.1港元

2023-06-12 09:55:46

再访余村:留住“绿”,迎来“青”

2023-06-12 08:54:40

企业资金链断裂_企业资金_全球时快讯

2023-06-12 04:45:48

视讯!阿斯:齐达内再次拒绝巴黎的邀请,梦想仍是执教法国队

2023-06-11 21:45:19

2023世界动力电池大会在宜宾开幕

2023-06-11 21:00:39

12月去云南旅游必备物品清单表(12月去云南旅游必备物品)-天天热头条

2023-06-11 19:23:48

科普图解 | 筑牢生态屏障!一图看懂我国防沙治沙新成就_前沿资讯

2023-06-11 18:48:01

李小璐身后,那些进入她世界里的人,只不过都是过客而已

2023-06-11 18:17:06

【环球新要闻】管泽元晒与维尼修斯合影:啊啊啊啊啊啊啊啊啊我疯了,碰到他了

2023-06-11 17:30:19

没完没了?第11部《速度与激情》定档两年后……

2023-06-11 17:40:39

每日聚焦:职介找工作可靠吗_职介

2023-06-11 16:58:57

【播资讯】江苏考生最爱报哪个专业?去哪里上学?大数据分析报告来了!

2023-06-11 16:21:14

“文根”何以“深种”?看文博会如何寻找岭南新坐标

2023-06-11 15:24:44

天津发布鼓励发展邮轮旅游实施细则 “真金白银”鼓励发展邮轮旅游

2023-06-11 14:45:40

2023高考今日落幕,多地公布志愿填报时间

2023-06-11 13:43:00

压力给到X86处理器!苹果M2 Ultra芯片跑分曝光,多核成绩比M1 Ultra高18%

2023-06-11 13:18:54

广西荔枝2023年产量预计近百万吨

2023-06-11 12:02:40

《透明侠侣》转运曲《好事会发生》,史策王皓出租车甜蜜穿越透明浪漫宇宙 天天观天下

2023-06-11 11:37:36

焦点热文:电饭煲内胆什么材质的好而且健康麦饭石_电饭煲内胆什么材质的好而且健康

2023-06-11 10:29:29

全球热议:解剖屎山,寻觅黄金之第二弹

2023-06-11 10:22:24

热门:考后心理波动期来了?几个方法帮考生收心

2023-06-11 09:08:02

义马京东代运营_提升电商业绩的有效方法

2023-06-11 08:09:30

在家乡的热土上培育梦想 世界看热讯

2023-06-11 07:52:51

焦点快看:德云社违反卫生管理, 未取得卫生许可证被罚3万

2023-06-11 07:04:35

上午9点,球王来了!梅西抵达北京,第7次来中国,却无缘交手国足_今日聚焦

2023-06-11 06:14:41

蒙脱石散饭前吃还是饭后吃好一些(蒙脱石散饭前吃还是饭后吃)

2023-06-11 05:39:59

最新消息:陕西西安推动“十里沣河”文旅深度融合古老沣河涌动新活力

2023-06-11 05:06:04

全球观速讯丨清远公用品牌IP形象亮相

2023-06-11 03:34:01

眼睛充血怎么快速消除冷敷(眼睛充血怎么快速消除)

2023-06-11 03:02:48

当前信息:国家防总针对南方地区持续降雨启动防汛四级应急响应

2023-06-11 03:03:01

RK3588-WIF/BT调试之AP6256

2023-06-11 01:53:05

化疗的时候有什么症状(化疗是什么感觉)

2023-06-11 01:09:14

上证指数是什么意思代表什么_上证指数是什么意思

2023-06-11 00:57:51

我就是干检测的,我们见证了中国食品质量的显著提高_世界播报

2023-06-11 00:20:53

在一根长为884m的铁管一端重重敲击一下(在长为884m的金属管的一端敲击一下)

2023-06-10 23:51:37

全球今头条!刘国梁提拔8人入围国家队,15岁小张怡宁入选,陈幸同王一迪师妹

2023-06-10 23:08:43

今日关注:美国旧金山毒品泛滥、暴力犯罪猖獗 市民称正在目睹西方文明崩溃

2023-06-10 22:27:46

特斯拉财源滚滚:市值暴涨上万亿 福特通用送200多亿充电“大礼”|世界视讯

2023-06-10 21:57:37

米哈游的专属二游困境:从「虹吸竞品」到「提纯自己」

2023-06-10 20:51:16

好玩好看,上海国际电影节首次推出“数字影视体验展”-全球热议

2023-06-10 20:16:21

【全球报资讯】西安又要下雨了!具体时间……

2023-06-10 19:47:42

河南:关于做好2023年军队院校招收普通高中毕业生政治考核工作的通知_全球新动态

2023-06-10 19:12:10

ipad是什么意思呢(ipad是什么)|世界微速讯

2023-06-10 18:08:01

上午9点,球王来了!梅西抵达北京,第7次来中国,却无缘交手国足

2023-06-10 18:06:25