从米乐m6大数据的发展史看数据中台的核心价值

 

  “数据中台”是进今年比较火的一个词,正在做数字化转型的传统型公司都会首选做数据中天项目,建设数据中台嫣然成为传统企业数字转型的首选。

  但为什么要做中台、好处是什么、能给企业带来什么价值、是不是所有公司都适合做数据中台,这是随之而来的问题。

  上个世纪90年始出现数据仓库概念,他帮助企业做出经营分析决策,例如在销售行业的门店管理中,如何使单个门店的利益最大化,就需要分析每个商品的销售、库存数据,按照不同的时间周期:每日、每周、每月,找到商品销售规律以及关联影响,然后制定出合理的商品采购计划和促销活动,这些都是依赖与大量的数据分析米乐m6。

  比尔.恩门给出的数据仓库定义:数据仓库是在企业管理和决策中面向主题的集成的、与时间相关的,不可修改的数据集合。

  所以数据仓库是会按照主题去集成数据,你可以把主题理解成一个目录。主题是不会轻易改变,所以划分主题时要尽量做到与业务相关,且容易区分数据划分规则。

  随着hadoop技术成熟,出现了数据湖的概念,数据湖的出现我认为标志这hadoop是走向商业化成熟的标志,企业可以基于hadoop构建数据湖,将数据作为企业核心资产。

  接下来如何让数据的加工能够像流水线一样作业,大数据平台的概念就被提出来了,就是为了提升研发的效率,降低数据研发的门槛,让数据像流水线一样被加工。

  大数据平台服务的对象是数据研发人员,可分为数据集成、数据模型开发、数据测试、数据运维,底层是以HADOOP为代表的大数据框架,包含,存储、计算、资源调配(HDFS、MapReduce、yarn)。

  大数据平台就像流水线设备,数据就是被加工的内容,最后产出指标,呈现在各BI或其他的数据产品中,随着经济、业务快速增长,业务人员也对数据采集响应要求变快,数据指标共享也逐渐变多,逐渐又出现了数据中台概念。

  数据中台也是一样的道理,先说下大部分企业数据的痛点:烟囱式的业务发展模式,导致数据也是烟囱式的发展,数据是割裂的,导致大量的重复开发、计算、从而导致研发效率的浪费、计算存储资源的浪费,大数据的应用成本也越来越高,比如本人所在公司每年投入的硬件资源都是过亿,同时这种带来的还有不同数据应用平台展示相同指标的结果会不一致。为了解决这些问题,数据中台的价值也就出来了。

  最后可以看出,数据中台是构建数据湖之上,具备数据湖能够处理多样化结构的数据计算、存储能力;数据中台依赖于hadoop大数据平台,数据中台比大数据平台增加了数据治理和数据服务的内容;数据中台借鉴了传统数据数据仓库面向主题的数据建模理论,构建统一的数据共享层。

  保险行业的队伍管理的增员场景看,主管要促进自己的团队架构裂变就需要进行增员,在这个过程中主管需要分析哪些人适合增员,增员的成功通常需要满足哪些条件,每日还要对代理人的增员进行效果追踪。要做这些分析就要用到代理人的行为和业绩数据,同时还要有标杆案例数据,通常这些数据都存放在不同的数据库里面,并且要以日的频率提供数据到页面上进行展示。

  传统数据处理逻辑:各业务系统对数据进行加工处理,然后将结果提供给报表平台进行展示,但这个会出现,A报表和B报表对于相同的指标可能指标结果不一致,并且各系统之间指标重复计算。

  数据中台是把各业务系统的增员数据进行汇报,然后统一做数据清洗,加工建模,最后以API接口形式提供结果给应用系统在不同的页面进行展示。既避免了重复计算,也提升了开发效率,还提供数据共享,同时也保证了数据的一致性。

  从面向开发角度看:数据中台可以提供开发血缘关系分析和指标、标签字典,开发通过血缘关系、指标、标签字典查询可以快速掌握数据结构,了解业务数据的逻辑。

  从面向业务角度看:通过数据中台可以产出数据资产目录及报告,让数据资产以可视化形式展示,管理层了解公司数据情况,例如:公司数据资产目录,每个部门对数据的使用情况,最核心资产是哪块。通常都会有一个数据资产管理平台去承载。

  首先公司是否有大量的数据应用场景,数据中台自身是不能直接产生业务价值,本质是快速支持数据应用,当企划有较多的数据应用场景时就考虑;

  其次,公司业务经历过一轮野蛮式快速扩展,产生大量的数据,存在较多的业务数据孤岛米乐·M6(China)官方网站,需要整合各业务系统的数据,进行关联分析;

  业务对数据的需求有明显提升,数据采集要求高,指标准确性,开发团队面临大量的数据开发、数据质量、数据效率、数据成本等问题;

搜索

xml地图|txt地图 |html地图