搭建网站 软件下载,网站建设客户需求,德州网站开发公司,网站建设的客户怎么找简介#xff1a; 10月19日#xff0c;在2021年云栖大会上#xff0c;阿里云重磅发布DataWorks全链路数据治理产品体系#xff0c;基于数据仓库#xff0c;数据湖、湖仓一体等多种大数据架构#xff0c;DataWorks帮助企业治理内部不断上涨的“数据悬河”#xff0c;释放企…简介 10月19日在2021年云栖大会上阿里云重磅发布DataWorks全链路数据治理产品体系基于数据仓库数据湖、湖仓一体等多种大数据架构DataWorks帮助企业治理内部不断上涨的“数据悬河”释放企业的数据生产力。 阿里巴巴集团副总裁 阿里云智能计算平台事业部高级研究员贾扬清现场分享
“当数据量变得越来越大单位数据的价值会变得越来越小全链路数据治理让数据从低质低效向高质高效流动。”
阿里巴巴集团副总裁阿里云智能计算平台事业部高级研究员贾扬清在现场表示。黄河泥沙的淤积使河床不断抬高形成了河高于地平面的“地上悬河”在河南开封最高的悬河达到10米并且河床每年都会以10厘米的速度增高而随之而来的两边的堤坝也在不断地增高。在企业的数字化转型中数据量变得越来越大机器变得越来越多团队变得越来越大数字化转型真的变得越来越好吗对于企业来说表象的繁荣不代表未来不会发生一场“洪水”。在阿里巴巴双11已经成为了日常2021年大数据计算服务MaxCompute的日常数据处理的水位线已经超过2020年双11的峰值不断增长的数据量已经造成了极大的成本与效率的压力。
机器的效率人的效率数据的效率
面对每年如此膨胀的数据阿里巴巴的解法是通过大数据AI一体化平台的能力让数据效率成为企业的核心指标。在机器的效率层面MaxCompute作为离线数仓单日数据处理量已经达到1.7EB但是除了数据量更应该关注的是MaxCompute仅用10%的机器增长就支撑了75%的数据量增长。这里面是MaxCompute在底层的存储和性能不断地追求极致的优化并且连续5年打破TPCx-BigBench 100TB规模性能世界记录。同时Hologres作为实时数仓峰值每秒写入5.96亿条单表存储高达2.5PB基于万亿级数据对外提供多维分析和服务99.99%的查询可以在80ms以内返回结果。Hologres与MaxCompute组成离线、实时、分析、服务一体化的数据仓库从底层就极大地简化了大数据架构的复杂度。机器层面的效率往往容易被衡量但是人的效率却很难被量化。DataWorks从2009年开始成为阿里巴巴集团统一的大数据开发治理平台完成阿里巴巴数据中台的搭建。对一个平台的完善性与易用性用户往往会用脚投票。目前在DataWorks上构建的大规模协同数据中台的每日活跃用户数已经超过5万平均每3个阿里巴巴员工就有1个在使用DataWorks服务阿里巴巴内部几乎所有部门沉淀的全链路数据治理核心能力超过数百项。FY2020阿里巴巴通过数据治理的综合收益超过10亿元可以说大数据开发治理平台DataWorks与计算引擎MaxCompute、Hologres组成了大数据架构下的“Wintel联盟”共同提高企业数据的效率。 建设经验从小作坊到大平台到敏捷制造
数据治理也好、数据中台也好从来也不是一个从象牙塔里想出来的产品而是经过很多年磨出来的。阿里巴巴的数字化转型也经历过刀耕火种的年代每个业务团队维护多套Hadoop集群像一个个小作坊有什么用什么需要什么加什么各种技术组件像搭积木一样逐渐堆砌起来。而在这个过程中经常会非常痛苦平台发布了一个新的功能不知道什么原因把另一个组件搞挂了然后技术人员花很长时间去排查另一个组件有什么问题修复了一个组件发布了一下又把另一个搞挂了问题不断冒出就像“按下葫芦浮起瓢”好像永远没有尽头。于是阿里巴巴开始轰轰烈烈的平台统一计划搭建起了大平台把开源的架构改成自研的架构数据逐渐都迁移到MaxCompute上。这个时候数据中台的概念也开始在集团内推广逐渐将3个ONE的数据中台方法论落地到DataWorks完成了阿里巴巴整个数据中台的搭建。至此从核心的电商天猫淘宝到饿了么、优酷、盒马等各个业务团队都在同一套大平台上进行一站式的协同数据开发。但是随着大平台的普及使用的人数越来越多数据的治理也会越变得更加复杂。在不断产生成千上万张表中企业无法知道有多少条不规范的语句像白蚁一样正在消耗大量的计算资源有多少张表正在重复地被复制制造表象的“数据繁荣”有多少脏数据在不断生产污染数据的质量有多少张表正在被不断申请权限使用面临数据安全的风险。这些问题都对大平台提出了严峻的挑战。于是大平台逐渐往敏捷制造不断演进通过全链路的数据治理能力以全局的视角进行管控并同时实现数据的决策的下放。 DataWorks全链路数据治理新品发布
2021云栖大会全链路数据治理峰会DataWorks在十二年积累的数百项数据开发治理能力之上重磅发布全链路数据治理系列新品。
数据治理中心
数据治理对于企业的大数据团队不单是一个技术问题更是组织和管理问题。对于整个组织来说如何来衡量数据治理最终的效果如何更好地发挥组织的主动性在一些企业当中会成立了专门的数据委员会制定一些数据治理的规范但是发现平台并不能很好地支持这些规范又或者说企业购买了一个数据平台但是却不知道如何通过平台来完成数据治理的工作。在阿里巴巴内部经常会参考一个健康分的概念从组织设计上数据委员会下面有平台团队业务团队以及风控、财务等协同团队。那对于某个业务团队来说会制定一个今年的目标比如说把健康分从80分提升为90分从计算、存储等方面入手不单从业务侧、生产侧开展治理优化工作有需求也会提给数据平台团队对引擎和数据平台产品进行优化演进大家一起朝这个目标努力。组织有了可测量的方式这些部门就可以把这些数字放到自己的目标里去。同时各类的数据治理战役各个团队的比武等等长效的运营工作也可以通过健康分做不断地延展达到组织数据协同的目的发挥数据治理组织的主动性。 DataWorks全新发布的数据治理中心针对企业计算、存储、研发、质量、安全五个方面形成企业数据治理健康分以问题驱动的理念覆盖事前、事中、事后的全链路主动式数据治理和数据治理健康度评估。企业的数据治理不再一个 “阶段性项目”而是一个“可持续的运营项目”。 智能数据建模
企业建了一个平台做了很多规范治理对于业务人员的价值到底是什么省了多少成本治理了多少问题对于业务人员相对是无感的。业务方只希望更快地拿到想要的数据于是原先的数据仓库建设方式更多的是自底向上小步快跑快速满足需求为先。而如今的全链路数据治理让数据仓库的建设向规范化可持续发展方向演进强调面向业务视角自顶向下进行规范建模与面向开发视角自底向上构建数仓双管齐下。 DataWorks全新发布智能数据建模沉淀阿里巴巴数据中台建设方法论从数仓规划、数据标准、维度建模、数据指标四个方面以业务视角对业务的数据业务进行诠释。智能数据建模支持快速数据建模包含正向建模与逆向建模提供分钟级的模型创建能力。同时打通数据开发可以直接将数据模型发布到多个引擎一键生成质量规则直接发布表并自动生成ETL简代码。企业的业务人员可以方便地了解数据全貌快速获取所需的数据指标以及基于数据模型进行数据分析和探查企业内所有的员⼯可以实现“数同⽂”的快速理解与流通让数据决策可以实现真正有效的下放 盒马鲜生通过DataWorks智能数据建模落地新零售行业数据模型Rex-LDM
同时现场还发布了DataWorks数据集成实时同步能力、智能数据查询、隐私安全计算、DataWorks开放平台、数据作业迁云工具与迁云专家服务等多项功能。 中国信通院在2021年9月发布的《全球数字经济白皮书》报道去年我国的数字经济规模已经达到5.4万亿美元占比GDP近1/3。在数字经济时代数据已经成为关键生产要素就像在农业经济时代和工业经济时代中土地、劳动力是关键的生产要素。DataWorks通过智能数据建模、全域数据集成、高效数据生产、主动数据管理、全面数据安全、快速数据服务六大全链路数据治理的能力承载千行百业数字化转型的可能。目前DataWorks已经在数字政府、新金融、新零售、能源、工业、交通、游戏、教育、数字营销等行业落地数千家客户。
国家电网大数据中心通过DataWorks实现总部27家省市公司PB级数据的统一管理通过全链路数据中台的治理与监测运营体系加快电网整体数字化转型升级。
创梦天地基于开源的EMR引擎用DataWorks替换自研调度系统企业内部的技术人员可以更加专注业务助力游戏行业的数据化运营。
亿滋中国通过DataWorks智能数据建模进行全链路的数据模型治理极大提升数据中台的自服务能⼒让企业数据决策实现下放释放新零售的数字化力量。 企业数字化转型正在进入的深水区“数据悬河”将逐渐成为企业的“达摩克斯之剑”阿里云正在与各行各业的客户与合作伙伴一起通过全链路数据治理管得好数据、用得好数据让数据向先进生产力集聚
原文链接 本文为阿里云原创内容未经允许不得转载。
