加强大数据融合创新,提升数字赋能效率
【慧聪通信网】数字经济已成为引领经济社会增长的新引擎,数智化转型越来越成为各行各业新的浪潮。数据作为驱动数字经济创新的重要元素,将物理世界映射到数字世界中,并借助数字世界中的庞大算力消弭信息的时空局限,将数据生产力充分激发。目前,数据正在从资源向资产、资本转化,深刻影响着全球科技创新、产业结构调整和经济社会发展,为人类的科学研究活动带来“第四范式”,使人类认识世界、改造世界的实践转换到新的空间,深刻变革生产方式和创造过程。
数据成为新的生产要素,推动数字经济发展
经过多年的发展,大数据已经渗透到经济社会的各个角落,广泛触及国家治理、企业运营管理、人民生活的方方面面,推动形成了自上而下的大数据战略思维。
在国家层面,世界各国家纷纷将大数据发展上升到国家战略高度。在中国,2015年党的十八届五中全会提出要实施“国家大数据战略”,这是大数据第一次写入党的全会决议,标志着大数据战略正式上升为国家战略。国家“十四五”规划明确提出要加快数字化发展,并且作出了系统性全面部署。在此背景下,政府机关在公共安全管理、城市“智慧大脑”、疫情防控等各领域进行了诸多探索。2022年“两会”期间,政府工作报告提出“加强数字政府建设,推动政务数据共享”,进一步将数字政府建设工作送入“快车道”。
在企业层面,越来越多拥有海量数据的企业积极投入到大数据技术研发中。许多企业意识到数据的资产特质,于是纷纷构建大数据基础设施,在沉淀数据资源的基础上将数据资产价值最大化。其中,拥有海量数据的电信运营商在大数据资源和资产的沉淀方面具备天然优势,在推动大数据产业发展、创造数字经济新价值方面占据举足轻重的地位。以中国移动为例,在对内支撑市场营销、客户服务、网络运维、运营管理等方面,大数据不断为传统业务提供数字化新动力;在对外拓展方面,大数据作为行业信息化解决方案的重要组成部分,在跨行业赋能方面正逐步成为异业合作的重要手段,例如借助运营商数据助力拓展DICT项目,助力人口疏解、城市规划等政府管理,助力旅游景区精准管理、精细化运营,支撑疫情防控和复工复产等。
紧跟时代创新浪潮,大数据技术不断取得新发展
大数据的发展离不开关键技术研究和应用实践创新。以中国移动为例,大数据经历了3个创新发展阶段。
第一个阶段,技术普遍采用数据仓库技术。数据规模在数百TB到PB级别,且以结构化数据和批处理为主。应用上主要以支撑科学决策、精准营销与内部服务为主。
第二个阶段,技术上以Hadoop体系为主。数据规模在数百PB到EB级,数据涵盖结构化数据、半结构化数据和非结构化数据。作业涉及批处理、流处理、实时分析等多种场景。此时的大数据不仅在赋能企业内部生产经营方面取得了良好的成效,同时也开始了外部行业应用的探索。
第三阶段,基于算力网络构建物理分布、逻辑统一的分布式多中心协同计算平台和数据服务网络,利用隐私计算、多方安全计算等技术与千行百业连接,形成跨行业数据联邦。数据要素的深度融合创新成为此阶段发展趋势,大数据必须与5G、IoT、AI等新技术进行深度融合,才能在更大范围、更高层次、更深程度发挥作用,助力中国移动向信息服务领域不断延伸,为千行百业数字化转型注智赋能。
提升大数据赋能效率,适应经济社会发展需求
未来的数字生态将是各个企业和行业广泛连接的经济形态,企业级的大数据平台还要与产业生态接轨,以进一步促进数据要素畅通流动,推动构建稳定高效产业链,提高治理效能,打造繁荣有序的数字产业生态。为激发数据要素潜能,中国移动充分发挥海量数据和丰富应用场景优势,打造“梧桐大数据”品牌,以“共建共享”为理念,锻造统一的数据服务能力,通过PaaS、DaaS和SaaS三大服务模式,向外输送高价值数据资产,灵活支撑多样化用户需求,构筑“开放、合作、协同、共赢”的数字生态,赋能行业合作伙伴高质量发展。为此,中国移动聚焦以下3方面工作,进一步提升大数据赋能效率。
一是持续提升大数据治理水平
丰富、高质量、可服务的数据是大数据发展的根基,而数据的准确性和完整性、标准化程度将影响价值的发挥。随着数据赋能范围的日益扩展,数据治理工作不断面临新的挑战。
一方面,数据的多样化对数据治理手段提出了更高要求。随着数据采集能力的提高,数据规模持续增长,数据整合的广度、深度与时效性也不断得以拓展。从广度看,数据整合范围从部门级、企业级向跨企业、跨行业发展;从深度看,数据量呈爆发式增长,数据维度扩展到百万、千万级;从时效性看,数据事件从按月、按周变化到无时不变。数据整合的量变促进数据治理手段必然由传统人工治理,向元数据驱动的智能化自动治理转变。
另一方面,参与方的多元化对数据治理的端到端能力提出了更高要求。参与方由原来的数据生产者、消费者(或两者合一),扩展至包括生产方、消费方、加工方、交易方、管理方、产品方、咨询方等在内的多专业角色。参与方的增多带来数据服务链条增长和技术体系多样化等问题。为降低应用复杂性,数据服务模式需要从定制化、高耦合的SaaS,向多层次、低耦合的PaaS及DaaS等轻量级模式发展。同时为保证应用的有效性,数据治理能力需要从局部向全局、从内部向外部扩展,并从定性向定量演进。
数据要素所支持的数智生产力正在经历规模化、泛在化的快速发展期。为使数据要素充分发挥倍增和放大价值效应,必须持续提升数据治理水平,解决数据运营规模化、复杂性问题。
二是持续提升大数据技术水平
如果将大数据比作石油,大数据应用比作石油制成品,那么大数据处理技术就是油田勘探、钻井开采、炼油加工技术。如何低成本、高效、规模化地完成数据采集、加工处理、分析挖掘和服务调用,以满足各参与方多种多样的数据需求和使用场景,是能否充分发挥数据价值的关键。
尽管近几年来大数据处理能力已从PB级发展到EB级,实现了飞跃性突破,但是随着5G、物联网等网络信息技术的快速发展以及应用的快速增长,数据量也呈指数级增长。据国际数据公司IDC报告,2020年以来全球数据存储量年增长率维持在50%左右,到2030年全球数据存储量将达到2500ZB。2022年1月,科学技术部高新技术司副司长梅建平在“第六届中国新金融高峰论坛”上表示,当前数据量已经大大超过了处理能力的上限,若信息技术仍然是渐进式发展,则数据处理能力的提升将远远落后于指数级增长的数据量。因此,数据技术的创新式、跨越式、颠覆式发展是现实需要,也势在必行。
因此,在一段时期内,数据处理能力与效率的提升仍将是大数据发展要面对的技术难点。在大数据领域,除了在数据处理的规模水平上要持续适应飞速增长的需求;还要在实时处理、流批一体等新计算模式,以及湖仓一体、存算分离、多数据中心协同计算等大数据存算架构方面不断取得技术新突破,尤其要加强原创性、颠覆性技术研究。
三是持续提升大数据服务水平和融合深度
大数据驱动大未来,大数据所蕴含的巨大机遇正在被各类型企业、机构牢牢抓住。互联网巨头更是将大数据驱动做到极致,电商的商品推荐和库存管理、物流公司的转运调度、网约车的行程规划,无一不是通过大数据计算实现资源的最优配置和效益最大化。
整体来看,大数据的应用范围仍主要在企业自身需要和基于数据关联的直接行业拓展。例如,网络运营商基于通信位置提供人口分析、旅游交通规划分析;互联网电商公司以平台为纽带,与平台上的商户点对点共享商品销售统计数据。
而跨企业、跨行业的数据深度融合应用和基于数据的生产级刚需应用,受数据确权、数据定价、隐私保护、国家安全等非技术因素,以及数据标准、质量标准、交互规范等技术因素影响,推进过程仍然存在较多阻力。数据对接复杂性、数据可信性、数据供给的实时性和连续性等问题,影响了数据要素成为一种真正的生产原料或中间产品,使其大都以“催化剂”模式与其他生产要素发生生产互动。因此降低数据服务耦合度,使数据“产品化”或“中间产品化”成为数据价值进一步提升的努力方向。
值得注意的是,成熟的大数据相关企业在实践中逐渐探索出数据服务化、产品化的经验模式。数据服务API化成为业内广泛认同的方式,其中语义最为简洁的指标、标签成为最受欢迎的数据API应用。大数据PaaS平台、联邦学习也成为跨企业、行业合作的一种重要探索路径。
另外,在理论层面,面向未来发展,“数据网络”“数据编织”“数据服务网络”等新概念被提出,进一步完善了数据要素的体系内涵。例如倪光南院士曾提出“数据网络技术”概念可用于解决异构数据融通、时效协同、强连接等问题。Gartner提出,2022年值得关注的顶级技术趋势之一是“数据编织”(Data Fabric),即在数据服务颗粒化、API化基础上,构建元数据知识图谱和人工智能驱动的数据自动集成能力,形成敏捷交付的数据产品生产力。这些新概念的提出都是面向构建一个新的、可扩展架构,实现数据要素服务解耦,实现跨平台、弹性整合的数据服务模式。
未来,随着数据权属、数据价值量化以及数据集成技术的发展,更充分的数据跨界融合以及数据与其他技术要素、生产系统的更广泛互动,将带来大数据价值发挥的又一波爆发。面对时代浪潮,中国移动也在积极跟进相关研究,打造新型大数据基础设施,不断探索实践新的服务模式与生态建设。