|
为了深入落实国家大数据战略，推动大数据产业交流与合作，展示我国大数据产业最新发展成果，2019年6月4日至5日，由中国信息通信研究院、中国通信标准化协会主办，大数据技术标准推进委员会承办的2019大数据产业峰会在北京国际会议中心隆重举办。 会上，来自工业和信息化部的领导，我国众多优秀大数据领域服务商、行业应用客户、研究机构、地方大数据主管机构的领导和专家，将对大数据政策、产业、技术的现状与趋势等内容进行交流探讨。 来自数梦工场大数据产品线总经理章海锋为我们带来了《数据资产管理挑战与实践》的精彩演讲。
各位来宾大家下午好，数梦工场是一家提供专业大数据软件产品和服务的一家公司，我们自己本身不产生数据，我们所做的事情是帮助客户做数据治理、数据管理上的工作。 我们在大量的行业实践中发现，公安、电力有大量数据的场景，数据集成的过程中存在着一些大的挑战。这里有一个国网省公司，有13万张表，要做数据同步集成，2万张表要做实时增量同步。这个过程中面临着非常大的挑战，是性能问题。我们发现产品上去以后，相对于效果的提升是非常明显的。原来一家国外公司提供的软件，在一个场景里需要耗费22小时，用我们的软件上去之后把时间降低了2小时，解决了客户长时间等待的问题。 特别是有大量的多元异构数据集成的情况，现在很多地方的客户看到，是多种软件加多种定制脚本的方式来做数据的集成。碰到的问题，除了难以满足数据稳定供应的挑战，对后期运维也带来了很大的问题。因此我们自研，做了全分布式集成系统结果，上午我的同事也进行了相关的分享。 数据标准化是数据资产管理里面碰到的非常大的挑战，大数据场景里大量数据要做标准化工作，对人力的消耗，对大数据平台开发人才的短缺困难上来说，会带来大量的人工投入的问题。数梦工场基于在政务领域的积累，我们把AI技术和大数据能力，以及在行业的一些积累，行业的知识融到一起，产生了非常好的效果，这是我们实践的案例，省级综合人口库的建设。我们从原来30人月的时间，降低到了10人天。我这里有一个论点，智能化将成为助力数据中台建设非常重要的方向。 海量数据的加工处理类似于大型自动化加工生产流水线，一旦出了问题，如何快速定位？源头数据变化，如何及时评估出来对下游业务的影响，我们提供全自动、全链路的数据血缘技术，精准的辅助数据问题的定位以及影响的分析。 特别是在政务领域有大量的实践，海量数据上来，大数据平台要做数据资产管理、数据治理，很大的问题是大数据人才的短缺。目前我们看到的是在大数据场景下，要做海量数据的处理与基于大数据平台开发是一个矛盾，我们就有了智能编排数据清洗。一方面对从业人员技能要求有所降低，另外带来的好处是，对底层大数据计算资源的消耗也会有明显的降低，使得效率提升的同时，得到这样一些好处。 其他的内容我们同事在上午也进行了分享，我就补充这些内容，谢谢大家。 |
