首页 资讯 关注 科技 财经 汽车 房产 图片 视频 全国 福建

国内

旗下栏目: 国际 国内 时局 热评

李广乾:小数据的大价值

来源:网络整理 作者:采集侠 人气: 发布时间:2019-07-22
摘要:12月13日,2018数据资产管理大会在北京国家会议中心举行,大会由中国信息通信研究院、中国通信标准化协会(CCSA)主办,CCSA TC601大数据技术标准推进委员会承办

12月13日,2018数据资产管理大会在北京国家会议中心举行,大会由中国信息通信研究院、中国通信标准化协会(CCSA)主办,CCSA TC601大数据技术标准推进委员会承办,中国IDC圈协办。国务院发展研究中心李广乾发表了题为“小数据的大价值”的演讲。

1544672126589

大数据的日益普及,人们会问,小数据是什么? 几个方面;一个是介绍一下背景,第二介绍小数据到底有哪些属性,第三小数据与元数据、主数据有什么关系,第四小数据对于我国大数据产业管理有哪些政策含义。

目前,人们所处的背景跟大数据的发展有密切的关系,大数据这个词也已经提了很多年了,特别是美国在2013年奥巴马总统颁布大数据的研发计划以后,对全世界的大数据产业发展起了巨大的推动作用,所以我国也在2015年发布了促进大数据发展的行动纲要。

为了贯彻“行动纲要”,国家也出台了很多的政策措施,地方也成立了相应的大数据的管理机构,近几年,从国家围绕促进大数据发展所制定的一些重大的政策文件,来看,大数据已经提到了国家发展的战略层面,但这些文件里面找不到小数据,尽管一些文章或者一些报道、一些专家的说法里面会经常提到小数据,但没有一个合适的界定,所以我觉得讨论小数据其实是很有重要的意义的,特别是小数据跟我们原来的信息资源管理或者信息资源开发利用这些概念和政策有什么关系,因为大数据好像是一个突然来到的概念,而且人们似乎觉得大数据是万能的,可以解决一切数据处理的问题。小数据又到底起什么作用呢?所以这应该是我们讨论这个问题的关键出发点。

认识小数据必须解决几个问题,一个是现在大家的说法我做了一些收集,有三种典型观点,第一是小数据指零星的弱信号,第二是小数据是指结构化的采样数据,从采样来看一般是抽取1-2%或者5%的小样数据来做整理和评判,另外还有一种小数据是指数据容量比较小的那些数据。但是我觉得这些说法对于我们认识大数据仍然不足以作为一个理论化的概念或者体系去构建。我觉得要讨论小数据必须明确三个前提:一是人们采集、加工海量数据的时候,通常都是具有某种特定目的;二是要体现某种价值,数据本身必须能够表述一个完整的信息;三是完整的信息应该包含明确的主体、客体和行为。这是构建小数据的时候首先必须具备的一个基本的前提。

我们把数据、信息、知识和智慧包括决策分为四个层次,每一个层次有一个递进关系,数据是基础,随着人们对小数据的认识,或者对于主数据、元数据的认识,人们觉得应该有所改变,怎么改变,能够把小数据和业务发展本体论结合到一起的话,也许有所变化。

基于这个认识,小数据的属性有一个基本的界定,与数据容量没有关系,自身应该包含特定意义,应该是一种结构化的数据,是对于大数据的数据之间关系的宏观描述,还有小数据与大数据是紧密联系在一起的,如影随形,是整个大数据的一个部分。从这个角度出发对小数据做一个定义,所谓小数据就是指描述并管理大数据的数据属性的数据,这是对小数据的一个定义。

这个定义之下,李广乾对小数据有一个分类,是关于特定类型的大数据的数据属性的数据,描述大数据中所包含主体客体的基本特征的管理数据,描述大数据中的行为过程的数据。对于第二类中可以分两种,一种是对于大数据中所包含的主体、客体的一般属性的规定,第二满足某类主客体属性的所有对象的数据。这里对小数据做了基本的界定,基本上把我们对于小数据的认识说清楚。小数据到底在认识上应该有哪些现有的技术或者说认识的框架,这个跟现在有什么关系?李广乾对这些类型做了划分,李广乾对小数据划分了三大类,其中有一类分两小类,但可以再做细分,可以分为元数据和主数据两种类型。第一类和第三类以及第二类的第一类的小类应该是一种元数据的范畴,第二类的第二个小类实际上是一种主数据,虽然如果从这个角度讲,认识小数据的时候,其实可以应用现有的对于数据管理的一些比较成熟的技术的方法去界定、认识。

为了进一步细分小数据具体的内涵,我们来看看元数据,元数据是认识很久的一个概念,最初是从图书馆管理学过来的,现在随着计算机系统的发展,主要应用在系统的日志管理以及各方面的应用,现在元数据得到了各行各业普遍的应用,我从《DAMA国际》2009年版说起,现在有新版,我对此做了概括,将元数据的领域分为16个方面,从这16个方面来看,其实我们每一个行业都可以用元数据的思路去做相应的界定,同时元数据类型分为业务元数据、技术操作元数据、流程元数据和数据管理制度的元数据,从属性来看元数据包括各行各业、各个领域、各个方面,每一个信息系统里面都存在着一个元数据的建设问题。

主数据这几年是一个概念,主数据也有国际标准ISO8000,DAMA国际在走出去的建设推广方面做了很多的理论,也出版了DAMA国际的主数据是一个重要的内容。我原来在2009年的时候做国家标准化,当时特别关注到我人认识基础信息资源主数据是认识的基本工具,李广乾对主数据做了一个研究。

谈到主数据定义,李广乾在2009年的时候做了自己的定义,他这个概念能够比较准确地界定主数据的科学的内涵,把主数据定义为满足跨部门业务协同需要的,反映核心业务实体状态属性的企业状态属性企业的基础信息,主数据在政府部门和企业认识有不同的做法,不同的行业有不同的主数据的认识的要求,只要觉得在业务属性上有必要把它当成基础数据来看,特别是满足主数据的特点就可以把它当成主数据来管理,这是对于行业的认识。

主数据对于其他数据的关系,李广乾做了一个划分,业务数据就是办业务留下的数据的信息记录都算业务数据,包括主数据和交易数据,交易数据是每次去做什么事情的时候特定的法定的依据产生的过程的记录,这是李广乾对这些数据之间的关系的认识。

在大数据中,小数据是非常重要的一个内容,要正确地认识大数据就必须把小数据认识清楚,认清小数据,对大数据才有科学、合理的、正确的认识,所以小数据对认识大数据是一个基础。今后对我国来说,为了促进大数据产业发展,应该充分地借鉴应用小数据的一种基本的理论框架,深化对于大数据产业的管理或者说应用。

下一步,小数据从政策上来讲应该怎么做,对于大数据的发展,首先应该深化小数据的认识,这应该从数据属性、知识管理和数据架构等方面对于小数据进行专题研究,特别是要把小数据的建设纳入我们大数据的产业发展的话语体系当中去。第二是加强宣传,克服当前对大数据不合理的观念,现在大数据发展以后很多基层的民众对它认识不清楚,对专业人士来说也存在很多困惑,因为觉得已有的大数据跟平常的工作没关系,只要用了大数据的系统,这个数据的管理、决策全包了,但是其实这是一个假象。

责任编辑:采集侠

最火资讯

首页 | 资讯 | 关注 | 科技 | 财经 | 汽车 | 房产 | 图片 | 视频 | 全国 | 福建

Copyright © 2015 新闻资讯门户站 版权所有

电脑版 | 移动版