EB还不是最大的。目前全人类的数据量,是ZB级。
1 ZB = 1024 EB (ZB - zettabyte)
2011年,全球被创建和复制的数据总量是1.8ZB。
而到2020年,全球电子设备存储的数据,将达到35ZB。如果建一个机房来存储这些数据,那么,这个机房的面积将比42个鸟巢体育场还大。
数据量不仅大,增长还很快——每年增长50%。也就是说,每两年就会增长一倍。
目前的大数据应用,还没有达到ZB级,主要集中在PB/EB级别。
大数据的级别定位
1 KB = 1024 B (KB - kilobyte)
1 MB = 1024 KB (MB - megabyte)
1 GB = 1024 MB (GB - gigabyte)
1 TB = 1024 GB (TB - terabyte)
1 PB = 1024 TB (PB - petabyte)
1 EB = 1024 PB (EB - exabyte)
1 ZB = 1024 EB (ZB - zettabyte)
数据的来源
数据的增长,为什么会如此之快?
说到这里,就要回顾一下人类社会数据产生的几个重要阶段。
大致来说,是三个重要的阶段。
第一个阶段,就是计算机被发明之后的阶段。尤其是数据库被发明之后,使得数据管理的复杂度大大降低。各行各业开始产生了数据,从而被记录在数据库中。这时的数据,以结构化数据为主(待会解释什么是“结构化数据”)。数据的产生方式,也是被动的。
第二个阶段,是伴随着互联网2.0时代出现的。互联网2.0的最重要标志,就是用户原创内容。随着互联网和移动通信设备的普及,人们开始使用博客、facebook、youtube这样的社交网络,从而主动产生了大量的数据。
第三个阶段,是感知式系统阶段。随着物联网的发展,各种各样的感知层节点开始自动产生大量的数据,例如遍布世界各个角落的传感器、摄像头。
经过了“被动-主动-自动”这三个阶段的发展,最终导致了人类数据总量的极速膨胀。
大数据的4Vs
行业里对大数据的特点,概括为4个V。前面所说的庞大数据体量,就是Volume(海量化)。除了Volume之外,剩下三个,分别是Variety、Velocity、Value。
我们一个一个来介绍。
Variety(多样化)
数据的形式是多种多样的,包括数字(价格、交易数据、体重、人数等)、文本(邮件、网页等)、图像、音频、视频、位置信息(经纬度、海拔等),等等,都是数据。
数据又分为结构化数据和非结构化数据。
从名字可以看出,结构化数据,是指可以用预先定义的数据模型表述,或者,可以存入关系型数据库的数据。
例如,一个班级所有人的年龄、一个超市所有商品的价格,这些都是结构化数据。
而网页文章、邮件内容、图像、音频、视频等,都属于非结构话数据。
在互联网领域里,非结构化数据的占比已经超过整个数据量的80%。
大数据,就符合这样的特点:数据形式多样化,且非结构化数据占比高。
Velocity(时效性)
大数据还有一个特点,那就是时效性。从数据的生成到消耗,时间窗口非常小。数据的变化速率,还有处理过程,越来越快。例如变化速率,从以前的按天变化,变成现在的按秒甚至毫秒变化。
我们还是用数字来说话:
就在刚刚过去的这一分钟,数据世界里发生了什么?
Email:2.04亿封被发出
Google:200万次搜索请求被提交
Youtube:2880分钟的视频被上传
Facebook:69.5万条状态被更新
Twitter:98000条推送被发出
12306:1840张车票被卖出
……
怎么样?是不是瞬息万变?
Value(价值密度)
最后一个特点,就是价值密度。
大数据的数据量很大,但随之带来的,就是价值密度很低,数据中真正有价值的,只是其中的很少一部分。
例如通过监控视频寻找犯罪分子的相貌,也许几TB的视频文件,真正有价值的,只有几秒钟。
2014年美国波士顿爆炸案,现场调取了10TB的监控数据(包括移动基站的通讯记录,附近商店、加油站、报摊的监控录像以及志愿者提供的影像资料),最终找到了嫌疑犯的一张照片。
大数据的价值
刚才说到价值密度,也就说到了大数据的核心本质,那就是价值。
人类提出大数据、研究大数据的主要目的,就是为了挖掘大数据里面的价值。
大数据,究竟有什么价值?
早在1980年,著名未来学家阿尔文·托夫勒在他的著作《第三次浪潮》中,就明确提出:“数据就是财富”,并且,将大数据称为“第三次浪潮的华彩乐章”。
第一次浪潮:农业阶段,约1万年前开始
第二次浪潮:工业阶段,17世纪末开始
第三次浪潮:信息化阶段,20世纪50年代后期开始
进入21世纪之后,随着前面所说的第二第三阶段的发展,移动互联网崛起,存储能力和云计算能力飞跃,大数据开始落地,也引起了越来越多的重视。
2012年的世界经济论坛指出:“数据已经成为一种新的经济资产类别,就像货币和黄金一样”。这无疑将大数据的价值推到了前所未有的高度层面上。
如今,大数据应用开始走进我们的生活,影响我们的衣食住行。
滴滴的大数据杀熟,相信大家都有所耳闻
之所以大数据会有这么快的发展,就是因为越来越多的行业和企业,开始认识到大数据的价值,开始试图参与挖掘大数据的价值。
归纳来说,大数据的价值主要来自于两个方面:
1 帮助企业了解用户
大数据通过相关性分析,将客户和产品、服务进行关系串联,对用户的偏好进行定位,从而提供更精准、更有导向性的产品和服务,提升销售业绩。
本文地址:百科知识频道 https://www.neebe.cn/zhishi/907039_2.html,易企推百科一个免费的知识分享平台,本站部分文章来网络分享,本着互联网分享的精神,如有涉及到您的权益,请联系我们删除,谢谢!