2000字范文,分享全网优秀范文,学习好帮手!
2000字范文 > 大数据时代的背景与变化

大数据时代的背景与变化

时间:2023-09-19 01:38:51

相关推荐

大数据时代的背景与变化

怎么我们就进入了大数据时代?

首先,在技术上由于摩尔定律的存在使得相同性能的计算机设备变的便宜并且将越来越便宜;其次,互联网技术的发展使得企业和普通民众在使用计算机时获得了极大的便利;第三,一大波从事互联网领域的企业获得了巨大的成功,这使得各国政府大力推行计算机与互联网的发展。以上三点基本形成了一个良性循环:性能相同的产品越来越便宜->更多人使用->更多政策,由于互联网的便利性,使得越来越多的线下服务转化为线上服务,公司可以接收到的数据越来越多。但仅仅是数据多并不能使我们进入大数据时代,因为面对人类史上前所未有的大量数据,以现有的计算机性能我们无法处理,或者处理的代价让大多数公司无法承受。直到谷歌的历史性的三篇论文出现,一举解决了分布式存储、分布式计算、分布式查询的问题,通过将大量廉价的普通x86机器连接成一个超级计算中心,可以在极短的时间内快速处理企业接收到的大量数据,这催生了一大批企业利用大量的数据,将传统的企业运营方式进行颠覆,使得企业从靠人力决策到靠数据决策,这意味着更少的决策失误和更大的利润,而对于普通民众而言则能享受到更好的服务质量和办事效率,由于现在大量的企业决策与服务提供需要依靠大数据技术支撑,并且大数据带来的经济效益已经大于开发成本,于是我们称现在进入了大数据时代。

大数据技术解决了哪些痛点?

传统技术在面临大数据时会面临单点故障机器性能问题,单点故障的一般解决方案事通过冗余来解决,比如做一个或几个备份,一台机器故障了就切换到另一台,但始终是一个任务跑在一台机器上,这时机器的物理性能就成了瓶颈,只能提高机器的性能,但目前单台机器的性能总是有限的,不可能处理所有的任务,并且容错率太低,如果任务在一台机器失败又需要在另一台机器重新执行,并且高性能的机器价格昂贵,一般企业难以承受。现有的大数据技术都是在谷歌的三大论文基础上发展而来,其中 Google File System 解决了海量数据的存储问题,Google MapReduce 解决了海量数据的计算问题,Google Bigtable 解决了海量数据的查询问题。这些技术采用分而治之的思想将一份文件或一个任务拆成了多个小文件或多个子任务,利用多台普通服务器进行处理。如同一头能拉10吨的牛找不到,找100个普通的牛来拉总是可以的,并且这些普通的牛越来越便宜。

大数据技术用来做了什么?

大数据技术做的大部分依然是增删改查的事情,相对于传统的技术,大数据技术只是面对的数据量更大,响应速度更快;由于拥有更多的数据和更快的处理速度,像一些复杂的数学模型和实时流事件因此能够达到可用的级别。

大数据到底改变了什么?

先举一个例子,抛出一枚硬币是正面的理论概率是0.5,但你抛3次5次有可能正面的概率是0.75或者是1,但是如果你抛出1万次那得出的概率将会逼近0.5,如果你抛出1亿次那么得出的概率将无限逼近理论值。大数据就是超大量的样本,在超大量的样本中利用统计学等数学模型就能够得出符合现实规律的事实,例如,一个人买了《三体》后又买了某牌的啤酒,这是看起来是个人的随机事件,但是如果有1万个人在买了《三体》后都买了某牌的啤酒,那这还是一个随机事件吗?这会不会是人类群体特征的某种规律?如果你买了《三体》,商家将这个品牌的啤酒推荐给你,获得额外利润的机会将大大增加。那大数据给普通民众带来了怎样的好处呢?如在信用体系的建立方面,支付宝通过你在网上大量的行为数据,评估了个人的信用值,凭借这个信用值我们在使用如共享单车、共享汽车等服务时可以免押金。还有在出行方面,现在的地图大数据应用可以实时的分析大量的道路信息反馈给用户,对城市交通进行实时调度,减少了事故发生和堵塞问题。如果没有成熟的大数据技术体系,凭借传统的分析软件,将不可能做到这些。

本内容不代表本网观点和政治立场,如有侵犯你的权益请联系我们处理。
网友评论
网友评论仅供其表达个人看法,并不表明网站立场。