大数据时代读后感

《大数据时代》这本书主要描述的是大数据时代人们生活、工作与思维各方面所遇到的重大变革,并用三个部分讲述了大数据时代的思维变革、商业变革和管理变革。 第一部分提出了大数据时代处理数据理念上的三大转变:抽样=全体;要效率不要绝对精确;要相关不要因果;第二部分作者从万事万物数据化和数据的巨大价值出发,阐述数据创新是驱动各行各业在大数据时代向前发展的最根本动力;最后一部分,作者描绘了大数据应用带来的风险,包括产业生态环境、数据安全隐私、信息公正公开等问题。全文清晰的阐述了大数据的基本概念和特点,给出了作者对于大数据的明确的观点,列举和分析了微软、惠普、IBM、亚马逊、facebook、twitter、VISA等大数据先锋们的最前沿的大数据应用案例,对大数据的价值、带来的变革、角色定位及风险给予了清晰的预见,对于通讯运营商来说,非常具有价值。

一、大数据带来的思维变革

主要有如下三个思维变革:(1)要分析与某事物相关的所有数据,而不是依靠分析少量的数据样本。大数据是全数据模式,样本=总体,纷繁的数据,越多越好。在信息处理能力受限的时代,世界需要数据分析,却缺少用来分析所收集数据的工具,因此随机采样应运而生,它也可以被视为那个时代的产物。如今,计算和制表不再像过去一样困难。感应器、手机导航、网站点击和twitter被动地收集了大量数据,而计算机可以轻易地对这些数据进行处理。“样本=总体”使得我们能对数据进行深度探讨得到一些微观细节的信息,获得对某些特定子类别进行进一步研究的能力,大数据的简单算法比小数据的复杂算法更有效。(2)大数据允许不精确。大数据放松了容错的标准,人们掌握的数据也多了起来,还可以利用这些数据做更多新的事情,使得大量数据创造了更好的结果。学会接受不精确,这就是由“小数据”到“大数据”的重要转变之一(3)大数据不重因果,只求相关。通过去探求“是什么”而不是“为什么”,相关关系帮助我们更好地了解了这个世界。相关关系同时它也为研究因果关系奠定了基础。通过找出可能相关的事物,我们可以在此基础上进行进一步的因果关系分析,如果存在因果关系的话,我们再进一步找出原因。

二、大数据带来的商业变革

(1)一切皆可“量化”:量化一切是数据化的核心。公元前3000年,信息记录在印度河流域、埃及和美索不达米亚平原地区就有了很大的发展。伴随着数据记录的发展,人类探索世界的想法一直在膨胀,我们渴望能更精准地记录时间、距离、地点、体积和重量,等等。到了19世纪,随着科学家们发明了新工具来测量和记录电流、气压、温度、声频之类的自然科学现象,科学已经离不开定量化了。计算机的出现带来了数字测量和存储设备,这样就大大提高了数据化的效率,数字化带来了数据化,万千事物都能转化为数据形式,滋生无穷无尽的用途。将世界看作信息,看作可以理解的数据的海洋,为我们提供了一个从未有过的审视现实的视角。它是一种可以渗透到所有生活领域的世界观。(2)大数据的价值难以估量:无论是向公众开放还是将其锁在公司的保险库中,数据的价值都难以衡量。公司账面价值和市场价值之间的差额被记为“无形资产”。20世纪80年代中期,无形资产在美国上市公司市值中约占40%,而在20xx年,这一数字已经增长为75%。无形资产早期仅包含品牌、人才和战略这些应计入正规金融会计制度的非有形资产部分。但渐渐地,公司所持有和使用的数据也渐渐纳入了无形资产的范畴。经济正在渐渐开始围绕数据形成,“数据是一个平台”,因为数据是新产品和新商业模式的基石。(3)大数据决定企业竞争力:大数据成为许多公司竞争力的来源,从而使整个行业结构都改变,大公司和小公司最有可能成为赢家,而大部分中等规模的公司则可能无法在这次行业调整中尝到甜头。大公司收集大量的数据,将其转化为收入,聪明而灵活的小公司能享受到非固有资产规模带来的好处,它们可能没有很多的固定资产但是存在感非常强,也可以低成本地传播它们的创新成果。大大小小的公司都能从大数据中获利,这个情况并不只是适用使用数据的公司,也适用于掌握数据的公司。

三、大数据带来的风险

目前所采集的大部分数据都包含有个人信息,而且存在着各种各样的诱因,让我们想尽办法去采集更多、存储更久、利用更彻底。大数据的价值不再单纯来源于它的基本用途,而更多源于它的二次利用。这就颠覆了当下隐私保护法以个人为中心的思想:数据收集者必须告知个人,他们收集了哪些数据、作何用途,也必须在收集工作开始之前征得个人的同意。虽然这不是进行合法数据收集的唯一方式,“告知与许可”已经是世界各地执行隐私政策的共识性基础。更重要的是,大数据时代,很多数据在收集的时候并无意用作其他用途,而最终却产生了很多创新性的用途。

大数据为监测我们的生活提供了便利,同时也让保护隐私的法律手段失去了应有的效力。面对大数据,保护隐私的核心技术不再适用了。同样,通过大数据的预测,对我们的未来想法而非实际行为采取惩罚措施,也让我们惶恐不安。大数据带来的影响使我们面临更多的隐私、安全性问题,我们时刻都暴露在第三只眼之下,亚马逊监视着我们的购物习惯,谷歌监视着我们的网页浏览习惯,而微博似乎什么都知道,不仅窃听到了我们心中的“TA”,还有我们的社交关系网 多少密码和账号是因为“社交网络”流出去的?面对大数据,保护隐私的核心技术不再适用了。针对这一问题,作者提出必须杜绝对数据的过分依赖,以防我们误用了数据而落入深渊。政府企业需要全新的制度规范,而不是修改原有规范的适用范围。想要保护个人隐私就需要个人数据处理器对其政策和行为承担更多的责任。同时,我们必须重新定义公正的概念,以确保人类的行为自由(也相应地为这些行为承担责任)。新机构和专家们需要设计复杂的程序对大数据进行解读,挖掘出其潜在的价值和结论。他们也要向那些可能受害于大数据结论的人——因之被剥夺了工作、接受医疗或贷款权利的人,提供支持。

四、大数据启示

大数据时代是名副其实的“信息社会”,大数据在实用层面的影响很广泛,解决了大量的日常问题。大数据更是利害攸关的,它将重塑我们的生活、工作和思维方式。拥有知识意味着掌握过去,现在则更意味着能够预测未来。除了纠结于数据的准确性、正确性、纯洁度和严格度之外,我们也应该容许一些不精确的存在。数据不可能是完全对或完全错的。当数据的规模以数量级增加时,这些混乱也就算不上问题了。在日常情况下,知道“是什么”就已经足够了,不必非要弄清楚“为什么”。大数据的相关性将人们指向了比探讨因果关系更有前景的领域。对个人来说: 1、我们现在所处的时代是大数据时代,对于大数据时代赋予的便利,绝对学习并吸收; 2、明白大数据时代在隐私等诸多层面存在隐忧,对于个人重要隐私应妥善保护,减少隐私被不法分子利用的可能; 对企业来说:重视数据,重视数据库平台的搭建,以帮助企业快速做出正确决策,提高企业竞争力,拓展企业收入来源; 对国家来说:反对数据垄断,学习国外数据开放与透明;

 

第二篇:大数据读后感

大数据读后感

我阖上这部书,闭上眼睛。我思路在飞驰,我要在看完这部书的瞬间,找到一个词,说明我此刻最真实的感受,哦,我找到了,这个词就是:机遇!我们常为一生错过各种机遇而扼腕叹息,甚至,我们的国家也是如此,“大数据”就是这样一个尚没有错过的重大的机遇,大家不要错过啊!

信息爆炸当然不是自今日起,但是,今年来他对人们的逼迫是越来越甚了。互联网特别是移动互联网的发展,加快了信息化向社会经济各方面、大众日常生活的渗透。有资料显示,19xx年全球网民平均每月使用流量是1MB(兆字节),20xx年是10MB,20xx年是100MB,20xx年是1GB(1GB等于1024MB),20xx年将是10GB。大数据被用来描述信息爆炸所产生的海量数据。Jim Gray的新摩尔定理认为,每18个月全球新增的信息量是计算机有史以来全部信息量的总和。截至20xx年,人类拥有的信息总量大约是1.2ZB(1ZB等于1万亿GB)。IDC预计,到20xx年,世界上的数据存储总量将达35ZB。随着宽带化的发展,人均网络接入带宽和流量也迅速提升。全球新产生数据年增40%,即信息总量每两年就可以翻番,这一趋势还将持续。目前,单一数据集容量超过几十TB甚至数PB已不罕见,其规模大到无法在容许的时间内用常规软件工具对其内容进行抓取、管理和处理。数据之所以增长如此之快,也源于各类传感器、智能终端的剧增。而高清晰图像和视频,更使得数据呈指数级增长。如何收集、管理和分析数据日益成为信息通信技术创新的重中之重。

一 金矿

书皮上施伯乐先生写了这样一段话:《大数据》这部书揭示了数据在未来社会中的革命性作用。大数据将是下一个社会发展阶段的“石油”和“金矿”。??,谁能更好的使用数据,谁就会在竞争中脱颖而出。

随着数据规模的扩大,处理的难度也随之增加,利用数据仓库、可视化处理、联机分析处理(OLAP)工具和数据挖掘等技术进行的商业智能分析就更具价值,这就是大数据热的原因。大数据技术可运用到各行各业。宏观经济,天气预报,医疗保健,工业制造,政府服务等处无不有它的影子。

这本书以美国的信息产业和政府职能改进为两条主线,勾勒出从20世纪初年到如今的一个个信息时代发展的里程碑。其中,美国政府的信息自由制度的建立过程,真可谓一波三折,奥巴设“前所未有的开放政府”的雄心、公共财政透明的曲折、《数据质量法》背后的隐情、全民医改法案的波澜、统一身份证的百年纠结,充满传奇,它也真的就是传奇,这个过程让我们看到,在公民社会中来自民间的力量是如何与政府博弈的,社会又是如何自省和努力实现进步的。这种博弈的结果就是《信息自由法》和一系列涉及信息公开的法案通过与实行,最典型的应用应属美国联邦政府的统一数据开放门户网站——Data.Gov,旨在向全美开放政府拥有的公共数据,鼓励新的创意,提供更透明、更丰富的公共服务。截至20xx年12月,Data.Gov共开放原始数据3721项、地理数据386429项。更重要的是,该网站还汇集了1570个数据可视化应用。从空气质量与工厂数量的关系,到胖子数量与快餐店的多寡,给人无限的启示和便利。

在软件业的发展过程中,美国联邦政府也起了举足轻重的作用。整个软件产业最早是由个别大项目推动的。这些大项目,基本上都是由联邦政府认购、买单。其中最大的项目之一,是美国国防部和IBM在19xx年开始合作的一个防空项目

(Semi-Automatic Ground Environment),该项目致力于用计算机软件处理雷达收集的信号,侦察、跟踪天空飞行物的活动。---摘自《大数据》第八章

软件业的起家就是从数据分析开始的,现在软件行业的发展最大机遇还是数据,可以说是:得数据者得天下。支撑大数据组织管理和价值发现相关的企业经济活动会成为软件行业发展的主流,如何将先进的数据观念引入我们自身的产品,提供符合大数据时代的软件服务是今后生存的根本。我们平台的“共享交换系统”其实就是具有“大数据”概念和内涵的优秀产品。从网上抄的大数据产业的几个流程如下:

二 看看美国如何运用数据的一个例子吧

数据“打”假:最大的争议就是福利滥用。

根据CMS中心的统计,20xx年,医疗保险计划支出共5023亿美元,覆盖了4700万的美国人口;医疗补助计划共支出3739亿美元,覆盖了5680万美国人口。10由于两个计划都是针对社会的弱势人群,它们之间也互有交叉,例如,对于老年的贫困人口群,就可能同时适用两个计划。20xx年,有850万人同时受惠于两个项目。

福利政策在全世界最大的争议,就是福利滥用、最后养了懒人,导致社会发展缺乏动力。美国虽然慎之又慎,但这两块免费大蛋糕,也不例外。20xx年,联邦调查局在《财务犯罪年度公开报告》中估计,联邦政府每年的医疗开支当中,大概有3%到10%涉嫌造假和欺诈。11面对利益,人类的创造力总是无穷的:虚假账单、重复申报、无中生有,小病大治、慢治、长治,隐瞒收入和存款、装穷吃低保,林林总总,不一而足。

两个项目的受惠人群,加起来有近1亿人,平均每人每月上一次医院,一年就有12亿张账单,按照联邦调查局的估计,大概会有3600万到1.2亿张账单存在问题。如果要依靠人力去张张审查,其工作量是难以想象的。

目前,CMS中心最主要的措施,就是通过数据来打假。---摘自《大数据》第三章

下面我推想演绎一下美国的 “数据来打假”。

首先,定义那些是假的,就美国的医疗美国的福利制度而言,大致包括:虚假账单、重复申报、无中生有,小病大治、慢治、长治,隐瞒收入和存款、装穷吃低保等等。

再者,找到欺诈的痕迹,这书没有说这么多,我凭专业知识在这里补充:虚假账

大数据读后感

单,应该就是福利医疗机构虚构患者或者虚构治疗,不符的就是就医院虚构病人或

已经死亡人员还就医(还有永远不死的患者);重复申报,就是一次治疗多次申报,不符的同一天或不够治疗周期重复治疗;装穷吃低保就是不够条件的人员混福利,不符的是假装的穷人买车买房等等。

最后,就是根据欺诈的痕迹,设定一个标准,利用数据工具(应该主要联机分析)进行数据的搜索和检索,以找出可能的不符事件。如患者超过120岁的患者的治疗(可能不用这么老),先判断为异常,再利用人力逐笔核对等等。这就是所谓的数据挖掘的一种。书上说的: 20xx年,加州州政府率先推出了一个数据挖掘的项目“保险补助双向核对”(Medical-Medicaid Data Match),将医疗保险和医疗补助两个项目的数据整合起来,利用两个计划中的人员、时间、价格、地点等数据信息对每一宗申报进行互相核实,通过计算机算法自动确定相互矛盾、有异于常态的支付记录,一旦发现造假或者不实申报的可疑账单,则转入人工追讨的环节。

还要提高管理水平。书上说:“保险补助双向核对”这大大缩小了人工审查的范围,提高了打假的效率。由于效果显著,20xx年,这个项目在个别州的实施范围进一步扩大,由事后追讨推进到了事前防范。这意味着,CMS中心一收到申请报销的账单,就启用数据挖掘系统对该申请的数据记录进行“风险评分”:得分低于预定风险额度的申报则转入自动支付的环节;得分超过该风险额度的申请将退回申请人,或提交专门的小组进行人工复审。支付后的账单,最后还要经过另一个数据挖掘算法的审核,发现可疑的,再转入人工追讨的环节。

上面这个例子就是经典的使用数据进行内部控制的范例。

三 几粒“沙子”

真正的读书人应该永远有批评者的立场。就我想到为这书挑点毛病。

这部谈到中国人民的“国民性”,我认为有可以探讨的地方。中国人缺乏精确,是有这个毛病,但是,这跟数据没有关系。其实,谈任何国民性都是非常危险的事情,我个人观点“国民性”是个伪命题。书中有提到了做菜,说什么食盐少许,醋一勺等等,其实,这是反证中国人的精确,全世界有这么多中国餐馆,大家都爱吃中国菜就是事实,事实是最大的数据。据说德国菜是搞的很精确的,但是德国菜搞的很难吃。因为,好吃不好跟精确与否无关,甚至是不精确带来的好吃,数据当然是重要,但是数据不是也不可能知识的全部。

这部书是明显有政治倾向的,此书中只要是民主党总统都是数据共享开源的支持者,只要是共和党总统都是信息公开的反对者,甚至州、市的领导人也是如此。虽然,我不懂美国的历史和政治制度,但是,直觉告诉我这样说肯定是有问题的。

最后,这部书过分强调了数据对于人类社会的作用,读完之后给人的感觉是不管什么领域,只要一引入数据,马上大为改观,成效立现。我看真正高明的数据使用应该是无形的,是于无声处起风雷,这个世界美好而简单,大家在郊外散步,运动,谈天说地,数据在默默地,不知不觉地为我们服务,因为,我们大多数人是不喜欢看到数据的本身的。

利用了几个晚上的时间阅读了胡总推荐的《大数据》一书,从中感悟很多。其实,刚刚看完这部著作,我马上想到了另外一部著作,这部著作与《大数据》是风马牛不相及的,是什么呢,是一部讲绘画的书就是《芥子园画谱》,有“渊博”的同仁可能会知道,那是讲画画类书,有大量的中国画的实例(记得上面有福美女图题诗云“自对梅花描小象,欲呼明月前生。”),我也很觉得诧异,难道自己老糊涂了。我仔细想来不是啊,这两者还真有联系,其联系大致如下:其一,《芥子园画谱》是

国画的数据库,里面分门别类的统合了大量的绘画的实例;其二,《芥子园画谱》在介绍画法的时候,往往是从古人说起,说这个山宋人怎么画,元人怎么画,明人怎么画,…..,不但,是有数据,还讲了数据的历史,这一点还真是同本书合拍啊;其三,《芥子园画谱》堪称中国绘画的教科书,而《大数据》对人们理解使用数据也具指导意义;其四,正直初春天气,看着就要发芽的各种书的枝桠,想到了那些表象植物的中国画吧。

注:《芥子园画谱》,又称《画传》,诞生于清代。清代著名文学家李渔,曾在南京营造别墅“芥子园”,并支持其婿沈心友及王氏三兄弟(王概、王蓍、王臬),编绘画谱,故成书出版之时,即以此园名之。此画谱堪称中国的教科书。在中国的画坛上,流传广泛,影响深远,孕育名家(齐白石、潘天寿等),施惠无涯者,《芥于园画谱》当之无愧也。

------------------------------财务部 田玉 2013-3-14

大数据读后感

相关推荐