从谷歌流感趋势论述大数据应用价值
摘要:谷歌在2008年启动了谷歌流感趋势这项服务,初衷是以预测25个国家的疫情。逻辑很简单:在特定区域分析谷歌关于流感的搜索查询。下一步是将搜索结果与该地区流感活动的历史记录进
谷歌在2008年启动了谷歌流感趋势这项服务,初衷是以预测25个国家的疫情。逻辑很简单:在特定区域分析谷歌关于流感的搜索查询。下一步是将搜索结果与该地区流感活动的历史记录进行比较。基于这些结果,活动水平被分为低,中,高或极端。
尽管乍一看,这似乎是一个很酷的想法,但实际上并不是这样。2013流感高峰期,谷歌预测流感趋势有着悲惨失败的事实,这个数字是惊人的140%。原因是该算法存在缺陷,不考虑多个因素。例如,如果人们寻找诸如感冒或发烧之类的词语,这并不一定意味着他们存在着类似流感的症状。他们可能只是想寻找季节性的疾病的症状。对于谷歌流感趋势不幸的是,它无法从这场预测失败的灾难中恢复过来,最终导致了2013年的崩溃。
大数据失败的原因
谷歌流感趋势的失败并不是唯一的灾难。不可能列出多年来所有的大数据错误,但是,分析失败很重要,因为你可以从中学习,而不是在功能上重复。大数据失败的一些原因如下:
(1)缺乏数据管理和数据管理
0机构往往对已有的数据知之甚少,但在此基础上还是决定开展新的项目。而对于此缺乏关于数据处理的文档、存储、策略和其他程序。采用大数据咨询公司的服务是一个好主意,这样企业就可以为自己提供一个清晰的路线图和指导,说明如何处理已经拥有的数据,然后才能克服大数据的挑战。
(2)未定目标和战略
正好这里有很多IT术语和营销术语,白噪难懂,比如说除此之外,市场上还有很多大数据产品,选择合适的产品实在是难事。企业在决定任何事情之前,找出实现目标所需的服务和技术非常重要。“做大数据的小数据”,这意味着企业应该在少量数据上评估其大数据架构,以确保选择正确的产品。
(3)完全不了解
数据科学和大数据是领域知识、数学、统计专长和编程技能的复杂组合。然而,同时它必须IT部门经常做出管理层无法理解的改变,反之亦然。企业需要在大型数据项目中建立IT和业务之间的联系,以了解大型数据行为对IT和业务领导者的意义。业务人员应该深入参与大数据项目的任何阶段。
(4)项目太大太快
当企业开始实施大型数据项目时,有许多不确定因素,如预算、技术、行动等。当企业很早就开展一个大项目时,那么注定要失败。相反,应该选择一个小项目进行,并衡量成功(或缺乏)增量。这样如果出现问题,将能够立即注意到它,并在项目结束之前进行必要的调整。衡量企业进展的一个好方法是创建一个原型或者概念的证明来验证它所做的工作。如果项目早期存在缺陷,推进项目的下一阶段就没有意义了。
(5)缺乏IT人才
企业找到和雇用所需要的人才来成功完成一个项目是一项艰巨的任务,但处理企业数据的工作人员是整个项目的重要组成部分。此外,他们必须熟练掌握新技术,这是对快节奏IT环境的挑战。
从上面的列表中,人们注意到的一个共同的主题是,无论想要关注数据多少,人们总是受到阻碍。即使人们想要数据来决定决策过程,人们最终还是要管理大数据流程。这包括做出基本决定,例如收集和保存哪些数据,以及从大数据中寻找哪些答案。
所以大数据实际作用体系成熟需要一些时间来发展,其运用也有偏差。