大数据的机遇和挑战

篇一：大数据的机遇与挑战

大数据的机遇与挑战

编者按：本文转载至《今日财富》，原作者为王勇亚。

2012年将是“大数据”持续升温的一年，“大数据”将带来很多变化，也会带来挑战。通过智能手机、视频、社交网络、微博等媒介源源不断地产生了海量的非结构性数据，也即是大数据，为了解客户喜好和预测市场发展提供了大好机会，因为 拥有正确的信息就意味着拥有竞争优势，大数据处理产生的价值已深入影响到企业的运营与维护中，由此也带动了大数据产业链飞速发展。2011年称得上是“大 数据之年”，众多分析家认为，2012年仍将是大数据持续升温的一年。大数据服务市场崛起 分析只是数据工作的一部分，只有把一种数据与其他相关数据结合在一起进行深度挖掘，才更有价值。例如，将天气状况的数据加入到客户数据中，并进一步分析发 现在客户的采购模式中是否存在与天气相关的因素等，就比单独分析客户数据有用得多。但如何分析这些数据集可能让企业非常头疼，因为千万亿次级别 (Petascale)的大数据分析对于大多数企业来说并不是可以自备的功能，企业一般只需要获得可视化的最终结果，他们需要相应的帮助来研究这些分析结 果，而第三方提供商（通过产品或者服务）将很快应需而生满足这个市场。实时化分析处理需求加剧 有些批量数据的处理不需要精确到分钟，但像移动和Web客户端这样的在线服务，或者如财务和广告这样的数据分析则需要实时处理需求。

在接下来的几年中，人 们将会看到用来处理“流”或接近实时的分析与处理的可扩展框架与平台。而且网络不可能存在足够大的空间来存储由企业的事务产生的每一条数据，某种程度上， 需要将一些没有价值的数据进行忽略。拥有流计算能力则可以无需通过map/reduce的存储-计算循环来对数据进行分析或忽略某些数据。开源走向大众 越来越多的供应商——比如甲骨文和天睿资讯等，正在把他们的技术提供给大公司，但是只有懂得如何使用那种昂贵软件的专家才会使用那样的工具，而能够真正促 进大数据快速发展的，则是利用开源平台把技术带给大众，开源平台将使得相对缺乏装备的公司也可以使用这些工具。相关技术人才紧缺 大数据浪潮所催生的新技术增加了相关人才的需求，懂得使用相应工具分析大数据、作出合理决策的管理和分析人才将成为香饽饽。EMC最近的一项调查结果显 示，83%的调查对象认为大数据浪潮所催生的新技术增加了数据科学家的需求，64%的调查对象认为将出现技术人员供不应求的局面。现今管理传统结构化数据 的专业人才，在应对大数据世界中海量非结构化数据时则显得有些无从应对，人才配备和培训问题将是企业充分利用大数据所带来机遇的同时要面对的一大挑战。Tips: 所谓大数据，就是利用一些非传统的数据筛选工具，对大量的结构化和非结构化数据集合进行挖掘，以便提供有用的数据洞察。与传统海量数据相区别，它可以用三个V来总结，即Variety、Volume和Velocity(多样性、数量、速度)。

篇二：大数据的机遇和挑战

大数据的机遇和挑战： 从数据分析的角度讨论

Zhi-Hua Zhou, Nitesh V. Chawla, Yaochu Jin, and Graham J. Williams

摘要—“大数据” 一词已成为过去三年来最大的趋势，导致一股研究的热潮，以及行业和政府的应用。数据被认为是一个强大的原材料，可以影响的多学科研究的努力，以及政府与企业绩效。本讨论文件的目的是共享数据的分析意见和有关新的机遇和挑战带来的大数据移动作者的观点。 作者将不同的视角，从不同的地理位置具有不同的核心研究领域和不同的背景和工作经验。本文的目的是唤起讨论，而不是提供一个大的数据的全面调查研究。

索引条目：大数据，数据分析，机器学习，数据挖掘，全局优化，应用

F

这篇文章的目的是分享作者对他们的数据分1导论

析集成电路的观点大数据的意见。四位作者带来

生成计算大数据是一种是今天使用的热门的短语。每相当不同角度的研究经验和专业知识，

个人都在谈论大数据，并认为，科学，商业，工智能，机器学习，数据挖掘和科学，和跨学科的业，政府，社会，等将进行彻底的改变与大数据研究。作者代表四个不同的大洲的学术界和工

这种多样性汇集了在今天的大型数据的上下量的影响。从技术上讲，处理大数据的过程包括业。

收集，贮存，运输和利用。毫无疑问，收集，储文数据的分析，探索一种有趣的视角报道。 存和运输阶段是必要的前体通过数据分析开发值得强调的是，本文不打算提供对大数据研

究国家的最先进的全面审查，不提供一个未来大的终极目标，这是大数据处理的核心。

目的是为了揭露作者的个人意把数据分析的角度来看，我们注意到，“大数数据的研究议程。

这据”是由四维的体积，速度，准确性和多样性的见和提出他们对未来的观点基于他们的意见。鉴定义。它是假定所有或其中的任何一个需要满足样会有一定限制的证据的论点或文学的支持，

的问题分类作为一个大的数据问题。体积表示的于迅速变化的景观和学术研究明显滞后的报告。

许多重要的问题和相关的技术是没有明数据的大小，这可能是太大，要处理的当前状态事实上，

的算法和/或系统。速度意味着数据流的速度比，确包括在这篇文章中，所以最好是让调查报告。 可以用传统的算法和系统处理。传感器的快速阅虽然所有的作者都有助于整体的纸张，每个读和交流的数据流。我们是来自世界各地的AP作者都集中在他们的特别专长在下面的讨论话量化，并呈现不可用的数据迄今为止。准确性表题。周包括机器学习，而Chawla带来了数据挖

金提供了一个从计算智能明，尽管提供的数据，数据的质量仍然是一个主掘与数据科学的视角。

和威廉姆斯利用机器学习要关注的问题。那就是，我们不能假定，大数据的元启发式全局优化，

的高质量。事实上，规模带来的质量问题，这需和数据挖掘的背景作为一种实践数据科学家和要被解决在数据预处理阶段的学习算法。品种是顾问行业的国际 最引人注目的维度是对于一个给定的对象在考

2大数据机器学习 虑不同类型和方式现代数据。

每个维度的当然不是新。机器学习和数据挖

掘的研究人员已经解决这些问题几十年。然而，数据 互联网的出现为基础的公司质量提出了挑战，许机器学习是数据分析的核心技术之一。在这

误多传统的面向过程的他们现在需要成为知识型一节中我们将首先阐明三种常见但不幸的是，

导有关学习系统在大数据时代。然后，我们将讨公司的数据，而不是由过程驱动的企业。

论需要关注的几个问题。

2.1的三个误区

2.1.1“模型都不重要”

现在许多人谈论的大数据替换复杂的模型，我们在那里有大量的可用的数据。其论点是：在“小数据时代”模型是重要的但在“大数据时代”，这可能不是这样的。

这种观点被称为基于的类型，如图1所示的实证观察。小的数据（例如，10的数据大小），最好的模式是约%比在图中最坏的模型，而由大数据带来的性能改进（例如，104的数据大小）是%。这样的观察可以追溯到很多年，和之前的“大数据的使用。“这是看到在“大数据时代”的意思，很多人采取这样的人物（或类似的数字）声称，有大的数据就足以获得更好的性能。这种肤浅的观察，然而，忽视了更大的数据（例如，在图104的数据大小），还有不同模型之间的差异仍然是重要的。

在深入学习最近的兴趣，提供了强有力的证据表明在大数据，复杂的模型是能够实现更好的性能比简单的模型。我们想强调，深入学习技术是不是新的，和许多思想可以从1990的。如何过，有利于发展在当时两个严重的问题。第一，当时可用的计算设施无法处理成千上万的参数模型来调整。当前深入学习的模型涉及数百万甚至数十亿的参数。第二，当时的数据规模相对较小，因此，模型具有较高的复杂性很有可能过度拟合。我们可以看到，随着计算能力的迅速增加，训练精良的模型变得越来越可行，而大数据量大大减少了过度拟合的风险复杂的模型。从这个意义上说，我们甚至可以得出这样的结论：在大数据时代，复杂的模型越来越青睐由于简单的模型通常不能充分利用数据。

2.1.2”相关的是足够的”

一些流行的在线约会的书籍，包括索赔[ 37 ]，它是足够的“发现颜色的关系”，从大的数据。在“因果关系”的重要性将采取通过在与一些“相关”，鼓吹“我们是进入一个时代的相关。”

试图发现因果关系的代表，是美国伟大的搜索意图的深入理解的数据。这是一个真正的挑战通常在多域。然而，这是我们要强调足够远的互相关和因果关系的作用，不能被替换由相关。

我们可以很容易地找到很多例子，即使在经典统计教科书，说明相关无法替代的因果关系中的作用。例如，在一些城市透露，医院和汽车盗窃的数量呈高度正相关的治安案件的实证数据分析。事实上，盗窃汽车几乎呈线性增加的新医院的建设。这样的相关识别，减少盗窃汽车将市长反应

如何？一个“明显的”解决办法是停止新医院的建设。不幸的是，这是相关信息的滥用。它只会降低患者得到及时治疗的机会，而这是做汽车盗窃的发生极不可能。相反，两个入射的盗窃汽车和医院数量的增加是由一个潜变量，即影响，居住人口。如果有人认为的相关性是足够的和没有深入的数据分析，可以作为一个市长计划通过限制医院建设减少偷车。

有时计算的挑战可能拖累的因果关系的发现，在这种情况下，发现有效的关联，将能够提供一些有用的信息。然而，夸大“相关”和以因果性的替代关系为特征的“大数据时代”可能有害的重要性，并导致可作，消极的后果。

2.1.3“以前的方法不一样” 另一个流行的说法称，已有的研究方法被设计为小的数据并不能工作在大数据。这种说法通常是由人的热情很高的新提出的技术，因此他们寻求“全新的”范式。

这是一种动力为创新研究的新范式的搜索我们欣赏。然而，我们强调的“过去”的方法。

首先，我们应该强调的是，研究人员一直试图用“大数据”的工作，这才是大数据今天可能不被视为

用在未来，大数据（例如，在十年）。例如，在一篇著名的文章，作者表示，“学习任务10000训练的例子更是不可能的

……”。论文标题”进行大规模SVM训练实践”意味着这篇文章的目的是“大规模”在本文中主要含有成千上万的样品的实验数据集，和最大的一个包含49749个样本。这被认为是“当时非常大的数据。如今，很少有人会认为五万大数据样本。其次，许多过去的研究方法仍持有价值。我们可能认为，对KDD 1999研讨会文集。在第二页上强调“实施…在高性能并行与分布式计算…成为决定性的保证系统的可扩展性和互动性为数据继续成长无情的规模和复杂性”。事实上，大多数处理大数据的“电流”的便利，如高性能计算，并行和分布式计算，高效的存储，等，已被使用多年的数据分析，将为未来仍受欢迎。

2.2的机遇和挑战

这是很难确定的“全新的”大数据带来的问题。然而，总有重要的方面，一个希望看到更多的关注和努力。

首先，虽然我们一直试图处理（越来越多）大的数据，我们通常认为核心计算可以无缝地在内存中保存。而当前的数据大小达到这样一个规

模的数据难以存储和多次扫描更难。然而，许多重要的学习目标和性能指标的非线性，非平稳，非凸和不可分解的多样本。例如，AUC（曲线下的面积），和他们的优化，本质上需要重复扫描整个数据集。它是通过扫描数据只有一次可以学习的，如果它需要存储，存储的要求是小的和独立的数据的大小？我们称之为“一通学习”是很重要的因为许多大数据的应用程序，数据不仅大而且长时间的积累，因此它是不可能知道的数据集的最终尺寸。幸运的是，有朝这个方向最近的一些努力，包括。另一方面，虽然我们有大的数据，所有数据的关键？答案很有可能是他们不。那么，问题是我们可以从原来的大数据集的识别有价值的数据子集？

第二，大数据的机器学习的好处在于，随着越来越多的样本进行学习，过度拟合的风险变小。我们都知道控制过度拟合是一个在机器学习算法的设计的中心问题以及在实践中的机器学习技术的应用。以LED为拟合参数少的简单模型来调整自然FA VOR的关注。然而，参数整定困难可能与大数据的变化。我们现在可以用参数数十亿训练一个模型，因为我们有足够大的数据，通过强大的计算设施，使这些模型的训练了。深入学习非常成功，在过去的几年中，作为一个很好的展示。然而，最深的学习工作强烈依赖于工程技巧是很难被重复和研究的人，除了作者本身。它是研究背后的深层奥秘的重要学习；例如，为什么当如当前深入学习技术，一些成分，职前培养和辍学，帮助和他们如何能更有用吗？有了这个方向最近的一些努力。此外，我们可能会问，是否有可能制定一个参数调优指南取代目前几

乎穷举搜索指南吗？

第三，我们需要注意的是，大的数据通常包含了太多的“利益”，并从这些数据我们可以得到我们想要的东西”；换句话说，我们可以找到支持的任何争论，我们支持的证据。因此，我们如何判断评价“发现”？一个重要的解决方案是将统计假设检验。统计试验的使用可以帮助至少在两个方面：首先，我们需要确认我们所做的是我们真正想做的。第二，我们需要确认我们已经不在数据中的小扰动的存在造成的，特别是由于整个数据的非充分开采。虽然统计测试研究了几个世纪，已使用了几十年在机器学习，适当的统计测试的设计和部署是不平凡的，事实上，已经有统计测试的误用。此外，统计测试，适合于大数据分析，不仅计算效率，而且只使用部分的数据的关注，探索的研究领域，在保持一个有趣但。另一种方式来检查分析结果的有效性是获得解释模型。虽然许多机器学习模型的黑盒子，有提高模型如规则提取的综合性研究。可视化是另一种重要的方法，尽管它经常尺寸大于三的困难。 此外，大数据通常存在于一个分布式的方式；即，数据的不同部分可以由不同的人持有，没有人认为整个数据。这是通常的情况下，一些消息来源的一些分析的目标是至关重要的，而其他一些不太重要的来源构成。考虑到不同的数据可能会令业主与分析仪不同的访问权限，我们可以充分利用源不访问整个数据？什么样的信息要有呢？即使业主同意提供一些数据。

篇三：大数据之路机遇与挑战并存

大数据之路:机遇与挑战并存

随着生活越来越丰富，大数据也变得越来越难以处理；同时因为数据体积增大、数据类型繁多，技术人员在分析过程中不得不克服大量的挑战和障碍。本文将讨论为什么数据会变得越来越复杂及难以管理，以及在我们分析、整合及存储这些数据时又会面临哪些挑战及障碍，当然还有大数据又会给未来带来什么样的机遇。

大数据确实很大并且很复杂

大数据究竟有多大

举个简单的例子，去参加一个小朋友的生日派对。在出发时，你会发送一个tweet说明一下，数据随之产生。车在半路上，停车加油，付款时果断产生了数据。在超市购买生日卡片，扫描购物卡、结账同样产生了数据。在生日派对中，拍个照片，录段视频，当你在Facebook、Flickr以及Youtube上发布时同样产生了数据。在派对过程中发送的消息，同样产生了数据。贯穿整个过程，你的手机因不停的发送GPS位置而产生数据，你的车因为不停的追踪燃耗而产生数据。由此可见，我们在日常行为活动中产生了大量的数据。

通过IBM了解到，我们每天大约建立2.5 quintillion（1 000 0003）字节的数据，而在过去两年建立了总数据量的90%，同时数据体积以指数的方式增加。随着公司数据捕获能力的增强、多媒体变得流行、社交媒体会话的增加以及使用互联网做更多的事情，数据的体积也不可思议的速度激增。

大数据究竟有多复杂

大数据是复杂的。之所以复杂因为数据的多样性，其中包括结构化数据和非结构化数据。大数据的复杂还在于交付和使用的速度，比如“实时”。并且，大数据的复杂还在于数据的体积。以前家用存储说的是MB和GB，现在讲的已经是TB了，而企业早已跨入PB单元。 大数据市场

大数据增加了信息管理业务的需求，比如Software AG、Oracle Corporation、IBM、Microsoft、SAP、EMC和HP已经支付150亿美元给专门从事数据管理和分析的软件公司。在2010年，这个产业自身的价值已经超过1000亿美元，并以每年10%的速度增长着——比整个软件业务快2倍。

发达经济体让大数据密集型技术得到更广泛的使用。世界范围内，有46亿的移动终端在产生数据，有10到20亿人在访问互联网。在1990到2005期间，超过10亿人进入了中产阶级，更多富起来的人同样导致了信息的增长。在1986年，世界电信网络有效的信息交互能力为281 PB，1993年为471 PB，2000年为2.2 EB，2007年为65EB，而在2013年，预计的通信总量为667 EB。

大数据分析

大数据需求在可容忍时间内对大体积数据进行处理特殊的技术，大数据分析实践者通常不喜欢共享储存，更倾向于直接连接存储（Direct Attached Storage，DAS），在并行的内部处理节点中混合使用了高速SSD与高容量SATA磁盘。而当下的共享储存架构SAN及NAS已被扣上缓慢、复杂及昂贵的头衔，该类型

架构完全不符合现下大数据技术在性能、商用服务器及低成本上的标准。

实时及近实时的信息交付已成为大数据分析的界定特征，尽可能的避免延时同样成为大数据技术的首要挑战之一。数据更希望被存储在内存中，而不是其他终端FC SAN连接的机械硬盘上。同样在大数据情景下，SAN模式下对分析应用程序的要求上比其它类型存储要高得多。

当然，共享存储在大数据分析情景下也有着自己的优势，但是自2011年以后，已不为绝大多数大数据实践者所采纳。

大数据挑战及障碍

鉴于复杂性，大数据处理面临着一系列挑战：

1. 在类似文本或视频的非结构化数据上，我们要如何去理解及使用。

2. 我们该如何在数据产生时捕获最重要的部分，并实时的将它交付给正确的人。

3. 鉴于当下的数据体积和计算能力，该如何储存、分析及理解这些数据。

4. 缺乏人才

当下讨论最多的问题就是缺乏大数据人才，值得庆幸的是许多教育机构都针对此开设了相应的学术课程。而我们也看到一些更好的现象，企业和高校合作共同对抗这个人才稀缺问题，这也是最有效的人才培养途径。

5. 其它一些固有的挑战，隐私、访问安全以及部署

通过EIU（Economist Intelligence Unit）与Lyris（数字化营销软件提供商）最新的报告“Mind the Digital Marketing Gap”了解到，37%的营销主管发现大数据解析到决策制定的转换上存在着非常大的挑战，而45%认为他们不具备有效的大数据分析能力。

24%的营销人员表示他们一直在使用大数据技术来发现见解并制定市场策略，尽管其中大多数人只是偶尔使用数据做可行性分析及个性化客户通信。

其它一些障碍还包括缺乏资金（43%的受访者）、过于强调数字工具及社交媒体、渠道的增多以及人力资源的匮乏（33%左右的受访者）。

大数据机遇

尽管当下大数据技术的应用上还存在许多的挑战，但是其中存在的机遇却远超过这些挑战。大数据成为创新、竞争及生产力提升的绝对利器，我们可以使用大数据回答以前无法解决的问题。我们可以使用大数据获得真知和知识，确定趋势及提高生产力，取得竞争优势并为世界经济创造更多的价值