IOD 2013:IBM给出大数据答案
应用 大数据 技术能够获得更多商业价值，这一观点已被众多 企业 高管所接受。但是，在企业中如何实施大数据工程，并不是仅仅是简单的技术问题，而是一项系统工程。在本月初结束的 IBM IOD 2013(Information On Demand)大会上，IBM向与会者展示了其应对 大数据时代 的新产品和新 方案 。并从服务、实施以及方法论等各个角度，为企业用户提供了一份有关大数据实施的标准化答案。显然，IBM希望借助其全球业务服务咨询部经验丰富的行业专家，借助谈论大数据整体架构、实施来凸显自己的优势，而不是像 微软 ( MicroSoft )、 甲骨文 ( Oracle )和思爱普( SAP )们那样，单独讨论某一个或某一类技术产品。不过，作为一年一度的技术盛会，IBM仍旧有“义务”在本次大会上为 参与者 献上一份技术大餐，藉此凸显出IBM在大数据方面的技术能力。
大数据实施：加速 Hadoop 和分析
IBM将预测和分析能力上升到了云端。通过智慧云预测分析 洞察 (SmartCloud Analytics Predictive Insights)软件，IBM旨在将IT系统中的操作数据和日志文件转化为 商业智能 。此前，这些日志文件的应用非常简单，在进行事件监测和诊断之后往往就会被丢弃或者归档，以防止这些数据占据宝贵的业务资源。但在大数据时代，IT监控和事件数据可以帮助IT预见和避免问题，而不是事后诊断故障。有许多IT监控系统是一个综合了所有设定阈值和警报的 自动化 系统，而IBM希望结合后台的大量信息，通过大量相关性异常数据做出预测性洞察。IBM表示，使用智慧云预测分析洞察软件，企业可以实时筛选TB字节的IT运营数据，并仅着眼于对IT网络性能至关重要的趋势。该软件的认知计算能力可以对企业的IT系统进行学习、推理和感知。IBM称，该软件还能随着业务和性能状况的变化，适应因系统配置较差造成的错误，并通过不断的更新设置主动清除这些错误。
目前，总部设置在伊利诺斯州的综合电信、有线电视运营商Consolidated Communications正在与IBM合作，利用预测性洞察来追踪其系统中约80,000项性能指标，例如连接速度和电视频率水平。该公司的网络工具与自动化控制系统主管Chris Smith表示，“通过与IBM合作，将认知技术应用到我们的IT业务数据之中，我们能够学习对每家客户来说什么是好的服务。我们能够即时发现关键异常，不管这种异常多么微小。拥有IBM软件，我们可以为每家客户定制我们的服务，提高网络的整体效率，提前发现问题并解决问题。” 据悉，采用IBM的服务后，Consolidated Communications能 更有效 地避免服务中断——这是以前的监测系统无法判断和识别的，每年能节省约30万美元。
SmartCloud虚拟 存储 中心也同样应用了机器学习和分析功能，决定如何对数据进行存储。存储选择通常是在快速数据存取速度和容量成本之间进行权衡。通过 分析数据 使用模式，这种智能软件会识别最适合企业数据的存储类型，并自动进行改变而不中断用户的应用。随着时间的推移，该软件会学习关键的使用模式，根据业务需求变化来调整并移动数据。据悉，IBM在其科罗拉多州博尔德市 数据中心 部署了这种自动化的存储分层功能，每TB的存储成本降低了近50%。 目前，IBM 拥有100多种将分析融入产品线和IT运营软件的软件即服务产品( SaaS )，IBM SmartCloud Analytics--Predictive Insights是其中一种，在不远的将来将获得SoftLayer架构支持。SoftLayer正在迅速成为IBM云组合的基础，自从2013年7月被IBM收购以来新增了1000多家客户。对跨越多个IT系统的资源利用大数据进行分析，Splunk已卓有成效。但IBM表示，预测性洞察服务是IBM与Splunk和其他产品之间的最大不同，它是一个分析相关性和模式检测的环境，而不是一个开放式的搜索和发现工具。
在IBM的新能力列表上，还有多项Hadoop相关的软件和方案。与之相关的Hadoop进展包括：
——IBM PureData System for Hadoop。这个发布于9月份的设备整合了IBM Biginsights Hadoop发行版和一些互补的软件。IBM表示，与部署来自Apche、CloudEra、Hortonworks以及其他“标准”版开源Hadoop不同，得益于来自Platform Computing公司的集群管理和 高性能计算 能力，IBM能够提供四倍于上述产品的性能。同时，强化的功能使用户能够在数小时内(而不是数天或数周)开通Hadoop应用，从而简化Hadoop的使用;此外，该方案还包括而内建的归档工具、简化的管理方式以及比开源系统更高的安全水平。IBM表示，对于希望通过对大数据进行收集、分析和可视化处理来保持竞争优势的各行业的客户来说，这是一个重要的里程碑。
—— InfoSphere Data Privacy for Hadoop。该产品即将在本季度晚些时候面世。根据IBM的说法，是一个能够运行在Hadoop、NoSQL以及关系数据源上的数据屏蔽和数据活动监测系统。数据屏蔽系统将能隐藏敏感数据，防止以非授权方式访问Hadoop系统中的机密信息。数据活动监控功能告诉管理员谁正在访问数据，谁在使用非正常方式进行数据访问——即使是授权用户。
——Information Governance Dashboard：这款显示工具能够在易用的界面上显示机密级别不同的各种数据源，包括Hadoop、 关系型数据库 和非关系型 数据库 等。决策者能够看到各种数据(如监管策略和数据沿袭)的机密级别信息，这些信息以直观的可视化方式呈现。这不仅增加了可信度，还使得决策者能够更好地利用数据及其背后隐含的信息，确保数据治理政策的执行。
此外，IBM宣布拓展其BLU Acceleration产品组合，以帮助客户更好地利用大数据和分析技术。BLU Acceleration for Cloud(bluforcloud.com)的提前预览版已经推出，该解决方案利用IBM先进的BLU Acceleration内存数据库技术和业务分析技术，以 云计算 的简洁性实现了强大和灵活的仓库管理功能。这个解决 方案让业务 分析人员和技术专业人士能够以自助的方式快速洞察相关情况。这个消息是在IBM宣布推出IBM BLU Acceleration解决方案Power System版之后不久宣布的。IBM BLU Acceleration解决方案Power System版运用了基于 POWER7+ 处理器 的技术，能够将报告和分析的速度提高8倍至25倍并节省10倍的存储空间。IBM还将BLU Acceleration的功能集成在其专家 集成系统 的PureSystems系列解决方案中。具备BLU Acceleration功能的IBM商业智能方案包( BI -BLU)使得组织能够便捷地利用先进的内存数据库技术进行快速的数据分析，从而获得商业效益。
与数据更好地互动：数据可视化
IBM实验室打造了名为“Project Neo”的软件，以帮助用户与数据更好地互动。不具备专业技能或知识的商务用户无需被迫学习分析技术，便可使用Project Neo软件处理原始数据集合。该软件采用简单的界面、交互式可视化与高级分析，可自动使隐藏的洞察与模式浮出水面，并引导商务用户找到深藏于数据中的答案，而且该软件可托管在云端之上。2014年年初，IBM将推出Project Neo的测试版。
举一个应用的例子，当一位营销经理发起简单的提问，输入相关数据，可视化与引导分析软件就能够发现是什么原因导致某个季度销售额下滑。营销经理可以第一时间将发现的结果与其他员工分享，并通过向团队成员发送输入通道，让团队成员补充更多的信息。IBM's Rapidly Adaptive Visualization Engine(RAVE)等技术进步，可驱动高度灵活与交互式的可视化的实现，从而让人力资源、营销与销售等部门的用户可在其任何设备上利用分析图在数量与种类不断增加的数据中寻找答案。
可视化技术的另一个实例是IBM Concert on Cloud，它可向被海量信息所淹没又往往缺乏背景洞察的商务用户提供协作工具，使其作出最佳决策。IBM Concert on Cloud是一种兼容移动方式的社交分析平台，可帮助组织通过协作作出更好的决策。该实时云分析平台使得用户可轻松查看、了解特定业绩洞察并与其互动，并可更轻松地决定何时需要采取行动。远程员工可即时通过移动设备提供更新数据，从而提高数据准确性，并提供实时规划与预测。
在Project Neo之外，IBM还继续通过Cognos商业智能解决方案向业务分析人员与业务线用户提供丰富创新的可视化功能。全新的可扩展可视化功能可使报告作者与商务用户从静态图表库中解放出来。用户将不再局限于产品内建的可视化选项。现在他们可轻松用不断增加的可视化集合对报告进行扩充，无论是总结报告，还是行动报告，以满足数据和商业洞察需求。借助全新的IBM Cognos Visualization Customizer，可对可视化进行编辑，包括更改字体、颜色甚至图标，以满足极其特定的要求。
在IBM Analytics专区的可视化市集中，用户可在30多种从雷达图到热度图与面积图的可视化图表中进行选择并下载。该市集中将不断增加新的可视化选项。
大数据实施：信任是关键
实施大数据项目，技术只是其中一个要素，还需要企业战略的支持、建立由
数据驱动
的文化，需要人们用正确的技能组合来实现商业价值分析。IBM公司软件部业务分析总经理Les Rechan在
IOD大会
上说，成功实施大数据项目有三个关键要素：“首先，需要建立一个分析无处不在的组织文化，我们称之为想象(Imagine It)。其次，需要在大数据分析平台上进行投入，我们称之为实现(Realize It)。最后，我们要看到管理的风险，积极、主动地面对隐私、安全和治理等问题，我们称之为信任(Trust It)。”显然，IBM在信任方面投入了巨大的资源， InfoSphere Data Privacy for Hadoop、Information Governance Dashboard等就是亮点。
事实上，信任是本次会议上的一个重要议题，而这与“分析能做什么”这一与会者的兴趣点息息相关。从IBM最近的高管调查中不难发现，75%的受访者表示，创收是实施分析的一个关键优势。但在同一调查问卷中也显示，有62%的受访者表示，限于政策或者管理上的约束，阻碍了他们从分析中提供价值。显然，在组织层面上的文化差异，形成了执行大数据项目的一个障碍。与此同时，发言人也提到，设计一个能很好地提供洞见(Insight)的IT系统也是障碍之一。在其他的讨论中，多次提到了IBM的Watson系统，IBM的专家指出，该系统可以为用户的问题提供多个答案，并(根据Watson算法给出的信心指数)给出信心排序。用户有机会审查和纠正Watson的输出，并提高Watson对其分析内容的“理解”。这是另一种方式来建立信任。
负责客户分析的全美互助保险有限公司(Nationwide Mutual Insurance)副总裁Wes Hunt谈到了大数据分析项目的一些经验：技术、人员、战略以及文化。“当我们实现客户的360度视角时，公司的目标是希望能够通过研究做到：‘我们知道你，我们在乎你，我们很容易做生意。’”关于大数据项目的具体执行，Hunt给出了四步建议：
1、你需要建立一个强大的数据基础。当你开始建设IT系统时，才能在保持灵活性的前提下做得更多。
2、发展你的才能。 “我们的才能还不够，”他说。
3、大数据和分析本身并不等同于企业战略。 “他们是企业(业务)策略的推动者。”
4。信任是秘方。这意味着，最终用户要信任从分析得出的见解。分析员相信他们与之打交道的数据。业务人员和IT团队也彼此信任。
“信任是洞察力和行动之间的桥梁，”他说。
小结
源于IT，高于IT，大数据实施并不完全是IT。在IOD 2013上，IBM为与会者呈上了一份大数据的饕餮盛宴，从各个角度诠释了大数据之美。大数据，2014 IOD再见!
