水能载舟亦能覆舟 谁来破解大数据“三大难”？

12月9日，曙光正式推出方舟大数据融合分析平台，“方舟”这个名字让记者首先联想到的是“水能载舟亦能覆舟”这句名言。在这里，“舟”当然是指方舟大数据融合分析平台，而“水”则是指用户。用户的海量数据采集、分析和展现需要一个成熟、高效、简单易用的大数据平台；反过来，一个端到端的大数据分析平台可以更有效地帮助用户从数据里“淘金”，实现价值创新。这就是“水”与“舟”在大数据应用领域中的关系。

像许多新兴的技术一样，大数据一开始也是由概念驱动。经过最近几年的市场培育，大数据在落地的过程中，其核心任务已经从大数据基础平台的建设转向大数据的分析、展现和深度加工，毕竟从数据中获取价值才是大数据的最终目标。曙光的大数据产品创新之路也顺应了这一变化趋势，从以前主要提供大数据基础设施，包括服务器、存储、大数据一体机等，逐渐向大数据的软件、分析平台延伸。

从硬件到软件，从大数据基础设施到大数据分析，说是“跨界”也好，自然延伸也罢，总之，大数据的落地必须更加贴近应用、贴近用户。中科曙光总裁助理、江苏曙光信息技术有限公司总裁王海荣回忆说：“在开发方舟大数据融合分析平台之前，我们曾经走访过大量用户，发现大数据落地的最大障碍是技术和应用门槛高，大数据工具本身晦涩难懂。如果有一款大数据工具能够降低使用成本，让用户像使用Windows应用程序一样简单那该多好。方舟大数据融合分析平台应运而生。”

大数据应用到底有多难？

举个例子，如果你的笔记本电脑的存储空间几乎耗尽，你是选择对数据进行整理，删除冗余数据，还是用移动硬盘将数据进行转移，甚至购买一台新的电脑？可能很多人宁愿采购新的硬件设备，也不想删除长年积累的数据。这其实就是大数据兴起的一个原因。巨量的数据、数据类型多样化、数据价值密度低、处理效率差……所以人们更迫切需要一个高效的大数据工具。

但是，一开始展现在用户面前的都是专业的“高大上”的大数据工具和平台，比如Hadoop。用户“垂涎”Hadoop的强大，但是又“畏惧”Hadoop的高技术门槛。怎么办？一大堆Hadoop的商业发行版充斥市场，一些以提供Hadoop专业实施服务的企业开始冒头，很多人干脆将Hadoop与大数据划上了等号。慢慢地，当人们对大数据有了更深入的了解，才发现Hadoop并不是大数据的全部，而只是分布式数据处理的一个技术平台。还是王海荣说的对，用户需要的是一款涵盖大数据全生态系统的标准化大数据工具。方舟大数据融合分析平台也正是从这一点切入的，它为用户提供了大数据融合、分析的一站式解决方案。

随着用户对大数据应用兴趣点的转移（或者说用户需求的变化），市场上的大数据产品和解决方案的热点也在发生变化。从Hadoop商业发行版到大数据操作系统，再到今天一站式的大数据平台，大家都在朝着“大而全”的方向发展，从底层的分布式数据处理到分布式资源管理，再到上层的数据采集、数据挖掘，形成了一条龙的解决方案和服务。而这样做的唯一目的是，将大数据的前后台技术进行封装，对用户屏蔽大数据的技术难度，用户只需要通过鼠标的拖拽，就可以轻松操作大数据工具，获得自己想要的大数据分析结果。

以前，企业中只有既懂业务，又会建模的数据科学家才有能力操作大数据工具，而现在人人都可以成为数据科学家。这里的“人人”包括企业中最普通的、没有受过IT专业训练的人员，比如销售人员、文秘等。只有达到了这样的效果，才能真正展示出大数据的强大和价值。

王海荣在介绍方舟大数据融合分析平台时也反复强调，曙光开发这一产品的主要目的也是为了降低大数据的应用成本和使用难度，而方舟大数据融合分析平台所具有的自动建模、高度的可视化等功能，使得即使是非专业人员也能轻松上手。

国外知名的大数据厂商，比如Tableau、Qlik，以及国内的大数据厂商永洪科技等，也都把实现“人人都是数据科学家”作为努力的方向。大数据不是少数专业技术人员的专利，而是一个大众化的工具，大数据越往后发展，这种趋势会越明显。以方舟大数据融合分析平台为开端，曙光也在顺潮流而行。

一站式到底有多难？

无独有偶，就在曙光推出方舟大数据融合分析平台前几天，永洪科技刚刚发布了最新一代产品Yonghong Z-Suite V7.0，其最大卖点也是通过一站式平台实现完整的大数据体验。

一站式、端到端、完整的应用体验，虽然大数据厂商都表示在朝这个方向努力，但是每个厂商的能力不同，所能达到的深度和广度也不尽相同。将各种硬件或软件简单地叠加在一起，其实并不难，最关键的是如何降低用户学习和使用大数据分析平台的成本。

听了江苏曙光信息技术有限公司大数据研发中心项目经理赵本杰的介绍，记者最突出的感觉是方舟大数据融合分析平台没有辜负“一站式”这个称谓。

方舟大数据融合分析平台提供从数据汇聚、数据管理、数据标准化管控到数据建模分析、数据挖掘、数据可视化的全套支持，可有效解决各行业在从GB级到PB级数据分析方面遇到的各种运维管理难题。该平台还通过用户友好的管理界面，向用户提供数据同步、集群管理、任务调度、监控和预警等多方面的一站式支持。赵本杰表示：“简言之，方舟大数据融合分析平台就是一整套支持从数据汇集到数据分析、分析建模的全生态系统。”

中科曙光大数据研发经理郭庆补充说：“通过方舟大数据融合分析平台，各行各业的人员都可以通过可视化界面自行实现对异构生产环境中的结构化和非结构化数据的汇聚整合、数据共享、交互式检索、建模分析、数据挖掘、可视化展示，以及对数据进行全面的管理和任务调度，从而获得一站式大数据功能体验。”

方舟大数据融合分析平台为客户提供了广泛的计算、存储、分析、展示和管理能力，客户无需切换平台即可完成从数据融合到数据共享、构建分析模型、结果可视化展示的过程，并提供丰富的组件库和环境，支持大数据全生命周期的方法论和最佳实践。

借助方舟大数据融合分析平台，曙光的最终目标是建立一体化的大数据分析生态体系，从而实现大数据可视化应用的快速发布，更加具有针对性和时效性，同时基于任务流调度机制也使得数据分析更为便捷。总之，通过一体化大数据资源的提供，可以大幅提升大数据分析应用创建的灵活度，降低使用难度。

数据与业务的融合到底有多难？

方舟大数据融合分析平台在正式发布前就已经在多个行业得到了成功部署和应用，在江苏省通信管理局大数据分析平台、徐州公安智能警务大数据平台、镇江国税大数据融合分析平台、泰州市检察院大数据融合分析平台中都可见曙光方舟大数据融合分析平台的身影。公安、医疗、军工、电力、政务、国企等将是方舟大数据融合分析平台重点突破的行业。

举例来说，将方舟大数据融合分析平台用于警务大数据处理，通过展示目标人详细信息和多维度分析，可以实现同案人员的推送、隐性涉毒人员的挖掘，另外还可以通过时间序列模型、案件增长趋势，建立时间序列等深度分析模型，进行犯罪趋势的预测。据赵本杰介绍，基于方舟大数据融合分析平台构建的开封市公安局警务深度应用平台对套牌车进行分析，准确率超过70%。

王海荣概括说，方舟大数据融合分析平台具有两大突出特色：第一，实现了数据与业务的融合；第二，更加贴近用户的需求。方舟大数据融合分析平台将业务分析需求与易用分析工具紧密结合，大大缩短了数据价值变现的周期。

其实，对于用户来说，大数据不仅仅是一种工具，用户要在应用大数据的过程中，慢慢将大数据变成自己的一种能力，一种数字化运营的能力，这也是未来数字化企业所必须具备的一种能力。

要实现这一目标，就要将大数据与企业自身的业务需求紧紧联系在一起。为此，方舟大数据融合分析平台打造了“数据集市”和“应用集市”的概念，目的是将各业务系统数据、汇聚的数据、经过清洗建模的数据，以及创建的可视化应用推送至统一对外的“集市”中，实现数据和应用的全行业共享。

“方舟大数据融合分析平台还可通过将数据、建模工具、可视化模板对基层业务人员开放，激发用户对数据汇聚和数据建模的热情，让数据和业务真正融合。”郭庆表示。

政府已经明确提出，要以推行电子政务、建设新型智慧城市等为抓手，以数据集中和共享为途径，建设全国一体化的国家大数据中心，推进技术融合、业务融合、数据融合。方舟大数据融合分析平台的推出可谓恰逢其时。以曙光为代表的大数据“中国队”已经整装待发。