如何挑选合适的大数据或Hadoop平台?(3)

　　大数据套件提供商

　　大数据套件的数目在持续增长。你可以在几个开源和专有提供商之间选择。像IBM、Oracle、Microsoft等这样的大部分大软件提供商将某一类的大数据套件集成到自己的软件产品组合中。而绝大多数的这些厂商仅只支持某一个Hadoop发行版本，要么是自己的，要么和某个Hadoop发行版本提供商合作。

　　从另外一方面来看，还有专注于数据处理的提供商可供选择。它们提供的产品可用于数据集成、数据质量、企业服务总线、业务流程管理和更进一步的集成组件。既有像Informatica这样的专有提供商，也有Talend或Pentaho这样的开源提供商。某些提供商不只支持某一个Hadoop发行版本，而是同时支持很多的。比如，就在撰写本文的时刻，Talend就可以和Apache Hadoop、Cloudera、Hortonworks、MapR、Amazon Elastic MapReduce或某个定制的自创发行版本(如使用EMC的Pivotal HD)一起使用。

　　如何选择合适的大数据套件?

　　本文不会评估各个大数据套件。当你选择大数据套件时，应考虑几个方面。下面这些应该可以帮助你为自己的大数据问题作出合适的抉择：

　　简单性：亲自试用大数据套件。这也就意味着：安装它，将它连接到你的Hadoop安装，集成你的不同接口(文件、数据库、B2B等等)，并最终建模、部署、执行一些大数据作业。自己来了解使用大数据套件的容易程度——仅让某个提供商的顾问来为你展示它是如何工作是远远不够的。亲自做一个概念验证。

　　广泛性：是否该大数据套件支持广泛使用的开源标准——不只是Hadoop和它的生态系统，还有通过SOAP和REST web服务的数据集成等等。它是否开源，并能根据你的特定问题易于改变或扩展?是否存在一个含有文档、论坛、博客和交流会的大社区?

　　特性：是否支持所有需要的特性?Hadoop的发行版本(如果你已经使用了某一个)?你想要使用的Hadoop生态系统的所有部分?你想要集成的所有接口、技术、产品?请注意过多的特性可能会大大增加复杂性和费用。所以请查证你是否真正需要一个非常重量级的解决方案。是否你真的需要它的所有特性?

　　陷阱：请注意某些陷阱。某些大数据套件采用数据驱动的付费方式(“数据税”)，也就是说，你得为自己处理的每个数据行付费。因为我们是在谈论大数据，所以这会变得非常昂贵。并不是所有的大数据套件都会生成本地Apache Hadoop代码，通常要在每个Hadoop集群的服务器上安装一个私有引擎，而这样就会解除对于软件提供商的独立性。还要考虑你使用大数据套件真正想做的事情。某些解决方案仅支持将Hadoop用于ETL来填充数据至数据仓库，而其他一些解决方案还提供了诸如后处理、转换或Hadoop集群上的大数据分析。ETL仅是Apache Hadoop和其生态系统的一种使用情形。

　　决策树：框架vs.发行版本vs.套件

　　现在，你了解了Hadoop不同选择之间的差异。最后， 让我们总结并讨论选择Apache Hadoop框架、Hadoop发行版本或大数据套件的场合。

　　下面的“决策树”将帮助你选择合适的一种：

　　Apache：

　　学习并理解底层细节?

　　专家?自己选择和配置?

　　发行版本：

　　容易的设置?

　　初学(新手)?

　　部署工具?

　　需要商业支持?

　　大数据套件：

　　不同数据源集成?

　　需要商业支持?

　　代码生成?

　　大数据作业的图形化调度?

　　实现大数据处理(集成、操作、分析)?

　　结论

　　Hadoop安装有好几种选择。你可以只使用Apache Hadoop项目并从Hadoop生态系统中创建自己的发行版本。像Cloudera、Hortonworks或MapR这样的Hadoop发行版本提供商为了减少用户需要付出的工作，在Apache Hadoop之上添加了如工具、商业支持等特性。在Hadoop发行版本之上，为了使用如建模、代码生成、大数据作业调度、所有不同种类的数据源集成等附加特性，你可以使用一个大数据套件。一定要评估不同的选择来为自己的大数据项目做出正确的决策。

原文转自：http://www.infoq.com/cn/articles/BigDataPlatform