Skip to main content
 首页 » 操作系统 » linux系统

属于 Hadoop 的大数据时代已结束

属于 Hadoop 的大数据时代已结束  第1张

作者 | Andrew Brust译者 | 风车云马出品 | CSDN(ID:CSDNnews)以下为译文:

在11天内,13个与大数据相关的 Apache 项目(包括 Sentry、Tajo 和 Falcon)宣布取消。Hadoop 和大数据的理想主义时代似乎正式结束了。

Apache Hadoop 曾经是大数据的代言人,而今已经过了它的鼎盛时期,这已经不是什么秘密了。自4月1日以来,Apache Software Foundation (apache 软件基金会,简称 ASF)就宣布,至少有19个开源项目将退出其“Attic”项目,其中13个项目与大数据相关,10个项目属于 Hadoop 生态系统。

属于 Hadoop 的大数据时代已结束  第2张

项目清单

虽然个别项目的取消公告似乎无关紧要,但从整体上看,它们构成了一个分水岭事件。为了帮助从业者和行业观察人士理解大数据开源重组的全部影响,我们列出了一个清单,以下是一些与大数据相关的 Apache 取消项目:

Apex:基于 Hadoop YARN 的大数据流和批处理统一平台。

Chukwa:一个用于监控大型分布式系统的数据收集系统,构建在 Hadoop 分布式文件系统(HDFS)上。

Crunch:提供了一个编写、测试和运行 MapReduce(包括 Hadoop MapReduce)管道的框架。

Eagle:在大数据平台(包括 Hadoop)上即时识别安全和性能问题的分析解决方案。

Falcon:为 Hadoop 设计的数据处理和管理解决方案,用于数据移动、数据管道协调、生命周期管理和数据发现。

Hama:一个大数据分析框架,运行在 Hadoop 上,基于批量同步并行范式。

Lens:提供了一个统一的分析界面,将 Hadoop 与传统数据仓库集成在一起,看起来就像一个数据仓库。

Marmotta:一个链接数据的开放平台。

Metron:专注于实时大数据安全。

PredictionIO:机器学习服务器,用于管理和部署可用于生产的预测服务。

Sentry:在 Apache Hadoop 中对数据和元数据执行细粒度授权的系统。

Tajo:Hadoop 上的大数据仓库系统。

Twill:使用 Hadoop YARN 的分布式功能和运行线程的编程模型。

属于 Hadoop 的大数据时代已结束  第3张

不容忽略的事实

全部的列表很长,上面只是包括大数据项目的一部分。此外,由于 Cloudera、Hortonworks 的合并,Sentry 和 Metron 项目实质上已经分别被类似的 Ranger 和 Spot 项目取代。

那次合并本身就根植于大数据市场的整合,而且这种非常大的数据整合也解释了上述所有项目取消的原因。至少可以说,在不到两周的时间内宣布所有这些项目的取消是值得注意的。

属于 Hadoop 的大数据时代已结束  第4张

官方评价

我向 ASF 询问了大数据项目平台的清理事宜。ASF 负责营销和宣传的副总裁 Sally Khudairi 通过电子邮件回复道:“Apache 项目活动在其生命周期中有起有落,这取决于社区的参与程度。我们从项目管理委员会(pmc)内部到董事会,对几个 Apache 项目的审查和评估活动有所增加,他们投票决定是否让项目退出。” Khudairi 还表示,最近 ASF 负责 Apache 的副总裁 Hervé Boutemy 非常高效地进行了“春季大扫除”,为准备取消的几十个项目做了一些收尾工作。

尽管 ASF 断言这次大数据整合只是常规项目取缔所引发的一个高潮,但很明显,大数据领域的情况已经发生了变化。Hadoop 在开源分析技术上的主导地位已经让位于 Spark,Hortonworks 和 Cloudera 之前毫无意义的重复项目已经停止,这就像达尔文进化论的自然选择过程一样。

属于 Hadoop 的大数据时代已结束  第5张

我们需要谨慎

很明显在大数据领域,投资 Apache Sentry 的大量供应商和客户现在不得不考虑他们的损失。伴随着这个残酷的现实,我们得到了深刻的教训,这个教训几乎适用于每一个技术类别的炒作周期:一开始社区会变得兴奋起来,然后开源技术会激增,生态系统也会建立起来;但这些生态系统并不是永恒的,几乎任何新平台都存在固有的风险,无论是商业平台还是开源平台。

用 ASF 的 Khudairi 的话来说:“是每个项目背后的社区使其代码保持活力(代码不会自己写),所以社区在项目中改变步调并不罕见。”换句话说,前沿技术是令人兴奋的,但早期采用者需要谨慎:它也是不稳定的。注意形势的变化,并管理你的风险。

原文链接:/

声明:本文由CSDN翻译,转载请注明来源。

评论列表暂无评论
发表评论
微信