Skip to main content
 Web开发网 » 操作系统 » linux系统

hadoop是什么意思?与大数据有什么关系?

2021年10月14日6620百度已收录

一、hadoop是什么意思?

Hadoop是具体的开源框架,是工具,用来做海量数据的存储和计算的。

二、hadoop与大数据的关系

首先,大数据本身涉及到一个庞大的技术体系,从学科的角度来看,涉及到数学、统计学和计算机三大学科,同时还涉及到社会学、经济学、医学等学科,所以大数据本身的知识量还是非常大的。

从当前大数据领域的产业链来看,大数据领域涉及到数据采集、数据存储、数据分析和数据应用等环节,不同的环节需要采用不同的技术,但是这些环节往往都要依赖于大数据平台,而Hadoop则是当前比较流行的大数据平台之一。

Hadoop平台经过多年的发展已经形成了一个比较完善的生态体系,而且由于Hadoop平台是开源的,所以很多商用的大数据平台也是基于Hadoop搭建的,所以对于初学大数据的技术人员来说,从Hadoop开始学起是不错的选择。

当前Hadoop平台的功能正在不断得到完善,不仅涉及到数据存储,同时也涉及到数据分析和数据应用,所以对于当前大数据应用开发人员来说,整体的知识结构往往都是围绕大数据平台来组织的。随着大数据平台逐渐开始落地到传统行业领域,大数据技术人员对于大数据平台的依赖程度会越来越高。

当前从事大数据开发的岗位可以分为两大类,一类是大数据平台开发,这一类岗位往往是研发级岗位,不仅岗位附加值比较高,未来的发展空间也比较大,但是大数据平台开发对于从业者的要求比较高,当前有不少研究生在毕业后会从事大数据平台开发岗位。

另一类是大数据应用开发岗位,这类岗位的工作任务就是基于大数据平台(Hadoop等)来进行行业应用开发,在工业互联网时代,大数据应用开发岗位的数量还是比较多的,而且大数据应用开发岗位对于从业者的要求也相对比较低。

评论列表暂无评论
发表评论
微信