| 动力节点 5.Hadoop 一群基于Java的工具被开发出来以满足数据处理的巨大需求。Hadoop作为首选的基于Java的框架用于批处理数据已经点燃了大家的热情。Hadoop比其他一些处理工具慢，但它出奇地准确，因此被广泛用于后端分析。 6.Hive Hive，一个基于查询并且运行在顶部的框架，可以和Hadoop很好地结对工作。 7.Scala Scala是另一种基于Java的语言，并且和Java相同的是，它正日益成为大规模机器学习或构建高层次算法的工具。它富有表现力，并且还能够构建健壮的系统。“Java就像是建造时的钢铁，而Scala则像黏土，因为你可以将之放入窑内转变成钢铁。”Driscoll说。 8.Kafka 那么，当你需要快速实时地分析时又该怎么办呢？Kafka会成为你的好朋友。它大概5年前就已经出现了，但是直到最近才成为流处理的流行框架。 Kafka，诞生于LinkedIn内部，是一个超快速的查询消息系统。如果你问Kafka的缺点？好吧，它太快了，在实时操作时会导致自身出错，并且偶尔地会遗漏东西。“在精度和速度之间有一个权衡，”Driscoll说，“因此，硅谷所有的大型高科技公司都会使用两条管道：Kafka或Storm用于实时处理，然后Hadoop用于批处理系统，此时虽然是缓慢的，但超级准确。” 9.Storm Storm是用Scala编写的另一个框架，它在硅谷中因为流处理而受到了大量的青睐。它被Twitter纳入其中，勿庸置疑的，这样一来，Twitter就能在快速事件处理中得到巨大的裨益。 以上就是小编从课堂上偷听来为大家分享的，怎么样感觉还有用吗？而且现在大数据人才的需求量不言而喻。动力节点的小编希望大家都能学好大数据语言，为自己的职场晋升做好准备。如果你感觉有用给小编一个赞哦~ |
小黑屋|在路上
( 蜀ICP备15035742号-1 ) 
GMT+8, 2025-7-7 18:27
Copyright 2015-2025 djqfx
