加入收藏 | 设为首页 | 会员中心 | 我要投稿 52站长网 (https://www.52zhanzhang.com/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 站长资讯 > 传媒 > 正文

被仰望和遗忘过的Cloudera是否能王者归来?

发布时间:2020-04-15 19:14:57 所属栏目:传媒 来源:站长网
导读:副标题#e# 先想象这样一个场景 你家有个天台,上面什么都没有。 你一筐筐的把土背上去,铺了一小块地,然后又挑水施肥,种了几垄黄瓜、几棵西红柿和一小簇青菜。 你照顾的很用心,他们长势也很不错,红红绿绿,晨曦中沾满露水,散发出泥土的气息。 然后等到
副标题[/!--empirenews.page--]

先想象这样一个场景——

你家有个天台,上面什么都没有。

你一筐筐的把土背上去,铺了一小块地,然后又挑水施肥,种了几垄黄瓜、几棵西红柿和一小簇青菜。

你照顾的很用心,他们长势也很不错,红红绿绿,晨曦中沾满露水,散发出泥土的气息。

然后等到秋天,你兴冲冲跑上天台,结果门一开,噗的惊飞一片麻雀,噗噗啦啦之后只见黄瓜断了,西红柿也满是洞,他们绿的红的汁,滴在被爪子踩的不成样子的青菜里,一片狼藉。

而且这还是个温暖又明媚的午后。

于是你闻着别处的稻香,在金黄的秋风里,感到一阵凄凉。

——这时你再看Cloudera的故事,大概才能感同身受。

01 被仰望的

Cloudera的故事要从Hadoop开始说,而说Hadoop就离不开Doug Cutting。

Doug Cutting现在是Apache基金会的主席,标准的大神。在我心目中,他和谷歌AI负责人Jeff Dean、Linux之父Linus并称三大天王,高山仰止,令我自惭形秽,最终放弃编程。

2004年,Doug Cutting正在捣鼓Nutch,Nutch是一个开源搜索引擎,关于它和Lucene的故事又是一个传奇,可以再开一篇单独讲。总之,Doug Cutting碰到了一些大规模索引和分布式计算的问题,恰好这时看到谷歌发表的两篇论文里有相似场景及解决方案。仔细研究之后,他觉得非常有道理,于是很快就把论文里的技术实现了,包括一个分布式计算框架MapReduce和一个分布式存储系统HDFS,然后放进了自己的Nutch里。

2006年,Doug Cutting预感到这种数据处理技术有着更大的潜力,便把MapReduce和HDFS从Nutch中独立出来,合成一个后开源了,取名为Hadoop。那会他儿子刚好两岁,不大会讲话,总管自己的玩具象叫Hadopp,Doug Cutting灵机一动,便把这个名字拿了过来。

同年,为了进一步发展Hadoop,Doug Cutting决定加入互联网公司里最大的雅虎。

大概他也没想到,大数据时代的序幕就这样被拉开了。

在雅虎,Hadoop的集群规模很快过千,Doug Cutting也认识了雅虎副总裁Amr Awadallah。

为了对抗日渐崛起的谷歌,Amr当时正在研究如何让雅虎搜索更智能,也碰到很多性能、成本与弹性的问题。在Doug Cutting的建议下,他开始尝试Hadoop。在随后的两年里,Amr基于Hadoop改造了之前的数据处理系统,结果可以说是惊人的好——完成相同的工作,新系统成本不过是之前的十分一,更重要的,他们还能做之前根本无法想象的事情,比如全量分析以PB记的数据。

这让Amr大为惊喜,他进一步想,这些问题应该不止雅虎会碰到,Hadoop这种革命性的数据处理能力里蕴含着巨大商机。于是他萌生了一种想法,创业。这并不是Amr的第一次创业,实际上他在很早之前就创立了一家叫做VivaSmart的公司,然后2000年公司被雅虎收购,他才随之加入雅虎。

Amr召集起几个志同道合的人,包括两位分别来自谷歌和Facebook的工程师和一位来自Oracle的经理人Mike Olson,很快在硅谷成立了一家公司,自己担任CTO。

公司的名字叫Cloudera,CEO是Mike Olson。

Mike Olson何许人也?其实他和Amr一样,也是自己的公司被收购后加入大公司的。在Oracle之前,他曾是Sleepycat的CEO,而在Sleepycat之前,他又参与过IIIustra的创业。这两家都是在开源软件上创业的商业公司,Sleepycat基于Berkeley DB,IIIustra基于PostgreSQL。这几乎和他们要做的Cloudera一模一样。

那时是2008年,Hadoop正以燎原之势蔓延,不仅席卷了硅谷,也燃烧到了大洋彼岸的淘宝和百度等,于是很快就成了Apache的顶级项目。

一年后,Doug Cutting加入Cloudera,职位是首席架构师,而作为Hadoop的创始人,他也很快被选为Apache基金会主席。

天时、地利、人和,独角兽的羽翼鼓涨满满,只等风来。

2009年,Cloudera拿到了500万美金的第一笔投资,2011年,拿到了4000万美金的第二笔,三年之后,它又拿到了高达9亿美金的第三笔。

如果那时你搜索Hadoop is,输入栏会自动补齐 future。

我记得那时我大学快毕业。有次看到班里一个同学正坐在电脑前贱兮兮的笑,我问他在干啥,他说在改简历,我更加好奇便凑了过去,只见他正把一段网上复制的内容贴到“技能“那一栏里去。我不解,他咔咔使劲按了几下Control+S后嘻嘻道,现在流行云计算,只要描述里出现Hadoop,肯定能过简历关。

而且经过实践,这是真的。Hadoop受欢迎的夸张程度,可见一斑。

另外,估计那会大家都分不清什么是云计算哪个是大数据,不仅我分不清,你看阿里云早期的飞天系统,其实也是一个大数据处理工具,而且可能Cloudera也分不清,不然怎么他一个搞Hadoop的公司,起名叫Cloudera呢?

这边Hadoop野蛮生长,那边Cloudera合纵连横,先是和Oracle达成战略合作,接着戴尔、Intel、埃森哲、德勤、MasterCard、SAP、TeraData、微软等也纷纷入局。

所有人都关注着它,生怕错过什么。

2013年的时候,Mike Olson信心十足的写下了《The Cloudera Model》一文,表示Cloudera已经找到了Hadoop上成功的商业模式。

那时的Cloudera,可以说是大数据领域最耀眼的星。2015年华尔街日报做了一个独角兽排名,它是唯一上榜的大数据公司,排名21,比大众点评还高。

2017年,Cloudera成功上市。

02 被遗忘的

随着时间发展,Hadoop的概念逐渐泛化。一开始只有HDFS和Mapreduce,然后是一个以HDFS和YARN为基础的平台,再之后是一个包含Spark、Hive、Hbase等几十个项目和子项目的生态,最后,甚至又带上了以Hadoop为基础的商业公司,如Cloudera、Hortonworks、MapR等。

这种泛化有个坏处,那就是一旦出现负面新闻,大家往往分不清该怪谁。

比如作为一种技术,Hadoop肯定有其时效性。就像Mapreduce,虽然计算能力强大,但一切都是先Map再Reduce的抽象程度实在太粗鲁,以至于理念上很快就被Spark、Flink等这种更先进的技术打败了。与之相似的,还有HDFS和YARN,从技术上说,前者不如云存储方便,后者不如K8S灵活,都有被取代的风险。

于是有人便开始宣称Hadoop已死,然后又说,因为Hadoop已死,Cloudera也不行了。典型的用狭义概念做总结,用广义概念做推导,就像偶尔看到汽车超过了一辆绿皮车,就立马得出铁路运输已死,公路运输是未来一样。

然而这种暴力论断却非常有市场。

(编辑:52站长网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

热点阅读