2021-04-03 13-09-09_1-【大数据】大数据技术概述

热门回复：

• SparkFly_Lin:第一期 概述 发展历史 存储 - 2000年， google意识到了单机是难以**存储**全量的数据，那怎么完成数据的分布式存储了。提出了DFS文件系统 计算 - Map reduce的思想 - mapper 执行子任务的人 - Reducer 汇总的人 > MapReduce最早是由Google公司研究提出的一种面向**大规模数据处理**的【并行计算模型】(https://baike.baidu.com/item/并行计算模型/6772361)和方法。Google公司设计MapReduce的初衷主要是为了解决其**搜索引擎**中**大规模网页数据**的并行化处理。 > > Google公司发明了MapReduce之后首先用其重新改写了其搜索引擎中的**Web文档索引**处理系统。 > > 但由于MapReduce可以普遍应用于很多大规模数据的计算问题，因此自发明MapReduce以后，Google公司内部进一步将其**广泛应用于**很多**大规模数据**处理问题。 > > Google公司内有上万个各种不同的算法问题和程序都使用MapReduce进行处理。 三个臭皮匠，定一个诸葛亮
• 吉光-片羽:不催你是不是就不更了
• vagusss:老哥涉略之广真让人佩服
• uswkhoajw:大数据很多时候是SQL boy[doge]
• 糖小雪啦:HDFS是三个臭皮匠顶一个诸葛亮 MapReduce是分工合作写暑假作业[吃瓜]