请用文字描述 Hadoop 的 MapReduce 计算模型,可以从任务的提交、运行、交互、结束等阶段详细描述。根据你所描述的过程模型,是否有可以优化的空间?如果有,可以罗列一些 hadoop 已经实现的优化点,同时提出你自己的优化方案。-笔试面试资料

这是qklbishe.com第9234 篇笔试面试资料
提供答案分析,通过本文《请用文字描述 Hadoop 的 MapReduce 计算模型,可以从任务的提交、运行、交互、结束等阶段详细描述。根据你所描述的过程模型,是否有可以优化的空间?如果有,可以罗列一些 hadoop 已经实现的优化点,同时提出你自己的优化方案。-笔试面试资料》可以理解其中的代码原理,这是一篇很好的求职学习资料
本站提供程序员计算机面试经验学习,笔试经验,包括字节跳动/头条,腾讯,阿里,美团,滴滴出行,网易,百度,京东,小米,华为,微软等互联网大厂真题学习背诵。

答案:

请用文字描述 Hadoop MapReduce 计算模型,可以从任务的提交、运行、交互、结束等阶段详细描述。根据你所描述的过程模型,是否有可以优化的空间?如果有,可以罗列一些 hadoop 已经实现的优化点,同时提出你自己的优化方案。

请用文字描述 Hadoop  的 MapReduce  计算模型,可以从任务的提交、运行、交互、结束等阶段详细描述。根据你所描述的过程模型,是否有可以优化的空间?如果有,可以罗列一些 hadoop  已经实现的优化点,同时提出你自己的优化方案。 小红茶呀
首先是Map阶段:MapReduce先将待处理的数据进行逻辑切片,在任务提交之前,先根据数据的信息进行任务的分配和规划,然后把相关的信息提交给Yarn的ResourceManage,ResourceManage计算出所需的资源并进行分配container启动应用,客户端通过InputFormat进行一个逻辑的切分然后通过RecorderReader转化成键值对的形式提交给map任务进行逻辑计算之后。
在map后reduce前的阶段成为shuffle数据洗牌阶段:通过outputcontroller写到100M大小的环形缓冲区中,进行双向写入一边写索引一边写数据,当环形缓冲区到达80%时,对数据进行分区、快速排序然后溢写磁盘、进行归并排序、之后可以进行combine合并操作、再进行一次归并排序。

进入Reduce阶段:在所有MapReduce任务完成后,启动ReduceTask任务,并把数据分区的信息提交给ReduceTask去处理这些数据。ReduceTask读取磁盘文件进行分组Reduce任务操作通过outputformat写回磁盘。

今天 11:23:08 回复(0)

文章部分来自互联网,侵权联系删除
www.qklbishe.com

区块链毕设网(www.qklbishe.com)全网最靠谱的原创区块链毕设代做网站
部分资料来自网络,侵权联系删除!
资源收费仅为搬运整理打赏费用,用户自愿支付 !
qklbishe.com区块链毕设代做网专注|以太坊fabric-计算机|java|毕业设计|代做平台 » 请用文字描述 Hadoop 的 MapReduce 计算模型,可以从任务的提交、运行、交互、结束等阶段详细描述。根据你所描述的过程模型,是否有可以优化的空间?如果有,可以罗列一些 hadoop 已经实现的优化点,同时提出你自己的优化方案。-笔试面试资料

提供最优质的资源集合

立即查看 了解详情