如需要完整文档点击下方 "点击下载文档" 按钮
分析Spark的作业执行机制,建立了执行效率模型和Shuffle过程模型,给出了分配适应度(AFD,allocation fitness degree)的定义,提出了算法的优化目标。根据模型的相关定义求解,设计了渐进填充分区映射算法(PFPM,progressive filling partitioning and mapping algorithm),通过扩展式分区和渐进填充映射,建立适应Reducer计算能力的数据分配方案,有效缩减Shuffle过程的同步延时,提高集群计算效率。实验表明该算法提高了Shuffle过程数据分配的合理性,优化了并行计算框架Spark的作业执行效率。
如需要完整文档点击下方 "点击下载文档" 按钮
![基于分配适应度的Spark渐进填充分区映射算法](https://www.lunwen211.com/static/picture/icon_down.png)
《基于分配适应度的Spark渐进填充分区映射算法》
将 完整文档 下载到本地,方便收藏和查阅
文件号:257029
![基于分配适应度的Spark渐进填充分区映射算法](https://www.lunwen211.com/static/picture/down.png)
点击下载文档