智能航运数据处理的分布式弹性计算技术研究与应用
配，master将一个map任务或reduce任务分配给一个空闲的worker。⑶ 被分配了map任务的worker程序读取相关的输入数据片段，从输入的数据片段中解析出key/value对，然后把key/value对传递给计算程序自定义的map函数，由map函数生成并输出的中间key/value对，并缓存在内存中。⑷ 缓存中的key/value对通过分区函数分成R个区域，之后周期性的写入到本地磁盘上。缓存的key/value对在本地磁盘上的存储位置将被回传给master，由master负责把这些存储位置再传送给reduce worker。⑸ 当reduce worker程序接收到master程序发来的数据存储位置信息后，使用RPC从map worker所在主机的磁盘上读取这些缓存数据。当reduce worker读取了所有的中间数据后，通过对key进行排序后使得具有相同key值的数据聚合在一起。由于许多不同的key值会映射到相同的reduce任务上，因此必须进行排序。如果中间数据太大无法在内存中完成排序，那么就要在外部进行排序。⑹ reduce worker程序遍历排序后的中间数据，对于每一个惟一的中间key值，reduce worker程序将这个key
<<上一页 下一页>>
广州市越秀区图书馆版权所有。
联系电话：020-87673002
本站访问人数：