智能航运数据处理的分布式弹性计算技术研究与应用
值和它相关的中间value值的集合传递给用户自定义的reduce函数。reduce函数的输出被追加到所属分区的输出文件。⑺ 当所有的map和reduce任务都完成之后，master唤醒计算程序。在这个时候，在计算程序里的对MapReduce调用才返回。2.2.2 结果数据的处理在成功完成任务之后，MapReduce的输出存放在R个输出文件中（对应每个Reduce任务产生一个输出文件，文件名由用户指定）。如果这些输出不是最终的业务计算结果，则不需要将这R个输出文件合并成一个文件，而是把这些文件作为另外一个MapReduce的输入，或者在另外一个可以处理多个分割文件的分布式应用中使用。当得出最终的业务计算结果，可能需要将数据迁移到适合业务应用访问的存储中，比如关系型数据库或支持高并发、低响应延迟的NOSQL数据库中。3 节点故障处理机制作为一个分布式计算平台必须要能很好地处理节点故障，不能因为某一个节点的故障而导致整个集群的计算任务失败。对于任务本身因为代码缺陷造成的执行失败，当任务执行次数超过一定
<<上一页 下一页>>
广州市越秀区图书馆版权所有。
联系电话：020-87673002
本站访问人数：