智能航运数据处理的分布式弹性计算技术研究与应用
阈值后便不再执行，不列为节点故障问题。3.1 中心节点故障中心节点分布式框架中存在worker和master两类节点角色。3.1.1 worker故障master周期性地ping每个worker。如果在一个约定的时间范围内没有收到worker返回的信息，master将把这个worker标记为失效。所有由这个失效的worker完成的map任务被重设为初始的空闲状态，之后这些任务就可以被安排给其他的worker。同样，worker失效时正在运行的map或reduce任务也将被重新置为空闲状态，等待重新调度[2]。当worker故障时，由于已经完成的map任务的输出存储在这台机器上，map任务的输出已不可访问了，因此必须重新执行。而已经完成的reduce任务的输出存储在全局文件系统上，因此不需要再次执行。当一个map任务首先被worker A执行，之后由于worker A失效了，又被调度到worker B执行，这个“重新执行”的动作会通知给所有执行reduce任务的worker。任何还没有从worker A读取数据的reduce任务将从worker B读取数据。MapReduce可以处理大规模worker失效的情况，MapReduce master只需要简单地再
<<上一页 下一页>>
广州市越秀区图书馆版权所有。
联系电话：020-87673002
本站访问人数：