智能航运数据处理的分布式弹性计算技术研究与应用
次执行那些不可访问的worker的工作，之后继续执行未完成的任务，直到最终完成这个MapReduce操作。3.1.2 mastre故障一个简单的解决办法是，让master周期性的将描述集群计算任务的数据结构的写入磁盘（位于集群以外的位置），即检查点（checkpoint）。如果这个master任务失效了，可以从最后一个检查点（checkpoint）开始启动另一个master进程。然而，由于只有一个master进程，master失效后再恢复是比较麻烦的，因此我们现在的实现是，如果master失效就中止MapReduce运算。客户可以检查到这个状态，并且可以根据需要重新执行MapReduce操作[2]。当用户提供的map和reduce操作是输入确定性函数（即相同的输入产生相同的输出）时，我们的分布式计算任务在任何情况下的输出都和所有程序以正常的顺序执行所产生的输出是一样的。3.2 省级分节点故障基于全局分布式框架的计算模型，如果省级分节点发生故障，则该省的数据将缺失（主要是影响动态感知数据），和该省相关的数据计算任务都将失败。但不会影响其他省与中
<<上一页 下一页>>
广州市越秀区图书馆版权所有。
联系电话：020-87673002
本站访问人数：