欢乐生肖_欢乐生肖官方 - 由欢乐生肖,欢乐生肖官方社主办的《欢乐生肖,欢乐生肖官方》是我国消费领域中一张全国性、全方位、大容量的综合性日报。其立足消费网投领域,依托轻工行业,面向城乡市场,最先发布相关的专业权威资讯。

Hadoop客户端Job提交流程

  • 时间:
  • 浏览:1

     org.apache.hadoop.mapreduce.JobSubmitter#writeSplits()

3. 拆分输入文件,生成splits

从源码层面,总结下Hadoop客户端提交作业的流程:

     a. 调用job.getInputFormat().getSplits()

     b. 根据split size (通常却说HDFS block size), 将文件拆分成多个逻辑上的Split。

     org.apache.hadoop.mapreduce.Job#connect

     copyAndConfigureFiles(job, submitJobDir);

2. 上传作业代码jobjar, libjar等,从本地文件系统到HDFS中去。

1. 挑选使用分布式环境通信协议,还是本地调试通信协议