


版权声明:本文为博主原创文章,未经博主允许不得转载。 http://blog.csdn.net/qq_32166627/article/details/53582587
上一章我们已经安装好了azkaban的web-server和execute-server,下面我们来使用阿兹卡班进行任务调度。
一,最简单的例子:执行单个命令
1,首先按格式写好脚本(linux/windows写都可以),然后打包成zip压缩格式的压缩包。
脚本名为 command.job(脚本名字以.job为扩展名,名字可随意),并打成压缩包command.zip(同样的,以.zip为扩展名,名字可随意)
- #command.job
- type=command
- command=echo "hello world"
输入账号密码(都是admin),在上一章安装过程中,已经指定了admin用户,并赋予管理员权限。
3,点击右上角“Create Project”绿色按钮,新建一个工程。
4,进入工程后,点击右上角“Upload”蓝色按钮,选择第1步中的压缩文件,上传。
5,点击job文件右边的“Execute Flow”绿色按钮,然后出现执行选项,左下角“schedule”设置调度时间,右下角“Execute”立即执行,
执行完可在“Job List->detail" 里查看运行结果。
二,多个job之间存在依赖关系
1,首先创建4个job文件
command1.job
- type=command
- command=echo "hello"
- type=command
- dependencies=command1
- command=echo "jimmy"
- type=command
- dependencies=command1
- command=echo "hello word"
- type=command
- dependencies=command2,command3
- command=echo "hello everyone"
2,将4个文件一起打包上传,再执行。可以看到其依赖关系如下:
那么,command1运行完后才运行command2和3,2和3运行完后才运行command4。
三,同上,可以写3条命令,依次启动zookeeper,hdfs和yarn。
只需按格式写job脚本,添加依赖即可。
四,执行hdfs shell命令,同理,只需修改command命令即可。
五,同样的,还可以运行mr程序,将mr程序打包(wc.jar),然后将命令脚本(hadoop jar wc.jar)和wc.jar打包在一起,上传运行即可。