通过 spark-submit 提交运行任务，参数说明所下表所示：
spark-submit [options] <app jar | python file> [app options]
| 参数名称 | 含义 |
|---|---|
| --master MASTER_URL | 可以是spark://host:port, mesos://host:port, yarn,yarn-cluster,yarn-client,local |
| --deploy-mode DEPLOY_MODE | Driver程序运行的地方，client或者cluster |
| --class CLASS_NAME | 主类名称，含包名 |
| --name NAME | Application名称 |
| --jars JARS | Driver依赖的第三方jar包 |
| --py-files PY_FILES | 用逗号隔开的放置在Python应用程序PYTHONPATH上的.zip, .egg, .py文件列表 |
| --files FILES | 用逗号隔开的要放置在每个executor工作目录的文件列表 |
| --properties-file FILE | 设置应用程序属性的文件路径，默认是conf/spark-defaults.conf |
| --driver-memory MEM | Driver程序使用内存大小 |
| --driver-java-options | |
| --driver-library-path | Driver程序的库路径 |
| --driver-class-path | Driver程序的类路径 |
| --executor-memory MEM | executor内存大小，默认1G |
| --driver-cores NUM | Driver程序的使用CPU个数，仅限于Spark Alone模式 |
| --supervise | 失败后是否重启Driver，仅限于Spark Alone模式 |
| --total-executor-cores NUM | executor使用的总核数，仅限于Spark Alone、Spark on Mesos模式 |
| --executor-cores NUM | 每个executor使用的内核数，默认为1，仅限于Spark on Yarn模式 |
| --queue QUEUE_NAME | 提交应用程序给哪个YARN的队列，默认是default队列，仅限于Spark on Yarn模式 |
| --num-executors NUM | 启动的executor数量，默认是2个，仅限于Spark on Yarn模式 |
| --archives ARCHIVES | 仅限于Spark on Yarn模式 |
欢迎来到这里！
我们正在构建一个小众社区，大家在这里相互信任，以平等 • 自由 • 奔放的价值观进行分享交流。最终，希望大家能够找到与自己志同道合的伙伴，共同成长。
注册 关于