Spark Submit 参数详解 - 轻松运行 Spark 应用程序

Spark Submit 是 Spark 提供的命令行工具，可以用于提交和运行 Spark 应用程序。下面是一些常用的 Spark Submit 参数：

• --class: 指定主类名，即包含 main 方法的类的全限定名。
• --master: 指定 Spark 集群的 master URL，如 local、yarn、mesos、spark://host:port 等。
• --deploy-mode: 指定应用程序运行模式，可选值为 client 和 cluster。client 模式表示在客户端运行应用程序，cluster 模式表示在集群中运行应用程序。
• --executor-memory: 指定每个 executor 的内存大小，默认为 1g。
• --num-executors: 指定 executor 的数量。
• --driver-memory: 指定 driver 的内存大小，默认为 1g。
• --conf: 指定 Spark 配置属性。如 --conf spark.executor.instances=4 表示指定 executor 数量为 4。
• --jars: 指定运行时需要添加的 jar 包，多个 jar 包用逗号隔开。
• --files: 指定运行时需要添加的文件，多个文件用逗号隔开。

例如，以下是一个使用 Spark Submit 提交应用程序的命令：

spark-submit --class com.example.MyApp \
--master yarn \
--deploy-mode client \
--executor-memory 2g \
--num-executors 4 \
--jars /path/to/jar1,/path/to/jar2 \
/path/to/myapp.jar