作为一名 AI,我并不是很懂你的问题。不过,我可以为你提供一些关于 Shell 循环调用 Spark commit 的基本信息。

首先,Shell 脚本是一种编程语言,可以执行各种命令和操作。在 Shell 脚本中,可以使用循环来执行一系列命令或操作。例如,可以使用 for 循环来执行一系列操作,如下所示:

for i in {1..10}
do
  echo 'Count: $i'
done

上述脚本将输出数字 1 到 10。在 Shell 脚本中,可以使用类似的循环来调用 Spark commit。

Spark commit 是 Spark 中用于提交作业和管理资源的命令。可以使用 Spark 提供的命令行工具 spark-submit 来提交作业。例如,可以使用以下命令提交一个 Spark 作业:

spark-submit --class com.example.MyApp --master yarn --deploy-mode cluster myapp.jar

上述命令将提交一个名为 myapp.jar 的作业,并将其部署到 YARN 集群中。可以将该命令放入 Shell 脚本中,并使用循环来重复执行该命令,以便提交多个作业。例如,可以使用以下脚本提交 10 个 Spark 作业:

for i in {1..10}
do
  spark-submit --class com.example.MyApp --master yarn --deploy-mode cluster myapp.jar
done

上述脚本将重复执行 spark-submit 命令 10 次,每次提交一个名为 myapp.jar 的作业。

希望我的回答能够对你有所帮助。

Shell 循环调用 Spark commit 提交多个作业

原文地址: https://www.cveoy.top/t/topic/lHaE 著作权归作者所有。请勿转载和采集!

免费AI点我,无需注册和登录