spark假设我有100G数据spark提交参数如何配置更合理

在提交Spark任务时，需要考虑以下参数：

1. executor数量：这个参数取决于集群的可用资源和任务的复杂度。通常情况下，每个executor都需要分配到一定的CPU和内存资源。如果资源不足，可能会导致executor无法处理任务，从而导致任务失败。

2. executor内存：这个参数决定了每个executor可以使用多少内存来处理任务。通常情况下，内存越大，可以处理的数据量就越大。但是，如果内存过大，可能会导致资源分配不足，从而影响任务的执行。

3. executor CPU核数：这个参数决定了每个executor可以使用多少CPU核来处理任务。通常情况下，CPU核数越多，可以处理的数据量就越大。但是，如果CPU核数过大，可能会导致资源分配不足，从而影响任务的执行。

4. shuffle分区数：这个参数决定了Spark任务中的shuffle操作时，将数据分成多少个分区。通常情况下，分区数越多，可以处理的数据量就越大。但是，如果分区数过多，可能会导致资源分配不足，从而影响任务的执行。

5. 缓存大小：这个参数决定了Spark任务中可以使用多少缓存来加速任务。通常情况下，缓存越大，可以处理的数据量就越大。但是，如果缓存过大，可能会导致资源分配不足，从而影响任务的执行。

因此，对于100G数据的Spark任务，建议配置如下：

1. executor数量：根据集群资源情况，可以配置10-20个executor。

2. executor内存：每个executor分配4-8G内存。

3. executor CPU核数：每个executor分配2-4个CPU核。

4. shuffle分区数：根据数据量大小，可以配置100-200个分区。

5. 缓存大小：根据任务复杂度和数据量大小，可以配置1-2G缓存。

当然，这些参数的最佳配置取决于具体的场景和任务需求，需要根据实际情况进行调整