Spark Driver Stacktrace 调参指南：优化内存使用及性能
-
尽量避免使用大量的数据和任务，可以适当减少任务数量来降低内存压力。
-
尽量把计算任务拆分成小任务，可以减少Spark计算节点之间的通信量，减少等待时间。
-
尽量减少每个任务的数据量，可以减少每个任务的执行时间。
-
尽量少使用缓存，可以减少内存占用。
-
尽量使用更高版本的Spark，可以获得更高的效率。
原文地址: https://www.cveoy.top/t/topic/lmrf 著作权归作者所有。请勿转载和采集!