Go 语言将 Spark 默认配置转换为结构体
代码转换如下:
// Spark默认配置
type SparkDefault struct {
OSSDir string `json:"spark.eventLog.dir"`
AccessKey string `json:"spark.hadoop.fs.s3a.access.key"`
SecretKey string `json:"spark.hadoop.fs.s3a.secret.key"`
EndPoint string `json:"spark.hadoop.fs.s3a.endpoint"`
SSLEnabled string `json:"spark.hadoop.fs.s3a.connection.ssl.enabled"`
LocalShuffleEnabled string `json:"spark.local.shuffle.enabled"`
SkewJoinEnabled string `json:"spark.sql.adaptive.skewJoin.enabled"`
AdaptiveEnabled string `json:"spark.sql.adaptive.enabled"`
JoinReorderEnabled string `json:"spark.sql.cbo.joinReorder.enabled"`
DriverPodTplPath string `json:"spark.kubernetes.driver.podTemplateFile"`
ExecutorPodTplPath string `json:"spark.kubernetes.executor.podTemplateFile"`
ServiceAccountName string `json:"spark.kubernetes.authenticate.driver.serviceAccountName"`
Image string `json:"spark.kubernetes.container.image"`
}
请注意,结构体中的字段名称需要与原始配置中的键名相对应。
原文地址: https://www.cveoy.top/t/topic/pgnO 著作权归作者所有。请勿转载和采集!