Spark SQL fillna 函数：填充空值 (null 或 NaN) 的指南

fillna 函数是 Spark SQL 中的一个方法，用于填充 DataFrame 或 Dataset 中的空值（null 或 NaN）。它接受一个值或一个 Map 作为参数，并将空值替换为指定的值或使用 Map 中指定的列名和对应的值进行替换。\n\n使用 fillna 函数可以对 DataFrame 或 Dataset 中的特定列或所有列进行空值填充。以下是 fillna 函数的示例用法：\n\n1. 对特定列进行空值填充：\n\nscala\ndf.fillna("N/A", Seq("column1"))\n\n\n上述代码将 DataFrame df 中的 "column1" 列中的空值替换为 "N/A"。\n\n2. 对所有列进行空值填充：\n\nscala\ndf.fillna("N/A")\n\n\n上述代码将 DataFrame df 中的所有列中的空值替换为 "N/A"。\n\n3. 使用 Map 进行空值填充：\n\nscala\nval fillValues = Map("column1" -> "N/A", "column2" -> 0)\ndf.fillna(fillValues)\n\n\n上述代码将 DataFrame df 中的 "column1" 列中的空值替换为 "N/A"，将 "column2" 列中的空值替换为 0。\n\n需要注意的是，fillna 函数不会修改原始的 DataFrame 或 Dataset，而是返回一个新的 DataFrame 或 Dataset，其中空值已经被填充。