PySpark 连接 SQL Server 数据库 - 使用 pymssql 库

要在 PySpark 中使用 pymssql 连接 SQL Server 数据库，您需要先安装 pymssql 库。您可以使用以下命令在 PySpark 中安装 pymssql：\n\npython\n!pip install pymssql\n\n\n安装完成后，您可以使用以下代码示例在 PySpark 中连接 SQL Server 数据库：\n\npython\nfrom pyspark.sql import SparkSession\n\n# 创建 SparkSession\nspark = SparkSession.builder \n .appName("SQL Server Connection") \n .config("spark.driver.extraClassPath", "/path/to/pymssql.jar") \n .getOrCreate()\n\n# 连接 SQL Server 数据库\njdbc_url = "jdbc:sqlserver://hostname:port;databaseName=dbname"\nconnection_properties = {\n "user": "username",\n "password": "password",\n "driver": "com.microsoft.sqlserver.jdbc.SQLServerDriver"\n}\n\ndf = spark.read \n .jdbc(url=jdbc_url, table="tablename", properties=connection_properties)\n\n# 执行 SQL 查询\ndf.show()\n\n# 关闭 SparkSession\nspark.stop()\n\n\n请确保将hostname、port、dbname、username、password、tablename替换为实际的连接信息。\n\n此外，还需要将/path/to/pymssql.jar替换为pymssql库的路径，以确保Spark能够找到pymssql驱动程序。如果您未指定路径，可以省略.config("spark.driver.extraClassPath", "/path/to/pymssql.jar")这一行。\n\n希望这可以帮助到您！