Spark 2.3.0+ 与 Hive 3.1.2 集成：使用 ThriftServer 连接

从 Spark 2.3.0 版本开始，Spark 支持与 Hive 3.1.2 版本一起使用。在 Spark 中使用 Hive ThriftServer 适配 Hive 3.1.2 的步骤如下：

1. 确保你的 Spark 版本是 2.3.0 或更高版本。

2. 下载 Hive 3.1.2，并将其解压缩到你的系统中。

3. 在 Spark 的配置文件中，找到 'spark-defaults.conf' 文件，并添加以下配置：

   spark.sql.hive.thriftServer.singleSession=true
   

   这将启用 Hive ThriftServer 的单个会话模式。

4. 启动 Hive Metastore 服务，可以使用以下命令：

   $HIVE_HOME/bin/hive --service metastore
   

   这将启动 Hive Metastore 服务并将其绑定到默认端口。

5. 启动 Hive ThriftServer 服务，可以使用以下命令：

   $SPARK_HOME/sbin/start-thriftserver.sh --master <spark-master-url> --hiveconf hive.server2.thrift.port=<thriftserver-port>
   

   将 '' 替换为你的 Spark Master URL，将 '' 替换为你想要用于 ThriftServer 的端口号。

6. 现在，你可以使用任何支持 JDBC/ODBC 连接的工具连接到 Hive ThriftServer，并执行 Hive 查询。

注意：确保你的 Hive ThriftServer 和 Spark 应用程序都使用相同的 Hive 和 Spark 版本，以确保兼容性和稳定性。