如何安装 Spark Python 开发包 (pyspark)
- 安装 Python
首先需要安装 Python,建议使用 Python 3.x 版本。
- 安装 pyspark
在安装 Python 后,可以通过 pip 包管理工具来安装 pyspark:
pip install pyspark
- 配置环境变量
安装完 pyspark 后,需要配置环境变量,将 Spark 的 bin 目录添加到 PATH 环境变量中。
例如,在 Windows 系统下,可以在 '我的电脑' 或 '此电脑' 中点击右键,选择 '属性',再选择 '高级系统设置',点击 '环境变量',在系统变量中找到 PATH,点击编辑,将 Spark 的 bin 目录添加到变量值中。
- 测试安装
安装完成后,可以在 Python 中尝试导入 pyspark 包,并创建 SparkContext 对象,以验证安装是否成功:
from pyspark import SparkContext
sc = SparkContext()
print(sc.version)
如果能够输出 Spark 的版本号,则说明安装成功。
原文地址: https://www.cveoy.top/t/topic/o0dx 著作权归作者所有。请勿转载和采集!