CDH环境下PySpark默认Python版本的详细修改方法与步骤

时间：2026-06-22 10:22

前言 PySpark 长期依赖 Linux 默认的 Python 2 7 5，令人十分头疼。如何升级到 Python 3？一番折腾后，再次开启 Google 深度搜索之旅。操作步骤首先安装 Python 3 x，并将其路径添加到全局环境变量中。执行以下命令： sudo vim etc prof

前言

PySpark 长期依赖 Linux 默认的 Python 2.7.5，令人十分头疼。如何升级到 Python 3？一番折腾后，再次开启 Google 深度搜索之旅。

操作步骤

首先安装 Python 3.x，并将其路径添加到全局环境变量中。执行以下命令：

sudo vim /etc/profile export PATH=/usr/bin/python3:$PATH source /etc/profile

接下来，进入 CDH Web 管理界面，找到 spark-env.sh 文件并进行配置。操作示例如下：

在这里插入图片描述

即添加以下两行配置：

export PYSPARK_PYTHON=/usr/bin/python3 export PYSPARK_DRIVER_PYTHON=/usr/bin/python3

随后重启 CDH 中的过期服务（没错，就是那个需要刷新的服务）。

完成以上步骤后，即可愉快地继续使用 PySpark 处理任务。

参考

来源：https://blog.csdn.net/android_xue/article/details/90213581

Python

上一篇Python环境及virtualenv虚拟环境安装 下一篇Maya 2022切换到Python 2教程

本站内容用于信息整理与展示，如有侵权或内容问题请及时联系处理。

同类最新

继续查看同栏目最近更新的文章。

编程语言 · 2026-07-01

CentOS与Golang打包常见兼容性问题探讨

CentOS与Golang打包的兼容性问题集中在glibc版本不匹配、交叉编译环境变量错误、依赖库缺失及Go依赖管理不规范。可通过Docker容器编译、选择兼容Go版本、正确设置GOOS GOARCH环境变量、安装对应开发包及使用GoModules解决。

编程语言 · 2026-07-01

CentOS中Fortran与Python如何协同工作从入门到实战完整教程

在CentOS中，Fortran与Python可通过f2py、SWIG、共享库调用或subprocess协同。f2py封装Fortran为Python模块，支持数组运算；共享库需手动对齐数据类型；系统调用适合独立计算。

编程语言 · 2026-07-01

CentOS中Golang打包优化方法

在CentOS中优化Golang编译打包，可显著提升编译速度并减小二进制文件体积。关键技巧包括：设置环境变量、使用Go模块管理依赖、编译时添加-ldflags= "-s-w "去除调试信息、利用UPX工具压缩、运行strip清理符号表，以及优化cgo内C代码的编译选项。综合运用这些方法能有效优化最终程序。