游乐游手机版
首页/网络安全/文章详情

CentOS系统HDFS数据加密传输配置实现方法与详细步骤

时间:2026-07-20 07:03
要在CentOS上给HDFS数据传输加上加密保护,最直接的办法就是启用SSL TLS。下面把具体操作步骤拆解一下,涉及证书生成、Hadoop配置和集群重启几个关键环节。 1 安装和配置Hadoop 在动手之前,先确保Hadoop集群已经正确安装并跑起来了。具体的安装步骤建议参考官方文档,这里就不再

要在CentOS上给HDFS数据传输加上加密保护,最直接的办法就是启用SSL/TLS。下面把具体操作步骤拆解一下,涉及证书生成、Hadoop配置和集群重启几个关键环节。

1. 安装和配置Hadoop

在动手之前,先确保Hadoop集群已经正确安装并跑起来了。具体的安装步骤建议参考官方文档,这里就不再赘述。

2. 启用SSL/TLS

这一步是实现加密传输的核心,包含证书生成和配置文件修改两个子任务。

2.1 生成SSL证书

使用OpenSSL创建CA证书、服务器证书和客户端证书。可以先把证书和密钥统一放到 /etc/hadoop/ssl 目录下,方便管理。

# 创建一个目录来存放证书和密钥
mkdir -p /etc/hadoop/ssl

# 生成CA证书
openssl req -new -x509 -days 3650 -nodes -out /etc/hadoop/ssl/ca-cert.pem -keyout /etc/hadoop/ssl/ca-key.pem

# 生成服务器证书和密钥
openssl req -newkey rsa:2048 -days 3650 -nodes -keyout /etc/hadoop/ssl/server-key.pem -out /etc/hadoop/ssl/server-req.pem
openssl x509 -req -in /etc/hadoop/ssl/server-req.pem -CA /etc/hadoop/ssl/ca-cert.pem -CAkey /etc/hadoop/ssl/ca-key.pem -CAcreateserial -out /etc/hadoop/ssl/server-cert.pem

# 生成客户端证书和密钥
openssl req -newkey rsa:2048 -days 3650 -nodes -keyout /etc/hadoop/ssl/client-key.pem -out /etc/hadoop/ssl/client-req.pem
openssl x509 -req -in /etc/hadoop/ssl/client-req.pem -CA /etc/hadoop/ssl/ca-cert.pem -CAkey /etc/hadoop/ssl/ca-key.pem -CAcreateserial -out /etc/hadoop/ssl/client-cert.pem

2.2 配置Hadoop使用SSL

证书就绪后,需要修改Hadoop的几个核心配置文件。先看 core-site.xml,开启全局SSL开关并指定密钥库和信任库的位置及密码。

core-site.xml


  
    hadoop.ssl.enabled
    true
  
  
    hadoop.ssl.keystore.location
    /etc/hadoop/ssl/client-cert.pem
  
  
    hadoop.ssl.keystore.password
    your_keystore_password
  
  
    hadoop.ssl.truststore.location
    /etc/hadoop/ssl/ca-cert.pem
  
  
    hadoop.ssl.truststore.password
    your_truststore_password
  

然后是 hdfs-site.xml,分别给NameNode和DataNode开启SSL,并指定对应的证书路径。

hdfs-site.xml


  
    dfs.namenode.ssl.enabled
    true
  
  
    dfs.namenode.keystore.location
    /etc/hadoop/ssl/server-cert.pem
  
  
    dfs.namenode.keystore.password
    your_keystore_password
  
  
    dfs.namenode.truststore.location
    /etc/hadoop/ssl/ca-cert.pem
  
  
    dfs.namenode.truststore.password
    your_truststore_password
  
  
    dfs.datanode.ssl.enabled
    true
  
  
    dfs.datanode.keystore.location
    /etc/hadoop/ssl/server-cert.pem
  
  
    dfs.datanode.keystore.password
    your_keystore_password
  
  
    dfs.datanode.truststore.location
    /etc/hadoop/ssl/ca-cert.pem
  
  
    dfs.datanode.truststore.password
    your_truststore_password
  

3. 重启Hadoop集群

配置改完,必须重启集群才能让新设置生效。先停掉所有服务,再重新启动。

# 停止所有Hadoop服务
stop-dfs.sh
stop-yarn.sh

# 启动所有Hadoop服务
start-dfs.sh
start-yarn.sh

4. 验证SSL/TLS配置

重启后别急着走,先跑几个命令确认SSL是否真正生效。通过 hdfs dfsadmin -report 可以快速查看NameNode和DataNode的状态,看有没有SSL标记。

# 检查NameNode是否启用了SSL
hdfs dfsadmin -report

# 检查DataNode是否启用了SSL
hdfs dfsadmin -report

5. 客户端配置

别忘了客户端也需要配SSL。在客户端的 core-site.xml 中加入以下内容,只需信任库即可,因为客户端只负责验证服务端证书。

core-site.xml(客户端)


  
    hadoop.ssl.enabled
    true
  
  
    hadoop.ssl.truststore.location
    /etc/hadoop/ssl/ca-cert.pem
  
  
    hadoop.ssl.truststore.password
    your_truststore_password
  

6. 测试加密传输

最后一步,用常见的HDFS命令测试一下数据传输是否正常。比如列出根目录,如果没报错就说明已经走SSL加密了。

# 列出HDFS目录内容
hdfs dfs -ls /

通过以上步骤,就能在CentOS上为HDFS的数据传输加上一层SSL/TLS加密。生产环境中记得用强密码,并妥善管理证书的存放和更新。

来源:https://www.yisu.com/ask/97310542.html
上一篇如何全面有效保护Debian Linux系统安全免受各种黑客攻击与恶意软件入侵 下一篇Ubuntu文件系统加密保护完整操作步骤与注意事项
本站内容用于信息整理与展示,如有侵权或内容问题请及时联系处理。

相关推荐

补充同频道和同主题内容,方便继续浏览更多相关内容。

同类最新

继续查看同栏目最近更新的文章。

更多
Debian Extract 是否支持加密传输
网络安全 · 2026-07-21

Debian Extract 是否支持加密传输

在日常维护 Debian 系统的过程中,用户经常需要从系统中提取文件,或与远程服务器进行数据交换。此时,加密传输便成为一个不可回避的话题——不过需要先澄清一个细节:所谓的“Debian Extract”并非 Debian 中某个现成的命令或工具,更多时候指的是“提取文件或数据”这一行为(例如使用 t

Linux系统安全漏洞利用原理详解与实战案例分析
网络安全 · 2026-07-21

Linux系统安全漏洞利用原理详解与实战案例分析

Linux系统的漏洞利用,说白了就是攻击者抓住了系统或应用里的某个安全短板。这些短板一旦被揪住,就可能让攻击者在未授权的情况下搞点事情。下面就来拆解一下,漏洞到底是怎么被一步步利用起来的。 1 漏洞发现 代码审计:翻源代码或二进制文件,眼睛盯着那些容易出问题的角落。 自动化扫描:像Nmap、Nes

GPG开源加密工具完整使用教程从入门到精通
网络安全 · 2026-07-21

GPG开源加密工具完整使用教程从入门到精通

GPG是开源加密工具,通过公钥实现安全文件传输。使用步骤包括安装、生成密钥对(选择类型、长度、有效期及密码),加密文件并发送,接收方导入公钥后解密。初次操作需耐心完成配置。

单位电子文件防外传及保密数据防复制方法
网络安全 · 2026-07-21

单位电子文件防外传及保密数据防复制方法

公司建立了ISO9001质量管理体系,涉及二三十个职能部门,工作中最头疼的问题就是参与人数太多。电子版文件流通速度快,但受控却相当困难,外传风险大,还容易被相互复制。那么,怎么才能有效禁止项目成员随意外传电子版文件呢?要堵住文件外传的漏洞,核心思路可以从三方面入手:首先,禁止电脑随意连接USB存储设

共享文件权限设置:指定用户与部门访问及隐藏无权限
网络安全 · 2026-07-21

共享文件权限设置:指定用户与部门访问及隐藏无权限

在企业共享文件管理场景中,有一个非常常见的需求:仅允许本部门员工访问自己部门的共享文件夹,其他部门的员工要么完全没有权限,要么连文件夹都看不到。如何实现这一目标?目前主要有两种主流方案。 第一种方案:借助第三方共享文件权限管理工具来实现。 例如,市面上有一些专业的共享文件权限设置软件,安装到文件服务