Ubuntu Hadoop 通信加密实践

在不可信的网络环境中部署Hadoop集群，通信安全是绕不开的课题。一个全面的加密方案，需要覆盖从控制指令到数据流动的每一个环节。下面，我们就来梳理一下在Ubuntu系统上为Hadoop实施通信加密的关键路径与实操要点。

一 加密范围与总体架构

一个扎实的加密策略，建议同时覆盖以下几个通信层面：

1. RPC控制通道：这是集群的“神经中枢”，包括客户端与NameNode/ResourceManager的交互，以及DataNode与NameNode、NodeManager与ResourceManager之间的心跳与控制指令。通常基于Kerberos，通过SASL协议协商，提供从“仅认证”到“完整加密”的不同安全等级。
2. 数据传输通道：这是数据的“大动脉”，涉及客户端读写DataNode、以及DataNode之间的块复制传输。启用端到端加密，能确保数据在传输过程中不被窥探或篡改。
3. Web UI与REST接口：像NameNode、ResourceManager的Web管理界面，以及WebHDFS这类REST API，需要通过HTTPS和SPNEGO认证来保护，防止信息通过浏览器泄露。
4. 节点运维通道：日常的SSH登录管理，应彻底禁用口令，转而使用密钥认证，这是守住服务器大门的第一道防线。

上述组合拳，能在公网或边界模糊的网络里，显著降低数据被窃听和中间人篡改的风险。

二 启用 RPC 与数据传输加密

动手之前，得先打好地基：确保Kerberos环境已就绪，为每个服务（如hdfs/namenode, HTTP/hostname）都创建好Principal和Keytab文件，并且整个集群的DNS解析、主机名和时间（靠NTP同步）必须保持一致。

接下来是具体的配置步骤，主要涉及core-site.xml和hdfs-site.xml：

• 启用RPC加密（此配置全局生效，修改后需要重启相关服务）：
  • 在core-site.xml中设置：
    • hadoop.rpc.protection: privacy（这个选项最强，同时开启认证、完整性校验和隐私加密。如果选integrity则只校验不加密，authentication则仅进行认证。）
• 启用数据传输加密（注意，这通常只在RPC保护级别设为privacy时才会生效）：
  • 在hdfs-site.xml中设置：
    • dfs.encrypt.data.transfer: true
    • dfs.encrypt.data.transfer.algorithm: AES/CTR/NoPadding（推荐优先使用AES）或3des（用于兼容旧版本；不推荐已不安全的rc4）。
    • dfs.encrypt.data.transfer.cipher.suites: AES/CTR/NoPadding（可选，用于显式指定加密套件）。

这里有两点至关重要：

• 一旦将RPC保护级别设为privacy，HDFS的DataTransferProtocol（即客户端与DataNode、DataNode之间的数据传输协议）默认也会被加密。这就意味着，通信的双方必须配置一致，任何一端开启而另一端未开启，都会导致访问失败。
• 修改hadoop.rpc.protection这类核心参数后，通常需要重启相关服务，并且所有客户端也需要更新配置。此外，从authentication提升到privacy，必然会引入额外的性能开销，需要在安全与效率之间做好权衡。

三 Web UI 与 REST 接口加密

管理界面和API接口同样是攻击面，不能忽视。

• 启用HTTPS/TLS：为NameNode、ResourceManager等服务配置SSL/TLS证书、密钥和信任库，并在Hadoop配置中将其Web端口切换为HTTPS协议。
• 启用SPNEGO强认证：为Web服务创建专门的Principal（如HTTP/hostname@REALM）。在core-site.xml中设置hadoop.http.authentication.type=kerberos，并在hdfs-site.xml中启用dfs.web.authentication.kerberos.enabled=true等相关选项。
• 访问方式：用户可以通过浏览器使用Kerberos票据或企业单点登录（SSO）来访问加密后的Web UI。对于程序调用，如通过REST API或WebHDFS，则需要使用支持SPNEGO或Kerberos委托令牌的客户端。

这些措施能有效防止通过Web界面进行的信息泄露和未授权访问。

四 节点间运维通道与最小暴露面

加密了应用层，底层系统安全也得跟上。

• SSH加固：在集群所有节点上，禁用密码登录，统一使用SSH密钥对进行认证。同时，限制直接以root用户登录，只允许特定的运维用户（如hadoop）通过sudo来执行必要的特权命令。
• 防火墙与端口收敛：严格遵循最小化原则，只开放必需的端口。例如，Hadoop常用的有：8020/9000（RPC/IPC）、50070/9870（NameNode Web UI）、8088（ResourceManager Web UI）、50075（DataNode Web UI）、10000（HiveServer2）等。最好能将管理流量和数据流量划分到不同的网络区域。
• 最小权限与审计：在HDFS和YARN层面，严格按照“最小权限”原则配置ACL和队列权限。务必开启审计日志功能，并配置监控告警，定期巡检以发现异常访问行为。

五 验证与运维要点

配置完了，怎么知道生效了呢？以下是几个验证方法和后续运维提醒：

• 验证RPC加密：用kinit获取Kerberos票据后，执行hdfs dfsadmin -report或yarn node -list。如果命令能正常返回集群信息，同时用抓包工具（如tcpdump）能看到SASL/GSSAPI的协商过程，就说明RPC通道已成功加密。
• 验证数据传输加密：在启用dfs.encrypt.data.transfer并重启服务后，执行一次distcp或简单的hdfs dfs -put/get操作。此时抓包，应该能看到TLS握手或加密的数据块传输特征，而不是明文的HDFS协议数据。
• 验证Web加密：用浏览器访问配置好的HTTPS地址（如https://namenode-host:9870），不应出现证书警告。使用命令行工具测试：curl -k --negotiate -u : https://:9870，应该能成功获取到页面内容。
• 性能与兼容性考量：
  • 必须正视性能开销。启用RPC privacy和数据传输加密会消耗额外的CPU资源。有官方实践表明，HBase在开启RPC privacy后，读写性能可能下降约60%，HDFS场景下也需要根据自身负载进行评估。
  • 兼容性要一致。如果集群中一部分节点开启了dfs.encrypt.data.transfer
  • 变更hadoop.rpc.protection这类全局参数后，切记要重启服务并确保所有客户端配置同步更新。
  • 定期维护不可少。包括轮换Kerberos的keytab文件、备份KMS（密钥管理服务）的密钥和配置。在进行任何重大安全变更时，务必准备好回滚预案。