OpenResty 与 Kafka 的组合，堪称高性能 Web 平台与分布式流处理引擎的强强联手。将两者集成，能让实时数据流与 Web 服务无缝对接，大幅提升处理效率。那么，如何实现这一集成？本文将提供一份详细指南，从依赖安装到实际调用，逐步拆解整个流程，帮助开发者快速上手。

1. 安装基础依赖

在动手之前，务必先完成 OpenResty 和 Kafka 的安装。打好基础，后续步骤才能顺畅推进。

安装 OpenResty

sudo apt-get update
sudo apt-get install openresty

安装 Kafka

推荐直接使用 Confluent Platform 来部署 Kafka，它自带完整的工具集和库，能省去大量手动配置的麻烦。

wget https://packages.confluent.io/confluent-kafka-2.8.0/confluent-kafka-2.8.0.tar.gz
tar -xzf confluent-kafka-2.8.0.tar.gz
cd confluent-kafka-2.8.0
sudo mkdir /usr/local/kafka
sudo cp -r * /usr/local/kafka/

2. 配置 Kafka 服务

首先打开配置文件 /usr/local/kafka/config/server.properties 调整关键参数，然后依次启动 Zookeeper 和 Kafka 服务。务必注意启动顺序：Zookeeper 必须先运行起来。

sudo bin/zookeeper-server-start.sh /usr/local/kafka/config/zookeeper.properties
sudo bin/kafka-server-start.sh /usr/local/kafka/config/server.properties

3. 创建 Lua 交互脚本

在 OpenResty 中与 Kafka 通信，Lua 脚本是核心手段。编写一个 kafka_producer.lua 文件，实现简单的消息发送功能，作为集成的基础示例。

local kafka = require "resty.kafka"
local producer = kafka:new()
producer:set("bootstrap.servers", "localhost:9092")
producer:set("queue.buffering.max.messages", 100)
local topic = "test_topic"
local message = "Hello, Kafka!"
local success, err = producer:send(topic, {value = message})
if not success then
    ngx.log(ngx.ERR, "Failed to send message: ", err)
    return ngx.exit(500)
end
ngx.say("Message sent successfully")

4. 配置 OpenResty 模块路径

要让 OpenResty 能够识别并加载上述 Lua 脚本，需在 /etc/nginx/conf.d/default.conf 中设置 Lua 模块的搜索路径。

http {
    ...
    lua_package_path "/usr/share/lua/resty/?.lua;;";
    ...
}

5. 编写 Nginx C 模块（进阶用法）

如果希望实现更底层的控制，可以编写一个 C 模块来封装 Lua 逻辑。下面这段 kafka_module.c 示例展示了如何在 Nginx 内部直接调用 Kafka 生产者，适合对性能要求较高的场景。

#include 
#include 
#include 

static ngx_int_t kafka_producer(ngx_http_request_t *r) {
    ngx_log(NGX_LOG_INFO, "Kafka producer module called");
    resty_kafka_t *producer;
    resty_kafka_conf_t *conf;
    resty_kafka_error_t err;

    conf = resty_kafka_conf_new();
    if (resty_kafka_conf_set(conf, "bootstrap.servers", "localhost:9092") == NULL) {
        ngx_log(NGX_LOG_ERR, "Failed to set Kafka bootstrap servers");
        return NGX_HTTP_INTERNAL_SERVER_ERROR;
    }

    producer = resty_kafka_new(conf);
    if (producer == NULL) {
        ngx_log(NGX_LOG_ERR, "Failed to create Kafka producer");
        return NGX_HTTP_INTERNAL_SERVER_ERROR;
    }

    ngx_str_t topic = ngx_string("test_topic");
    ngx_str_t message = ngx_string("Hello, Kafka!");

    err = resty_kafka_send(producer, &topic, &message);
    if (err != 0) {
        ngx_log(NGX_LOG_ERR, "Failed to send message: ", err);
        resty_kafka_free(producer);
        return NGX_HTTP_INTERNAL_SERVER_ERROR;
    }

    resty_kafka_free(producer);
    ngx_log(NGX_LOG_INFO, "Message sent successfully");
    return NGX_HTTP_OK;
}

static ngx_command_t kafka_commands[] = {
    { ngx_string("kafka_producer"),
      NGX_HTTP_POST,
      kafka_producer,
      NULL,
      NULL,
      { 0, 0, 0, 0, 0, 0 } },
};

static ngx_module_t kafka_module = {
    NGX_MODULE_V1,
    .type = NGX_HTTP_MODULE,
    .name = "kafka_module",
    .init_master = NULL,
    .init_worker = NULL,
    .init_module = NULL,
    .exit_master = NULL,
    .exit_worker = NULL,
    .exit_module = NULL,
    .commands = kafka_commands
};

ngx_module_register(kafka_module);

6. 编译与安装 Nginx 模块

编译所需的依赖库和 Lua 扩展，然后安装对应的模块包，为集成做好准备。

sudo apt-get install libpcre3-dev zlib1g-dev
sudo luarocks make
sudo luarocks install resty-kafka
sudo luarocks install ngx_http_kafka_module

7. 配置 Nginx 加载模块

在 Nginx 配置中加载刚刚编译好的模块，并设置一个 location 对外暴露生产者接口，便于测试和调用。

load_module modules/ngx_http_kafka_module.so;

server {
    listen 80;
    location /kafka_producer {
        kafka_producer;
    }
}

8. 重启 Nginx 使配置生效

所有配置完成后，重启 Nginx 让改动生效。

sudo systemctl restart nginx

现在，只需访问 https://your_server_ip/kafka_producer，就能向 Kafka 发送一条测试消息。当然，这只是一个最基础的演示——实际业务中，你可以根据需求扩展 Lua 脚本，或利用 C 模块处理更复杂的业务逻辑。至此，OpenResty 与 Kafka 的集成已成功跑通，剩下的就交给你的想象力去发挥了。

总结

回顾整个流程，核心思路是利用 OpenResty 强大的 Lua 脚本能力，结合 Kafka 的生产者 API，打通从 Web 服务到消息队列的数据通道。从环境安装、参数配置到代码编写，每一步都有明确的落地方法。如果你需要处理实时消息队列、日志收集或流式数据分析，这套技术组合完全能够胜任。