1. 环境准备5分钟搞定Kafka安装包第一次接触Kafka的朋友可能会被它的依赖关系吓到其实单机部署比想象中简单得多。我去年给团队搭建测试环境时发现用二进制包安装就像解压QQ一样简单——不需要编译改几个配置就能跑起来。目前最新稳定版是3.6.02023年10月发布但考虑到兼容性我建议选择2.8.1这个经过大量验证的版本。下载时注意区分源码包和二进制包源码包带src字样需要自己编译二进制包带bin字样解压即用用wget快速获取安装包wget https://archive.apache.org/dist/kafka/2.8.1/kafka_2.12-2.8.1.tgz解压时有个小技巧加-C参数指定目录避免文件散落一地tar -zxvf kafka_2.12-2.8.1.tgz -C /opt这时候你会看到两个关键目录bin存放所有可执行脚本config配置文件仓库libs依赖的jar包别乱动注意如果服务器内存小于2GB建议修改bin/kafka-server-start.sh中的-Xmx参数否则启动可能失败2. 双剑合璧ZooKeeper与Kafka联调很多新手会困惑为什么需要ZooKeeper。简单来说它就像Kafka的大脑负责管理集群元数据。好消息是Kafka自带ZooKeeper单机测试时无需额外安装。2.1 ZooKeeper配置三要素先处理config/zookeeper.propertiesdataDir/tmp/zookeeper # 数据存储路径生产环境要改到持久化目录 clientPort2181 # 服务端口保持默认即可 maxClientCnxns100 # 最大连接数测试环境可调小启动测试有个实用技巧——用nohup挂后台运行nohup bin/zookeeper-server-start.sh config/zookeeper.properties zk.log 21 验证是否启动成功echo stat | nc localhost 2181 | grep Mode看到Mode: standalone说明单机模式运行正常。2.2 Kafka核心配置详解config/server.properties需要关注这些关键参数broker.id0 # 唯一标识集群中不能重复 listenersPLAINTEXT://:9092 # 监听地址外网访问要写IP log.dirs/tmp/kafka-logs # 数据存储目录 zookeeper.connectlocalhost:2181 # 对接ZooKeeper遇到过的一个坑如果服务器有多个网卡需要明确指定监听IPlistenersPLAINTEXT://192.168.1.100:9092启动Kafka时建议先前台运行观察日志bin/kafka-server-start.sh config/server.properties看到started (kafka.server.KafkaServer)字样表示启动成功。3. 实战演练主题管理与消息测试3.1 主题操作大全创建主题时分区数和副本数是关键参数。单机环境这样设置bin/kafka-topics.sh --create \ --zookeeper localhost:2181 \ --topic test_topic \ --partitions 3 \ # 分区数提升并行度 --replication-factor 1 # 副本数单机只能为1查看主题详情时Leader信息很重要bin/kafka-topics.sh --describe \ --zookeeper localhost:2181 \ --topic test_topic输出示例Topic: test_topic PartitionCount: 3 ReplicationFactor: 1 Configs: Topic: test_topic Partition: 0 Leader: 0 Replicas: 0 Isr: 0 Topic: test_topic Partition: 1 Leader: 0 Replicas: 0 Isr: 0 Topic: test_topic Partition: 2 Leader: 0 Replicas: 0 Isr: 03.2 消息生产消费实战开两个终端窗口分别运行生产者和消费者# 生产者窗口 bin/kafka-console-producer.sh \ --broker-list localhost:9092 \ --topic test_topic# 消费者窗口--from-beginning表示从头消费 bin/kafka-console-consumer.sh \ --bootstrap-server localhost:9092 \ --topic test_topic \ --from-beginning实测时发现个有趣现象先启动消费者再发消息能看到实时数据如果先发消息后启动消费者需要加--from-beginning参数才能看到历史消息。4. 避坑指南常见问题解决方案4.1 连接问题排查三连击当遇到连接问题时按这个顺序检查端口检测netstat -tulnp | grep 9092防火墙检查iptables -L -n | grep 9092主机名解析 在/etc/hosts确保主机名和IP对应192.168.1.100 kafka-server4.2 性能调优参数在server.properties中添加这些参数可以提升单机性能num.network.threads3 # 网络线程数 num.io.threads8 # IO线程数 log.flush.interval.messages10000 # 刷盘消息数阈值 log.flush.interval.ms1000 # 刷盘时间阈值4.3 数据清理策略测试环境经常需要清理旧数据两种方式定时删除默认策略log.retention.hours168 # 保留7天空间限制log.retention.bytes1073741824 # 1GB上限手动清理数据的小技巧rm -rf /tmp/kafka-logs/test_topic-*最后提醒下测试完成后别忘记关闭服务# 先关Kafka bin/kafka-server-stop.sh # 再关ZooKeeper bin/zookeeper-server-stop.sh