个人技术分享

这里可以直接使用zookeeper-server-start.sh命令没有加 /opt/kafka/bin是因为本人已将kafka加入到系统bin命令下配置，已经配置了全局环境变量，实现处处都可以直接使用kafka命令

简介、应用场景、概念、负载均衡与故障转移、分区、ACK、不丢失、去重、幂等性、有序性、消费者（再均衡、消费者组协调器、消费者和消费者组的关系）、与其他MQ中间件的比较、Kafka对比Pulsar、offset、Topic、删除Topic流程、ZooKeeper、Pull还是Push、消息事务、脚本、工具、配置、Broker、缺点；批处理、吞吐量、零拷贝、消息格式、文件存储、多租户、监控（指标、方案、工具）、安全

这些文件共同作用，确保 Kafka 能够高效、可靠地存储和检索消息数据。Kafka 的数据文件存储在每个分区的目录中，这些文件包括。

Apache Kafka是一个分布式流处理平台，最初由LinkedIn开发，并于2011年开源，随后成为Apache项目。Kafka的核心概念包括发布-订阅消息系统、持久化日志和流处理平台。它主要用于构建实时数据管道和流处理应用，广泛应用于日志聚合、数据传输、实时监控和分析等场景。Kafka具有高吞吐量、低延迟、扩展性强和容错性高等特点。

spring boot 整合 kafka

它可以看作是一个消息队列服务，但与传统消息队列相比，具有更高的吞吐量、更好的可扩展性和持久性。（Kafka Cluster）：这相当于广播电台的设施，包括发射塔、控制室等。（Consumers）：消费者就是听众，也是信息的接收者。在Kafka中，消费者是指那些从。，不同的分区可以分布在Kafka集群的不同服务器上，以提高系统的吞吐量和可用性。为了通俗地理解Kafka，我们可以把它比作一个“大型的广播电台”，在Kafka中，消息是由生产者发布，消费者读取的。在Kafka中，消息被分类存储在不同的主题中，

Apache Kafka 是一种高性能的分布式消息系统，用于处理实时数据流。在实际使用中，我们可能需要根据业务需求调整 Kafka 消息的保留时长。本文将介绍如何修改 Kafka 消息保留时长，并分享在实际操作中的一些经验。修改 Kafka 消息保留时长是优化 Kafka 系统性能和资源使用的重要手段。通过合理的配置，可以满足不同业务场景的需求，同时确保系统的稳定性和高效性。希望本文的介绍和经验总结能帮助你更好地管理 Kafka 集群，提升业务处理能力。

spring boot 整合 kafka

监控易提供对华为FusionInsight Kafka服务的全方位监控功能。Fetch和Produce监控：监控易提供对Kafka的Fetch和Produce操作的详细监控，包括请求延迟、请求速率等关键指标，确保数据的快速、准确传输。分区和Topic监控：通过对Kafka的分区和Topic进行监控，包括分区数量、活跃控制器数量、不可用分区数量等，确保数据的完整性和一致性。内存占用监控：监控易可以实时监测Kafka服务的内存占用情况，包括总内存占用和各个进程的内存使用情况，为用户提供详细的内存使用报告。

通过消费组管理消费者时，该配置指定拉取消息线程最长空闲时间，若超过这个时间间隔没有发起poll操作，则消费组认为该消费者已离开了消费组，将进行再均衡操作（将分区分配给组内其他消费者成员）kafka默认的消息消费超时时间max.poll.interval.ms = 300000, 也就是5分钟，超过5分钟，会认为当前消费者已经死掉，会主动发起重平衡。Kafka消费者消费消息超过了5分钟，不停的触发重平衡，消费者的offset因为重平衡提交失败，重复拉取消费，重复消费。5. 订阅主题的分区数发生变更。

参考：https://www.ibm.com/docs/zh/cloud-paks/cp-biz-automation/21.0.3?在kafka安装目录下/certificates生成keystore和trust文件，在其中一台机器声生成证书，然后将。文件拷贝其他broker节点上去即可。3.导入CA到truststore。1.生成keystore。

公司需要对kafka环境进行安全验证，目前考虑到的方案有Kerberos和SSL和SASL_SSL，最终考虑到安全和功能的丰富度，我们最终选择了SASL_SSL方案。到此为止，SSL的证书生成和签发完成，可以在当前目录下看到server.keystore.jks和server.truststore.jks文件，最后将这些签发的证书上传到剩下的两台kafka机器上的。证书的生成只需要在任意一台机器上实现，然后将生成的证书拷贝到其余的机器上即可。本次案例生成的在141这台机器上。1）生成keystore。

公司需要对kafka环境进行安全验证，目前考虑到的方案有Kerberos和SSL和SASL_SSL，最终考虑到安全和功能的丰富度，我们最终选择了SASL_SSL方案。到此为止，SSL的证书生成和签发完成，可以在当前目录下看到server.keystore.jks和server.truststore.jks文件，最后将这些签发的证书上传到剩下的两台kafka机器上的。证书的生成只需要在任意一台机器上实现，然后将生成的证书拷贝到其余的机器上即可。本次案例生成的在141这台机器上。1）生成keystore。

Kafka的监控配置和告警配置是确保Kafka集群稳定运行的关键部分。以下是一些关于Kafka监控配置和告警配置的建议：一、Kafka监控配置二、Kafka告警配置关于Kafka的监控配置和告警配置的详细操作步骤如下：修改Kafka配置文件：还可以设置JMX（Java Management Extensions）端口，以便Zabbix或其他监控工具可以访问Kafka的JMX指标。例如：启动Kafka：配置Zabbix监控（如果需要）：选择监控工具：配置监控指标：创建告警规则：验证告警配置：自定

公司需要对kafka环境进行安全验证，目前考虑到的方案有Kerberos和SSL和SASL_SSL，最终考虑到安全和功能的丰富度，我们最终选择了SASL_SSL方案。到此为止，SSL的证书生成和签发完成，可以在当前目录下看到server.keystore.jks和server.truststore.jks文件，最后将这些签发的证书上传到剩下的两台kafka机器上的。证书的生成只需要在任意一台机器上实现，然后将生成的证书拷贝到其余的机器上即可。本次案例生成的在141这台机器上。1）生成keystore。

kafka-消费者组偏移量重置

Kafka的监控配置和告警配置是确保Kafka集群稳定运行的关键部分。以下是一些关于Kafka监控配置和告警配置的建议：一、Kafka监控配置二、Kafka告警配置关于Kafka的监控配置和告警配置的详细操作步骤如下：修改Kafka配置文件：还可以设置JMX（Java Management Extensions）端口，以便Zabbix或其他监控工具可以访问Kafka的JMX指标。例如：启动Kafka：配置Zabbix监控（如果需要）：选择监控工具：配置监控指标：创建告警规则：验证告警配置：自定

参考：https://www.ibm.com/docs/zh/cloud-paks/cp-biz-automation/21.0.3?在kafka安装目录下/certificates生成keystore和trust文件，在其中一台机器声生成证书，然后将。文件拷贝其他broker节点上去即可。3.导入CA到truststore。1.生成keystore。

公司需要对kafka环境进行安全验证，目前考虑到的方案有Kerberos和SSL和SASL_SSL，最终考虑到安全和功能的丰富度，我们最终选择了SASL_SSL方案。到此为止，SSL的证书生成和签发完成，可以在当前目录下看到server.keystore.jks和server.truststore.jks文件，最后将这些签发的证书上传到剩下的两台kafka机器上的。证书的生成只需要在任意一台机器上实现，然后将生成的证书拷贝到其余的机器上即可。本次案例生成的在141这台机器上。1）生成keystore。

Kafka的监控配置和告警配置是确保Kafka集群稳定运行的关键部分。以下是一些关于Kafka监控配置和告警配置的建议：一、Kafka监控配置二、Kafka告警配置关于Kafka的监控配置和告警配置的详细操作步骤如下：修改Kafka配置文件：还可以设置JMX（Java Management Extensions）端口，以便Zabbix或其他监控工具可以访问Kafka的JMX指标。例如：启动Kafka：配置Zabbix监控（如果需要）：选择监控工具：配置监控指标：创建告警规则：验证告警配置：自定