个人技术分享

【JAVA】Java如何连接消费Kafka

在现代数据驱动的世界中，实时数据流处理已经成为许多应用的核心部分。Apache Kafka是一个分布式流处理平台，被广泛用于实时数据流处理、日志聚合和实时分析。在这篇博客中，我们将探讨如何使用Java来连接并消费Kafka的消息。在这篇博客中，我们讨论了如何使用Java来连接并消费Kafka的消息。我们首先解释了KafkaConsumer的主要函数和配置，然后给出了一个基本的示例代码。希望这篇博客能帮助你理解如何在Java中使用Kafka。

Kafka 实战 - Kafka Consumer 重置 Offset

使用AdminClient.resetOffsets()方法，指定消费者组、偏移量规格（基于目标时间点）以及受影响的TopicPartition，执行偏移量重置操作。在开发测试过程中，可能需要消费一段时间的消息，来验证数据的可靠性，这里需要消费者（Consumer）重置其消费的偏移量（Offset）。--to-datetime: 设置重置偏移量的目标时间点。--all-topics: 重置该消费者组订阅的所有Topic的偏移量。--reset-offsets: 表示要执行偏移量重置操作。

kafka用java收发消息

offset explorer 是一个用于查看和管理 Kafka 消费者组的工具，它允许你检查消费者组的偏移量（offset），并且可以查看每个消费者组在每个分区上的偏移量情况。这对于监控和调试 Kafka 消费者组非常有用。下载地址为：https://www.kafkatool.com/download.html。安装kafka的可视化工具：offset explorer。用java客户端代码来对kafka收发消息。

Kafka Topic分区重分布

其中：–broker-list 指定需要分布的broker id，这个brokerid不一定是按顺序生成的，想要查询当前集群所有的broker id , 可以进入每个broker的数据目录，cat meta.properties。在扩容完kafka的broker以后，现有的topic分区不会自动迁移到新增节点上。需要手动对每个topic进行重分布。当前topic有6个分区2个副本， 分布在1001,1002,1003 三个broker上，命令执行完成，会输出现有topic分区分布，和生成的随机分布规划。

Flink 生态对 Confluent / Kafka Schema Registry 支持情况的研究报告

这几年，在流式链路上引入一个 Schema Registry 变得越来越流行，也越来越有必要， Schema Registry 能有效控制 Schema 的变更，合理推进 Schema Evolution，同时，引入它以后还能有效精简消息内容（特别是针对 Avro 格式），提升消息的传输效率，所以引入 Schema Registry 是有很多正向收益的。在 Flink 生态中，对 Confluent Schema Registry 的支持度如何呢？本文，我们来详细地梳理和总结一下。有关的组件主要是 Flin