个人技术分享

Hadoop

如果linger.ms 大于 0，并且当前批次中的消息数量尚未达到 batch.size 的限制，那么 Producer 会等待 linger.ms 指定的时间，看看是否还有更多的消息要发送到相同的分区。在 Kafka 的 Producer 配置中，linger.ms 参数用于控制 Producer 在发送消息之前等待更多消息到达相同分区（partition）的时间，以便可以将这些消息一起发送，从而提高吞吐量。需要注意的是，linger.ms 参数的值应该根据具体的业务场景和性能需求进行调整。

分布式session可以使用spring session来进行实现，由于HttpRequest的Wrapper功能，许多HttpRequest中的方法都可以进行替换来进行自定义的重写，可以在Wrapper中将getSession方法重写掉，然后进行自定义的session存储和处理，当然了，你能想到的，一般都是早就有人已经实现了，就不重复造轮子了。启动项目之后正常的向往常一样的操作session，就可以看到redis中存有session了。这里演示的是将session存储在redis中，所需要的依赖。

基本使用 可参见： https://docs.delta.io/2.3.0/quick-start.html#language-scala。

一个分区可以有多个副本（replicas：负责接收数据的分区副本为leader，其他的为follower）副本数量不能超过broker数量。一个topic可能拆分成多个分区（partition）kafka发送消息会存到主题中。消费者会从主题中获取消息消费。

分布式session可以使用spring session来进行实现，由于HttpRequest的Wrapper功能，许多HttpRequest中的方法都可以进行替换来进行自定义的重写，可以在Wrapper中将getSession方法重写掉，然后进行自定义的session存储和处理，当然了，你能想到的，一般都是早就有人已经实现了，就不重复造轮子了。启动项目之后正常的向往常一样的操作session，就可以看到redis中存有session了。这里演示的是将session存储在redis中，所需要的依赖。

Hadoop

查看kfaka发送的消息，验证成功。

基本使用 可参见： https://docs.delta.io/2.3.0/quick-start.html#language-scala。

kafka防止消息丢失最佳实践配置

RocketMQ 和 Kafka 都在消息复制上有独特的实现方式，各有优缺点。RocketMQ：提供传统主从复制和 Dledger 复制。传统主从复制性能好，但可用性稍差；Dledger 复制可用性高，但性能和资源利用率较低。Kafka：基于 ISR 的复制方式，灵活可配置，用户可以根据需求在性能、高可用性和一致性之间做取舍，但学习成本较高。没有一种完美的复制方案能同时兼顾高性能、高可用和一致性。你需要根据实际业务需求，做出适当的取舍，然后配置消息队列的复制方式。

下载地址 https://github.com/kbudde/rabbitmq_exporter/releases 中有适合各种平台的版本。如果选择使用 json 格式的配置文件进行配置，那需要给配置文件中出现的所有 key 配置值，因为没有默认值。github 地址 https://github.com/kbudde/rabbitmq_exporter。所有 metrics（golang/prometheus 除外）都以。可以是 json 格式的配置文件，也可以使用。风格的文件进行配置。

下载地址 https://github.com/kbudde/rabbitmq_exporter/releases 中有适合各种平台的版本。如果选择使用 json 格式的配置文件进行配置，那需要给配置文件中出现的所有 key 配置值，因为没有默认值。github 地址 https://github.com/kbudde/rabbitmq_exporter。所有 metrics（golang/prometheus 除外）都以。可以是 json 格式的配置文件，也可以使用。风格的文件进行配置。

kafka-生产者发送消息&消费者消费消息。

结尾彩蛋：李华深吸了一口气，决定采取一系列步骤来定位和解决问题。首先，他回滚了Spark作业的最新变更，排除了因代码更新导致的错误可能性。接着，他仔细检查了作业的配置参数，如内存分配、并行度等，确保它们与集群资源相匹配。>- 然而，这些尝试都没有解决问题。李华意识到，可能需要更深入地分析作业的执行情况。他打开了Spark UI，仔细查看了作业的DAG（有向无环图）和执行阶段。在仔细观察后，他发现某个特定的Shuffle操作异常耗时，并且内存使用率极高。李华意识到这可能是问题的关键所在。他回想起之前

集群主要是将同一个业务，部署在多个服务器上 ，多个人在一起做同样的事。分布式的主要工作是分解任务，将职能拆解，多个人在一起做不同的事。

在 RabbitMQ 中，发布订阅模式是一种消息传递方式，其中发送者（发布者）不会将消息直接发送到特 定的接收者（订阅者）。而是将消息发送到一个交换机，交换机将消息转发到绑定到该交换机的每个队 列，每个绑定交换机的队列都将接收到消息。消费者（订阅者）监听自己的队列 并进行消费 。

在此次迁移过程中，业务能够平稳无损迁移和性能的大幅提升，证明了 MSE 在服务注册中心领域的卓越性能和可靠性。相信随着 MSE 的不断演进，其对易用性和稳定性的持续追求无疑将为更多企业带来巨大的商业价值，并在企业数字化进程中发挥越来越重要的作用。

GP可以通过pxf协议上的hbase外表功能， 在数据库中创建外部表，映射hbase table，以直接在gp中访问 hbase数据，方便将hbase的查询结果集保留在gp中。

Reactor 模式是事件驱动架构的一种实现方式，特别适合处理多个客户端并发请求的场景。我们看看它的架构图：22)多个客户端发送请求给 Reactor，Reactor 的 Dispatcher 线程将请求分发到多个工作线程中处理。Dispatcher 线程不涉及具体逻辑处理，非常轻量级，因此有很高的吞吐量表现。