个人技术分享

rabbitmq概述

案例需求如下： 1. 利用@RabbitListener声明Exchange、Queue、RoutingKey 2. 在consumer服务中，编写两个消费者方法，分别监听direct.queue1和direct.queue2 3. 在publisher中编写测试方法，向itcast. direct发送消息。在事件模式中，支付服务是事件发布者（publisher），在支付完成后只需要发布一个支付成功的事件 （event），事件中带上订单id。但是，在某些场景下，我们希望不同的消息 被不同的队列消费。

在进行技术学习过程中，由于大部分读者没有经历过一些中大型系统的实际经验，导致无法从服务端⾼并发分布式结构演进之路-----在进行技术学习过程中，由于大部分读者没有经历过一些中大型系统的实际经验，导致无法从全局理解一些概念，所以本文以一个"电子商务"应用为例，介绍从一百个到千万级并发情况下服务端的架构的演进过程，同时列举出每个演进阶段会遇到的相关技术，让大家对架构的演进有一个整体的认知，方便大家对后续知识做深入学习时有一定的整体视野。

对象存储是一种数据存储架构，设计用于管理和处理大量非结构化数据。与传统的文件存储和块存储不同，对象存储通过将数据分解为离散的、独立的单元或“对象”来存储每个对象包含数据本身、相关的元数据和一个唯一的标识符。存储方式优点缺点服务器磁盘开发便捷，成本低扩展困难分布式文件系统容易实现扩容复杂度高第三方存储开发简单，功能强大，免维护收费。

ISR（In-Sync Replicas）是一个分区副本集合，这些副本被认为是与领导副本保持同步的。具体来说，ISR中的副本是那些能够在一定时间内（由参数replica.lag.time.max.ms指定）将数据同步到与领导副本相同位置的副本。Kafka的ISR机制通过维护一个与领导副本同步的副本集合，确保了数据的一致性和高可用性。通过合理配置和使用ISR机制，Kafka能够在面对节点故障时，仍然保证数据的安全和系统的稳定。

比如这个订单服务，无论你是先发送消息，还是先新建订单，它其实都是发送的不可靠消息就是说如果这个消息，像mysql事务那样，只要订单服务不确认，下游就没办法消费如果你这个订单服务挂了，就可以取消这个消息，就不用做这个本地消息表了本地消息表，要有一个这个循环的这么一个查询，高并发的时候，你本地的数据库本身压力就大

在Kafka中，DLT通常指的是 。Dead Letter Topic（DLT）的定义与功能：DLT的使用与意义：总之，在Kafka中，DLT是一个用于处理无法被成功消费的消息的特殊Topic，它提供了一种灵活且可靠的机制来保障Kafka系统的稳定性和可靠性。3.2、引入spring-kafka依赖3.3、创建SpringBoot启动类3.4、创建生产者发送消息3.5、创建消费者消费消息

kafka-消费者-消费异常处理。

1. 简述Spark join的分类 ？2. 简述Spark map join的实现原理 ？3. 简述Spark ShuGle及其优缺点 ？4. 简述Apache Spark 中的 RDD 是什么 ？5. 简述SparkContext 与 SparkSession之间的区别是什么 ？6. 简述什么情况下会产生Spark ShuGle ？

Hadoop

副本的目的就是冗余备份，当某个Broker上的分区数据丢失时，依然可以保障数据可用。因为在其他的Broker上的副本是可用的。

ShardingSphere的分布式主键设计非常独立，本文各种分布式主键实现完全可直接套用到日常开发。无论ShardingSphere自身实现的SnowflakeShardingKeyGenerator，还是基于第三方框架实现的 LeafSegmentKeyGenerator 和 LeafSnowflakeKeyGenerator，都为我们使用分布式主键提供直接解决方案。分布式主键关注我，紧跟本系列专栏文章，咱们下篇再续！

本模块提供管理基本数据对象的相关能力，包括创建、查询、删除、修改、订阅等；同时支持相同应用多设备间的分布式数据对象协同能力。本模块首批接口从API version 8开始支持。后续版本的新增接口，采用上角标单独标记接口的起始版本。

我们的RPC将按以下方式工作：对于一个RPC请求，客户端发送带有两个属性的消息：replyTo，设置为专门为该请求创建的匿名独占队列；correlationId，设置为每个请求的唯一值。请求被发送到一个名为 rpc_queue 的队列。RPC工作者（又名：服务器）正在该队列上等待请求。当出现请求时，它执行任务并将带有结果的消息发送回客户端，使用来自replyTo字段的队列。客户端在回复队列上等待数据。当出现消息时，它检查correlationId属性。

Kafka在设计上提供了不同层次的消息传递保证，包括at most once（至多一次）、at least once（至少一次）和exactly once（精确一次）。每种保证通过不同的机制实现，下面详细介绍Kafka如何实现这些消息传递保证。

RabbitMQ（五）集群配置、Management UI

Zookeeper 是一个开源的分布式协调服务，用于分布式应用程序中的数据管理和协调。它提供了一套简单而有效的原语，用于实现诸如配置管理、同步、组服务和命名等复杂的分布式系统任务。

我们的RPC将按以下方式工作：对于一个RPC请求，客户端发送带有两个属性的消息：replyTo，设置为专门为该请求创建的匿名独占队列；correlationId，设置为每个请求的唯一值。请求被发送到一个名为 rpc_queue 的队列。RPC工作者（又名：服务器）正在该队列上等待请求。当出现请求时，它执行任务并将带有结果的消息发送回客户端，使用来自replyTo字段的队列。客户端在回复队列上等待数据。当出现消息时，它检查correlationId属性。

通过本文的介绍，我们了解了消息队列的基本概念及其在传统系统中的应用场景，认识了基于AMQP协议的RabbitMQ，并学习了如何安装RabbitMQ。消息队列在现代分布式系统中起到了至关重要的作用，合理地使用消息队列可以显著提高系统的性能和可靠性。RabbitMQ作为一种成熟的消息队列解决方案，广泛应用于各种复杂的分布式系统中，具备高效、稳定、易扩展等优点，是值得学习和使用的消息队列工具。

impala执行查询：select * from stmta_raw limit 10;