个人技术分享

kafka-重试和死信主题（SpringBoot整合Kafka）

在Kafka中，DLT通常指的是 。Dead Letter Topic（DLT）的定义与功能：DLT的使用与意义：总之，在Kafka中，DLT是一个用于处理无法被成功消费的消息的特殊Topic，它提供了一种灵活且可靠的机制来保障Kafka系统的稳定性和可靠性。3.2、引入spring-kafka依赖3.3、创建SpringBoot启动类3.4、创建生产者发送消息3.5、创建消费者消费消息

Kafka生产者消息异步发送并返回发送信息api编写教程

键入topic名(order)和要发送的信息(“0000”+i)，new Callback（）回车会弹出需要重写的抽象类，补全返回条件、需要返回的信息即可实现抽象类；键入new Properties().var 回车，键入new KafkaProducer(properties).var 回车，选择变量名。键入new KafkaProducer()，光标置于括号内CTRL+P可以显示需要对象为properties;//指定对应的key和value的序列化类型。//关联自定义分区器。

用户画像知识点补充——多数据源

不同类型数据采集存储在不同的存储引擎系统（比如HDFS、HBase、Hive、Elasticsearch、MYSQL数据库等），因此需要用户画像标签系统可以支持从不同的数据源读取业务数据，进行构建标签，恰好Spark SQL支持多数据源的加载与保存。针对用户画像标签系统来说，不同标签（业务标签，4级标签）来源于不同的业务数据（订单相关数据、搜搜数据、广告点击数据等）、用户行为数据以及第三方数据（社交数据、信用数据等）构建而来。统一规范的标签可视化管理中台，业务人员可自助生产和维护标签，适应营销策略变化。

用户画像知识点补充——多数据源

不同类型数据采集存储在不同的存储引擎系统（比如HDFS、HBase、Hive、Elasticsearch、MYSQL数据库等），因此需要用户画像标签系统可以支持从不同的数据源读取业务数据，进行构建标签，恰好Spark SQL支持多数据源的加载与保存。针对用户画像标签系统来说，不同标签（业务标签，4级标签）来源于不同的业务数据（订单相关数据、搜搜数据、广告点击数据等）、用户行为数据以及第三方数据（社交数据、信用数据等）构建而来。统一规范的标签可视化管理中台，业务人员可自助生产和维护标签，适应营销策略变化。

如何修改 Kafka 消息保留时长：经验总结

Apache Kafka 是一种高性能的分布式消息系统，用于处理实时数据流。在实际使用中，我们可能需要根据业务需求调整 Kafka 消息的保留时长。本文将介绍如何修改 Kafka 消息保留时长，并分享在实际操作中的一些经验。修改 Kafka 消息保留时长是优化 Kafka 系统性能和资源使用的重要手段。通过合理的配置，可以满足不同业务场景的需求，同时确保系统的稳定性和高效性。希望本文的介绍和经验总结能帮助你更好地管理 Kafka 集群，提升业务处理能力。

Kafka SASL_SSL集群认证

公司需要对kafka环境进行安全验证，目前考虑到的方案有Kerberos和SSL和SASL_SSL，最终考虑到安全和功能的丰富度，我们最终选择了SASL_SSL方案。到此为止，SSL的证书生成和签发完成，可以在当前目录下看到server.keystore.jks和server.truststore.jks文件，最后将这些签发的证书上传到剩下的两台kafka机器上的。证书的生成只需要在任意一台机器上实现，然后将生成的证书拷贝到其余的机器上即可。本次案例生成的在141这台机器上。1）生成keystore。

Kafka SASL_SSL集群认证

公司需要对kafka环境进行安全验证，目前考虑到的方案有Kerberos和SSL和SASL_SSL，最终考虑到安全和功能的丰富度，我们最终选择了SASL_SSL方案。到此为止，SSL的证书生成和签发完成，可以在当前目录下看到server.keystore.jks和server.truststore.jks文件，最后将这些签发的证书上传到剩下的两台kafka机器上的。证书的生成只需要在任意一台机器上实现，然后将生成的证书拷贝到其余的机器上即可。本次案例生成的在141这台机器上。1）生成keystore。

Kafka SASL_SSL集群认证

公司需要对kafka环境进行安全验证，目前考虑到的方案有Kerberos和SSL和SASL_SSL，最终考虑到安全和功能的丰富度，我们最终选择了SASL_SSL方案。到此为止，SSL的证书生成和签发完成，可以在当前目录下看到server.keystore.jks和server.truststore.jks文件，最后将这些签发的证书上传到剩下的两台kafka机器上的。证书的生成只需要在任意一台机器上实现，然后将生成的证书拷贝到其余的机器上即可。本次案例生成的在141这台机器上。1）生成keystore。