个人技术分享

Clickhouse实战处理（一）集成引擎和Distributed引擎之集成Hive

SELECT查询对于读取消息并不是很有用（除了调试），因为每个消息只能读取一次。通常，将该引擎结合物化视图一起使用，使用方法：（1）、使用Kafka引擎创建一个Kafka的消费者，并将其视为一个数据流。（2）、创建所需结构的表。（3）、创建一个物化视图，该视图转换来自引擎的数据并将其放入上一步创建的表中。当物化视图添加至该引擎，它将会在后台收集数据。这就允许你从Kafka持续接收消息并使用SELECT将数据转换为所需的格式。

【Hive SQL 每日一题】分析电商平台的用户行为和订单数据

假设你是一位数据分析师，负责分析某电商平台的用户行为和订单数据，平台上有多个用户，用户可以在不同的日期下单，每个订单包含多个商品。请你完成相关业务分析，帮助平台优化运营策略和用户体验。排序并取出平均每月订单金额和订单数量最高的两个用户。统计每个用户每月的平均订单金额和订单数量；记录订单中商品的信息。

Hadoop 客户端 FileSystem加载过程

hadoop-hdfs-project/hadoop-hdfs/src/main/resources/META-INF/services，可以看到，这个目录下有一个org.apache.hadoop.fs.FileSystem文件。一般我们会这么使用，那么问题来了，FileSystem是个抽象类，我们到底用哪一个呢？通过 loadFileSystems这个方法会加载文件中的所有类，并且根据scheme生成一个map，key是scheme，value是fs。2、如果配置里没有，这个时候用加载的。

基于Hadoop的气象数据分布式存储技术研究

本文针对气象数据存储与处理问题展开研究，提出了一种基于Hadoop的分布式存储技术。随着气象数据量的不断增大，传统的存储方式已经无法满足高速、高容量的需求。为了提高气象数据的存储效率和处理速度，本文引入了Hadoop分布式文件系统（HDFS）和分布式处理框架（MapReduce）。首先，本文简要介绍了气象数据的特点及其在气象预测、灾害预警等方面的重要性。然后，详细分析了传统存储方式存在的问题，包括存储能力受限、读写效率低下等。针对这些问题，本文提出了基于Hadoop的分布式存储方案。

【大数据篇】Hadoop：大数据处理的核心基石

Hadoop决定创建一个由许多小伙伴组成的探险队，每个小伙伴都擅长处理不同类型的数据。他找到了擅长存储大量数据的“HDFS”（Hadoop Distributed File System），让它负责建造一个巨大的数据仓库，用来存放所有收集到的数据。接着，Hadoop又找到了擅长并行处理的“MapReduce”兄弟俩。Map哥哥负责将数据拆分成小块，让探险队的每个成员都能同时处理一部分数据；而Reduce弟弟则负责将处理完的数据汇总起来，形成最终的结果。在HDFS和MapReduce的帮助下，Hadoop

hadoop hdfs优势和缺点

hdfs优点高容错性适合处理大数据可构建再廉价的机器上hdfs缺点不适合做低延迟数据访问毫秒级的存储数据做不到无法高效的对大量小文件进行存储不支持并发写入 文件随机修改一个文件只能有一个writer 不允许多个线程同时写仅支持数据追加 不支持文件的随机修改hdfs组织结构namenode 就是master 他是一个主管 管理者管理hdfs的名称空间配置副本策略管理数据块映射信息处理客户端读写请求datanode 就是slave namenode下达