个人技术分享

Hadoop 面试题（十）

1. 简述下列关于Hadoop命令中，命令执行成功返回0，执行失败返回-1，下列命令返回-1的是 ？2. 关于DataNode描述中，不正确的是 ？3. 简述关于Hadoop常用命令中，touchz和Linux系统的touch命令的描述正确的是 ？4. 简述Hadoop和Hadoop生态圈的描述中，正确的是 ？5. 简述关于安全模式的描述错误的是（） ？6. 简述有关Hadoop系统小文件问题的描述错误的是 ？

Hadoop 面试题（六）

1. 简述Google三驾马车是Hadoop等分布式系统的基石，其中论文()不属于三驾马车之一 ？2. 简述现有一个安装 2.6.5 版本的 Hadoop 集群，在不修改默认配置的情况下，存储 200 个每个 200M 的文本文件，请问最终会在集群中产生多少个数据块（包括副本） ？3. 假设有Hadoop系统中有DataNode节点1、2、3，且DataNode节点1、2、3上有Block1，Client请求上传文件file1至Hadoop系统，下面描述该Hadoop系统写流程错误的是（） ？4. 简

Hadoop 面试题（九）

1. 简述下面关于Hadoop系统中使用CombineFileInputFormat解决小文件问题的描述错误的是（） ？2. 简述有关Hadoop生态中各个角色对在高可用上的作用下列描述错误的是（） ？3. 简述关于Hadoop系统中添加节点的描述错误的是 ？4. 简述不参与Hadoop系统读过程的组件是 ？5. 简述关于 HDFS 安全模式说法正确的是（） ？6. 简述Hadoop生态圈中ZooKeeper的作用描述错误的选项是（） ？

大数据学习-Hadoop

分布式大数据存储——HDFS 组件分布式大数据计算——MapReduce 组件分布式资源调度——YARN 组件可以通过它来构建集群，完成大数据的存储和计算学习起来相对简单，市场占有率高，为后续的其他大数据软件学习打下基础这里学习的是 Hadoop 开源版它是 Hadoop 的一个组件，用来进行分布式计算的一个框架；计算的模式：分散-汇总模式提供了两个接口Map，提供“分散”功能，由多个服务器分布式地对数据进行处理Reduce，提供“汇总”功能，将分布式计算的结果进行汇总。

【HiveSQL】join关联on和where的区别及效率对比

假设数据库系统支持谓词下推的前提下，内连接：内连接的两个执行计划中，对t2表都使用了，对t1表都使用了，因此可以说，内连接中where和on在执行效率上没区别。外连接：还是拿左外连接来说，右表相关的条件会使用谓词下推，而左表是否会提前过滤数据，取决于where还是on以及筛选条件是否与左表相关，1）当为on时，左表的数据必须全量读取，此时效率的差别主要取决于左表的数据量。2）当为where时，如果筛选条件涉及到左表，则会进行数据的提前过滤，否则左表仍然全量读取。