查看Hive表的描述信息,包括在HDFS上的Location信息 2024-06-01 hive, 深度优先, 数据仓库, hadoop, 大数据 96人 已看 DESCRIBE FORMATTED 表名;
Servlet 2024-05-31 hive, 数据仓库, servlet, hadoop, 大数据 88人 已看 在刚才的入门案例中,我们定义了自己的Servlet,实现的方式都是选择实现Servlet,在Servlet的API介绍中,它提出了我们除了实现Servlet还可以继承GenericServlet和继承HttpServlet,通过查阅servlet的类视图,我们看到Servlet下有一个抽象类GenericServlet,抽象类GenericServlet还有一个子类HttpServlet。我们通过浏览器发送请求,请求首先到达Tomcat服务器,由服务器解析请求URL,然后在部署的应用列表中找到我们的应用。
hadoop(1)--hdfs部署(亲测可用) 2024-05-31 python, 深度优先, hadoop, 大数据, eclipse 93人 已看 在这里插入图片描述](https://img-blog.csdnimg.cn/direct/635adcec05674d2b9a888cead4f2f578.png。SecondaryNameNode:主节点辅助。启动报错,修改启动脚本和 stop 脚本。NameNode: 主节点管理者。DataNode:从节点工作者。
【Hive SQL 每日一题】统计各个商品今年销售额与去年销售额的增长率及排名变化 2024-05-31 hive, 数据仓库, hadoop, 大数据, sql 88人 已看 惯性思维导致,在排序中,并不是排名越高值越大,相反,因为我们的排名越靠前(越高),其排名值越小,想到这里,就应该明白了。(2)根据(1)中的结果,通过窗口函数排序,获取分别获取两个年度的销售额排名。(3)根据(2)中的结果,判断并计算两个年度的增长率以及排名变化,最终通过。统计各个商品今年销售额与去年销售额的增长率及销售额的排名变化。(1)获取去年与今年两个年度的数据,并进行聚合统计。可能对于排名那里存在疑惑,为什么是。连接商品表,获取商品名称。
10_JavaWeb过滤器 2024-06-05 hive, 数据仓库, hadoop, 大数据 56人 已看 关于路径的配置过滤器可以url-pattern或者直接写url-name都可。下面写法是通过url-pattern配置 批Servlet匹配;3.过滤 doFilter (多次)生活举例: 公司前台,停车场安保,地铁验票闸机。1.构造 constorct 默认重写。java中过滤仅仅是对请求做出过滤。4.销毁 destory。过滤器开发中应用的场景。2.初始化 init。
大数据基础问题:在Hive中如何实现全增量统一的UDTF、内置函数、聚合、Join等计算引擎常见算子? 2024-06-04 hive, 数据仓库, hadoop, 大数据 56人 已看 大数据行业的Hive可谓是精兵强将。HiveQL支持丰富的SQL功能,包括但不限于数据定义语言(DDL)、数据操作语言(DML)、聚合函数、窗口函数、子查询等
hadoop其中一个节点坏了,用其他节点克隆的教程+datanode正常显示,但master只有1个livenodes 2024-05-28 hadoop, 分布式, 大数据 60人 已看 3.去克隆出来的slave的hdfs的存放datanode的文件夹(你自己已经配置了相应的名称)把current文件夹删掉。1.克隆后只需要:sudo gedit /etc/network/interfaces,把ip地址改好。master只有1个livenodes主要是因为logs的问题。把你识别成原来的另一台机器了。如果一个slave出了非常棘手的问题,还是用其他slave克隆吧,很快的。6.去克隆出来的slave上,tmp里面的东西也全删掉。4.去克隆出来的slave上,把logs文件夹删掉。
Centos 7之Hadoop搭建 2024-06-04 运维, linux, 服务器, hadoop, centos 126人 已看 HDFS 有着高容错性(fault-tolerent)的特点,并且设计用来部署在低廉的(low-cost)硬件上。HDFS 开始是为开源的 apache 项目 nutch 的基础结构而创建,HDFS 是 hadoop 项目的一部分,而 hadoop 又是 lucene 的一部分。下载地址:https://archive.apache.org/dist/hadoop/common/hadoop-3.3.4/hadoop-3.3.4.tar.gz。3、配置hadoop-env.sh。12、启动hadoop。
计算机毕业设计python+hadoop+spark猫眼电影票房预测 电影推荐系统 猫眼电影爬虫 电影数据可视化 电影用户画像系统 协同过滤算法 数据仓库 2024-06-04 爬虫, python, 信息可视化, 数据仓库, spark, hadoop, 开发语言 163人 已看 计算机毕业设计python+hadoop+spark猫眼电影票房预测 电影推荐系统 猫眼电影爬虫 电影数据可视化 电影用户画像系统 协同过滤算法 数据仓库
Spark_SparkOnHive_海豚调度跑任务写入Hive表失败解决 2024-05-28 hive, spark, hadoop, 分布式, 大数据 71人 已看 方法将 DataFrame 的数据插入到一个已经存在的Hive表中,如果该表已经存在,则直接将数据插入到该表中,如果表不存在,则会抛出异常。如果表不存在,则会自动创建该表,如果表已经存在,则会用DataFrame的数据覆盖该表中的数据。前段时间我在海豚上打包程序写hive出现了一个问题,spark程序向hive写数据时,报了如下bug,后来我删了建,把分区也删了,parquet格式也加了,还是报这个问题,因此排除是建表问题。后来我看代码,入库的语句如下,死活写不进去。如上,为什么会这样呢,我想了一下,
ServletContext 2024-06-02 hive, 数据仓库, servlet, hadoop, 大数据 81人 已看 ServletContext 是应用上下文对象。每一个应用中只有一个 ServletContext 对象, 这个ServletContext 对象被所有Servlet所共享.在 Servlet 规范中,一共有 4 个域对象。ServletContext 就是其中的一个。它也是 web 应用中最大的作用域,也叫 application 域。它可以实现整个应用之间的数据共享!生命周期:应用一加载则创建,应用被停止则销毁。
大数据面试题 —— Hive 2024-05-19 hive, 数据仓库, hadoop, 大数据 47人 已看 (1)承UDF或者UDAF或者UDTF,实现特定的方法;(2)打成jar包,上传到服务器(3)执行命令add jar路径,目的是将 jar 包添加到 hive 中create temporary function 函数名 as "自定义函数全类名"(5)在select中使用 UDF 函数。
大数据面试题 —— Hive 2024-05-19 hive, 数据仓库, hadoop, 大数据 53人 已看 (1)承UDF或者UDAF或者UDTF,实现特定的方法;(2)打成jar包,上传到服务器(3)执行命令add jar路径,目的是将 jar 包添加到 hive 中create temporary function 函数名 as "自定义函数全类名"(5)在select中使用 UDF 函数。
WPF快速学习入门(9.依赖属性) 2024-05-27 学习, hadoop, wpf, 分布式, 大数据 59人 已看 WPF(Windows Presentation Foundation)是一种用于构建桌面应用程序的UI框架。在WPF中,依赖属性是一种特殊的属性类型,它允许我们在不修改类定义的情况下,为控件添加新功能或扩展现有功能。本文将介绍依赖属性的概念、用途以及如何在实际项目中使用它们。
Hadoop伪分布式安装教程 2024-05-29 hadoop, 分布式, 大数据 58人 已看 hivesever2的模拟用户功能,依赖于Hadoop提供的proxy user(代理用户功能),只有Hadoop中的代理用户才能模拟其他用户的身份访问Hadoop集群。因此,需要将hiveserver2的启动用户设置为Hadoop的代理用户,配置方式如下:修改配置文件。首先,在根目录下创建文件夹 Downloads 用来存放传输上来的文件,在 opt 目录下创建 module 文件用来存放使用解压出来的大数据软件,选择一个安全的,并确保记住它,因为后面需要用到这个密码。要测试它,请检查其状态。