个人技术分享

Sqoop就是hadoop和mysql的一个中间介质 , 作用就是可以将hadoop中的数据传到mysql中 , 或将mysql中的数据导入到hadoop中。

接口类型，过滤器可以对访问的静态和动态资源进行过滤，既可以过滤请求，也可以过滤响应。m-->model即模型是三层架构模型的业务层（service）和持久层(dao)c-->controller即控制器也是三层架构模型的表现层(web)静态：html,css,js,img。v-->views即视图是三层架构模型的表现层(web)3.在doFilter方法中书写过滤资源的代码。2.拦截web资源对客户端的响应。1.拦截客户端对web资源的请求。2.在实现类实现接口的所有代码。该怎么查看被过滤的资源呢。

指标：用户留存率， 路径分析，7日品牌复购率，7天内连续三天登录，每分钟在线人数。

（1）承UDF或者UDAF或者UDTF，实现特定的方法；（2）打成jar包，上传到服务器（3）执行命令add jar路径，目的是将 jar 包添加到 hive 中create temporary function 函数名 as "自定义函数全类名"（5）在select中使用 UDF 函数。

Servlet指服务器端的程序，被部署在服务器中，本篇文章会详细介绍Servlet的创建和使用，Servlet中的方法含义，Servlet的生命周期，内容通俗易懂！

（1）承UDF或者UDAF或者UDTF，实现特定的方法；（2）打成jar包，上传到服务器（3）执行命令add jar路径，目的是将 jar 包添加到 hive 中create temporary function 函数名 as "自定义函数全类名"（5）在select中使用 UDF 函数。

计算机毕业设计hadoop+spark+hive物流大数据分析平台 物流预测系统 物流信息爬虫 物流大数据 机器学习 深度学习

Servlet指服务器端的程序，被部署在服务器中，本篇文章会详细介绍Servlet的创建和使用，Servlet中的方法含义，Servlet的生命周期，内容通俗易懂！

SELECT查询对于读取消息并不是很有用（除了调试），因为每个消息只能读取一次。通常，将该引擎结合物化视图一起使用，使用方法：（1）、使用Kafka引擎创建一个Kafka的消费者，并将其视为一个数据流。（2）、创建所需结构的表。（3）、创建一个物化视图，该视图转换来自引擎的数据并将其放入上一步创建的表中。当物化视图添加至该引擎，它将会在后台收集数据。这就允许你从Kafka持续接收消息并使用SELECT将数据转换为所需的格式。

结合aop集成日志

（1）承UDF或者UDAF或者UDTF，实现特定的方法；（2）打成jar包，上传到服务器（3）执行命令add jar路径，目的是将 jar 包添加到 hive 中create temporary function 函数名 as "自定义函数全类名"（5）在select中使用 UDF 函数。

Spring MVC在处理器方法执行过程中出现了异常，可以采用异常处理器进行应对。一句话概括异常处理器作用：处理器方法执行过程中出现了异常，跳转到对应的视图，在视图上展示友好信息。SpringMVC为异常处理提供了一个接口：HandlerExceptionResolver核心方法是：resolveException。该方法用来编写具体的异常处理方案。返回值ModelAndView，表示异常处理完之后跳转到哪个视图。

结合aop集成日志

hive笔记

hive on spark和spark读取hive metastore配置

假设你是一位数据分析师，负责分析某电商平台的用户行为和订单数据，平台上有多个用户，用户可以在不同的日期下单，每个订单包含多个商品。请你完成相关业务分析，帮助平台优化运营策略和用户体验。排序并取出平均每月订单金额和订单数量最高的两个用户。统计每个用户每月的平均订单金额和订单数量；记录订单中商品的信息。

本篇文章的主要内容是关于项目的跨域配置和给项目添加restful风格接口。重点是文件粘贴

之前写过一篇博客，Tomcat的Servlet-GenericServlet-HttpServlet体系的具体结构，以及Servlet的生命周期想要模仿tomcat获取动态资源，就需要我们自己仿写一个Servlet接口体系主要包括：注解，相关的接口+子类，搜索包名下的所有servlet的工具类。

ContextLoaderListener实现了ServletContextListener接口，ServletContextListener是Servlet定义的，提供了与Servlet生命周期结合的回调，contextInitialized方法和contextDestroyed方法；web上下文与SerlvetContext的生命周期应该是相同的，springmvc中的web上下文初始化是由ContextLoaderListener来启动的。创建WebApplicationContext上下文。

通过上面的规律可以发现，如果日期是连续的，那么当它们减去一串顺序的数字后，得到的结果是一致的，我们可以利用这一规则，判断日期是否连续。在这个需求中，并不关心用户购买了多少商品，在意的是用户是否进行了下单，同天下单多次的用户也只算作一次。日内满足多次该条件，但是在这个需求中，每个用户只能算一次，所以还需要去重才能得到最终结果。其实很简单，我们可以通过开窗的方式，计算日期是否连续，我这里是通过打标记来实现的。那么现在来说说这个需求是如何实现的，通过如下。现在得到的结果并不是最终的结果，因为某个用户（