个人技术分享

4、复制 flink-sql-connector-postgres-cdc-xxx.jar, flink-connector-starrocks-xxx.jar 到 flink-xxx/lib/。2、下载 Flink CDC connector，请注意下载对应 Flink 版本的 flink-sql-connector-postgres-cdc-xxx.jar。我本地访问不了虚拟机的地址，实际上是虚拟机的防火墙是开启的，需要把虚拟机防火墙关闭。1、下载 Flink，我的版本是1.18；

pivot_table和melt的主要区别是：melt是pandas中的函数，而pivot_table是dataframe对象的方法。最好把歌曲信息存储在单独的表中，如此year、artist、track和time等列的信息就不会在数据集中重复出现。具体操作为：把year、artist、track、time和date.entered放入一个新的dataframe中，给每组值分配唯一的ID，然后再另一个DataFrame（表示歌曲、日期、周次及排名）中使用这些ID。2、一张表中的多个观测单元（归一化）

PowerShell能开发解决的问题：1、PowerShell 可以直接替掉Xshell等连接linux的的客户端，连接服务器。2、简化git命令。3、缩短服务器 操作的步骤。4.简化工作流程

ES 作为一个分布式搜索引擎，从扩展能力和搜索特性上而言无出其右，然而它有自身的弱势存在，其作为近实时存储系统，由于其分片和复制的设计原理，也使其在数据延迟和一致性方面都是无法和 OLTP（Online Transaction Processing）系统相媲美的。也正因如此，通常它的数据都来源于其他存储系统同步而来，做二次过滤和分析的。这就引入了一个关键节点，即 ES 数据的同步写入方式，本文介绍的则是 MySQL 同步 ES 方式。将 MySQL 数据写入 ES，首先想到的一定是消费 Binlog 直连

subtract()方法用于将前一个RDD中在后一个RDD出现的元素删除，可以认为是求补集的操作，返回值为前一个RDD去除与后一个RDD相同元素后的剩余值所组成的新的RDD。使用flatMap()方法时先进行map（映射）再进行flat（扁平化）操作，数据会先经过跟map一样的操作，为每一条输入返回一个迭代器（可迭代的数据类型），然后将所得到的不同级别的迭代器中的元素全部当成同级别的元素，返回一个元素级别全部相同的RDD。转换操作是创建RDD的第二种方法，通过转换已有RDD生成新的RDD。

请注意，以上步骤仅提供了一个大致的框架，具体的步骤可能会因你的环境和需求而有所不同。在实际操作中，请根据你的具体情况进行相应的调整。同时，也建议参考HBase和Hadoop的官方文档，以及相关的教程和社区资源，以获取更详细和准确的指导。使用HBase的shell或Java API测试HBase的基本功能。（由于Hadoop的安装步骤相对复杂，这里仅提供大致步骤，具体步骤请参考Hadoop的官方文档或相关教程）中设置HBase的根目录、Zookeeper的地址等。下载HBase 2.1.5的安装包。

中包含多个查询，取其中 最高的相关性评分 评分作为文档的相关性评分，或取 最高的相关性评分 加上 其他经过调整的查询结果的相关性评分 作为文档的相关性评分。分别描述了什么是 相关性评分（Relevance scores）、相关性查询（Query context）、过滤查询（Filter context）复合查询可以包裹 叶子节点查询 或者 复合查询子句，用于组合多个查询（： 调整除 最高的相关性评分 以外的其他相关性评分的系数。查询返回的文档都具有相同的评分，评分为。调整 相关性评分的查询，不调整。

【代码】Python脚本同步Hive表结构到MySQL。

Apache Flink树立了流处理领域的标杆，其核心支柱——事件流、状态管理、事件时间处理，以及快照机制，共同构成了一个强大而灵活的框架，专为应对大数据的实时和历史分析挑战而设计。

不受地域空间限制，可根据厂区实际情况进行刻画，提供树形结构的区域地图草稿图生成功能，对于生成的草稿图只需要通过拖拽的形式调整区域空间位置摆放即可，极大的提升了操作的便利性，也满足了零代码创建区域架构的前提。内含多种数据分析模型，将监测到的数据进行分析，并生成各种能源消耗报表和趋势分析报告，帮助管理者了解商场的能源消耗情况，并制定相应的节能措施。2、降低能源成本：商场能源消耗是商场运营成本的主要组成部分，通过优化能源使用效率，系统可以帮助商场管理者降低能源成本，提高商场的盈利能力。1、在线监测各项能源消耗。

一、如何查看当前系统登录的GIt用户信息二、如何修改当前系统的用户信息

A：运营报表指的是业务用户直接从交易系统、应用程序或数据仓库生成报表。B：绩效管理是一套集成的组织流程和应用程序，旨在优化业务战略的执行。C：在线分析处理（OLAP）是一种为多维分析查询提供快速性能的方法。D：在线分析处理（OLAP）比在线事务处理（OLTP）对数据的实时性有更高的要求。正确答案：D 你的答案：D解析：309页~310页 1运营报表第一行，2业务绩效管理第一行，310页运营分析应用第二段第一行，D选项说反了。

本项目是一款基于SSM的宠物销售网站，主要针对计算机相关专业的正在做毕设的学生与需要项目实战练习的 Java 学习者。

spark官网关于spark有状态编程介绍比较少，本文是一篇个人理解关于spark状态编程。一般的流计算使用窗口函数可以解决大部分问题，但是一些比较复杂的业务，窗口函数无法解决，比如需要的数据范围大于你设定的时间窗口，那么就需要状态编程处理中间状态。

通过理解并拥抱变化、培养互联网思维、与用户建立紧密联系、提升跨学科素养以及勇于尝试与创新，产品经理可以带领团队不断提升产品的竞争力和用户体验，为用户创造更大的价值。随着科技的飞速发展和互联网的普及，产品经理的角色已经从单纯的产品规划者逐渐转变为全方位的用户体验设计者。因此，传统行业的产品经理需要保持敏锐的嗅觉，时刻关注行业动态和用户需求的变化，及时调整产品策略。传统行业的产品经理需要提升自己在设计、技术、数据分析等方面的素养，以便更好地与团队协作，共同打造出符合用户期望的产品。

2.注意public_decrypt返回的数字是实际解密后的数据长度，例如你传入解密的数据是256字节（正好是rsa key的长度），那你解密后的数据长度（如果padding是PCKS1）就是256-11 = 245.使用也很方便，但是有一点注意public_encrypt这个函数每次返回的加密长度都是256.（我的key生成的时候是2048=256*4）1.解密的原理和加密类似，也是逐个block解密，每个block的长度就是rsa key的长度，这个比加密时候计算方便。上述代码使用公钥加密数据。

rocketmq学习笔记

Leetcode 3145. Find Products of Elements of Big Array

详解HDFS和HBASE的指令操作以及JAVA API。

从具有实时洞察力的自动采购订单处理，到供应商管理工作流程，8Manage SRM采购管理软件强大的服务以及智能洞察可以充分满足企业发展的需求。数据是现代企业的命脉，采购自动化为组织提供了丰富的数据，可以利用这些数据做出更好的决策。自动化采购工具，比如8Manage SRM，可以帮助企业建立标准化的工作流程和审批流，确保所有采购活动都遵守公司政策。8Manage SRM还支持自动化供应商绩效评估，可以确保公平透明的流程，考虑各种绩效指标，例如交付时间、质量和对合同条款的遵守情况。