个人技术分享

摸鱼大数据——Spark基础——Spark On Yarn环境配置和部署

export/data/spark_project/spark_base/05_词频统计案例_spark_on_yarn运行.py。/export/data/spark_project/spark_base/05_词频统计案例_spark_on_yarn运行.py。/export/data/spark_project/spark_base/05_词频统计案例_spark_on_yarn运行.py。相比原理hadoop集群,需要多启动一个spark的自己的历史服务,它是依赖hadoop的历史服务的!

开发小Tips：切换淘宝，腾讯，官方，yarn,cnpm镜像源,nrm包管理工具的具体使用方式（方便切换镜像源）

由于开发中经常要下载一些软件或者依赖，且大多数的官方源的服务器都在国外，网速比较慢，国内为了方便，国内一些大厂就建立一些镜像，加快下载速度。nrm 是一个 Node.js 包，用于管理 npm 源，可以通过它方便的切换镜像源。可以切换到 npm 官方源（写上面列表的命令就可以）可以添加一个名为 "myregistry" 的自定义源。运行过后你可以看到下面这样的列表。4.添加自定义的 npm 源。2.切换源的工具：nrm。

yarn 设置淘宝镜像配置

请注意，这些更改会影响到你个人账户下的Yarn配置。如果你希望为所有项目或系统级别设置此镜像，可以添加。标志，但并非所有操作系统都支持此标志。此外，这些设置通常是持久化的，除非你手动更改它们或重置配置。为了提升在中国大陆地区的下载速度，你可以将Yarn的包仓库配置为淘宝镜像。是一个更推荐的选择，因为它提供了更稳定的镜像服务和与官方仓库接近的同步更新频率。，这是一个常用的国内镜像源，提供了npm和Yarn的包。另外，尽管淘宝镜像在过去很流行，但现在。这条命令会将包的下载源更改为。作为镜像源，替代旧的。

yarn 设置淘宝镜像配置

请注意，这些更改会影响到你个人账户下的Yarn配置。如果你希望为所有项目或系统级别设置此镜像，可以添加。标志，但并非所有操作系统都支持此标志。此外，这些设置通常是持久化的，除非你手动更改它们或重置配置。为了提升在中国大陆地区的下载速度，你可以将Yarn的包仓库配置为淘宝镜像。是一个更推荐的选择，因为它提供了更稳定的镜像服务和与官方仓库接近的同步更新频率。，这是一个常用的国内镜像源，提供了npm和Yarn的包。另外，尽管淘宝镜像在过去很流行，但现在。这条命令会将包的下载源更改为。作为镜像源，替代旧的。

Hadoop、MapReduce、YARN和Spark的区别与联系

Hadoop、MapReduce、YARN和Spark都是大数据处理领域中的关键技术和工具，它们共同构建了一个完整的大数据生态系统。Hadoop提供了分布式存储和计算的能力，MapReduce是Hadoop中的核心计算框架，YARN为Hadoop提供了更强大的资源调度和管理能力，而Spark则是一个基于内存计算的快速大数据处理框架。Hadoop、MapReduce、YARN和Spark在大数据处理领域中各自扮演着不同的角色，但它们之间也存在紧密的联系。

Hadoop、MapReduce、YARN和Spark的区别与联系

Hadoop、MapReduce、YARN和Spark都是大数据处理领域中的关键技术和工具，它们共同构建了一个完整的大数据生态系统。Hadoop提供了分布式存储和计算的能力，MapReduce是Hadoop中的核心计算框架，YARN为Hadoop提供了更强大的资源调度和管理能力，而Spark则是一个基于内存计算的快速大数据处理框架。Hadoop、MapReduce、YARN和Spark在大数据处理领域中各自扮演着不同的角色，但它们之间也存在紧密的联系。

Hadoop、MapReduce、YARN和Spark的区别与联系

Hadoop、MapReduce、YARN和Spark都是大数据处理领域中的关键技术和工具，它们共同构建了一个完整的大数据生态系统。Hadoop提供了分布式存储和计算的能力，MapReduce是Hadoop中的核心计算框架，YARN为Hadoop提供了更强大的资源调度和管理能力，而Spark则是一个基于内存计算的快速大数据处理框架。Hadoop、MapReduce、YARN和Spark在大数据处理领域中各自扮演着不同的角色，但它们之间也存在紧密的联系。

Hadoop、MapReduce、YARN和Spark的区别与联系

Hadoop、MapReduce、YARN和Spark都是大数据处理领域中的关键技术和工具，它们共同构建了一个完整的大数据生态系统。Hadoop提供了分布式存储和计算的能力，MapReduce是Hadoop中的核心计算框架，YARN为Hadoop提供了更强大的资源调度和管理能力，而Spark则是一个基于内存计算的快速大数据处理框架。Hadoop、MapReduce、YARN和Spark在大数据处理领域中各自扮演着不同的角色，但它们之间也存在紧密的联系。

使用yarn/npm安装插件（涉及electron），总是报错证书错误或者ssl解析错误

最近electron更新到了30大版本，里面更新的一个重大变化是主进程增加了 WebContentsView 和 BaseWindow，对窗口的控制会更加丝滑。正好最近在做把文章或者视频一键发布到各自媒体平台的工具，所以决定把BrowserWindow的实现改为BaseWindow，当然如果查看源码会发现，其实两者是继承关系，BrowserWindow作为封装后的API，还是更简便的。

HADOOP之YARN详解

第一代Hadoop，由分布式存储系统HDFS和分布式计算框架MapReduce组成。其中，HDFS由一个NameNode和多个DataNode组成，MapReduce由一个JobTracker和多个TaskTracker组成。对应Hadoop版本为Hadoop 1.x, 和0.21.x, 0.22.x。为克服Hadoop 1.0中的HDFS和MapReduce存在的各种问题而提出的，针对Hadoop 1.0中的MapReduce在扩展性和多框架支持方面的不足，提出了全新的资源管理框架YARM。