个人技术分享

【Linux】-Spark分布式内存计算集群部署[20]

Spark是一款分布式内存计算引擎，可以支持海量数据的分布式计算。Spark在大数据体系是明星产品，作为最新一代的综合计算引擎，支持离线计算和实时计算。在大数据邻域广泛应用，是目前世界上使用最多的大数据分布式计算引擎。将基于前面构建的Hadoop集群，部署Spark Standalone集群。

浏览器自动化~插件推荐Automa

首先了解一下Automa是什么？Automa它定位是一款 Chrome 插件，也就意味着，它的使用载体需要借助Chrome浏览器。利用Automa，即使你不会写代码，也能按照自己的需求，完成一系列自动化操作。利用它，你可以将一些重复性的任务实现自动化、并且它可以进行界面截图、抓取网站数据、你还可以自定义时间何时去执行自动化任务等。PS：主要用于常年不变的操作，如登录、签到、翻页等重复工作。PS：类似软件有power automate、Selenium。

ngnix 入门 二，docker启动nginx, 安装ssl 证书，使用配置文件，映射后端服务 ，提供给前端项目访问

搭建生产环境真不是人做的事，特别是对于一知半解的人。仅以此文献给各位技术人说一下背景：项目前后端分离，前端 vue3 、小程序端 ，后端 go 提供服务。微信小程序需要使用 https 请求。这就必须让我们想到nginx 了想要达到的目的： 针对特定端口 请求 只能用https , 并且支持部署vue 项目省略 docker、nginx 的安装步骤如要参考，请看。

Jenkins pipeline发布前端项目

5.选择"hello world" 生成一个基本流水线框架，然后点击流水线语法，打开新页面。5.2填加拉取代码步骤，生成器选择git，选择分支与刚刚创建的凭据生成步骤片段。5.3 增加一个stage-->steps，把生成的shell命令加入进来。3.系统管理--凭据--系统--全局凭据--添加自己的git凭据。5.1 在片段生成器里选择自定义的工具生成片段，然后复制过来。2.1 点击高级选择账号密码验证方式，添加服务器的用户和密码。再添加一个部署stage-->steps 插入这个片段。

【学习】实验室服务器常用的Linux指令。

ls 是英文单词 list 的简写，其功能为列出目录的内容，是用户最常用的命令之一，类似于 DOS下的 dir 命令。查看当前服务器上运行的所有进程，用于查看自己的进程有没有卡死一直占着GPU的情况。用 gzip 压缩 tar 打包后的文件，其扩展名一般用 xxx.tar.gz。tar 与 gzip 命令结合可以使用实现文件 打包和压缩。在不同操作系统中，常用的打包压缩方式是不同的选项 含义。使用 rm 命令要小心，因为文件删除后不能恢复。tar 只负责打包文件，但不压缩。Linux 下文件和目录的特点。

VMware虚拟机Ubuntu 22.04.4 LTS系统 NAT网络设置异常解决

异常：网络图标显示问号，ifconfig查看，有ens33，ip地址也自动被设置，无论怎么修改配置，都不能ping www.baidu.com。第三步：打开菜单中的编辑选项，打开虚拟网络编辑器，点击还原默认设置，等待提示结束，还原成功，然后点确定，退出窗口。在虚拟机菜单中点击虚拟机点击设置，先选择网络适配器进行移除 ，然后再重新添加网络设配器。第一步：选择虚拟机的菜单栏中虚拟机选项--->电源--->关闭客户机。如遇到类似情况的，可以尝试这个方式，看能否解决问题。参考网上的各种教程，终于解决问题。

Linux——进程信号(一)

什么是信号?结合实际红绿灯、闹钟、游戏中的"！"等等这些都是信号。以红绿灯为例子：一看到红绿灯我们就知道：红灯停、绿灯行；我们不仅知道它是一个红绿灯而且知道当其出现不同的状况时我们应该做出怎么样的行为去应对。对于红绿灯：我们之前受过的教育，让我们能够识别这个红绿灯(即使它还未出现在我们眼前)，也就是说你能识别"红绿灯"当绿灯量了后我们不一定要直接走，也可以等一会再走(也就是说接收信号后我们不一定要立刻产生对应的行为)当红灯亮了之后，我们可以玩手机，要记得这个时候还是红灯。

mac操作系统下，docker登录nexus私库，提示不支持https协议的错误

如果你是通过命令行的方式更新文件/etc/docker/daemon.json，然后在docker desktop重启，并不能解决问题。在mac操作系统下，你不能像Linux操作系统那样，使用下面的重启命令。二者，mac用户并非root用户，你需要sudo才能写入文件/etc/docker/daemon.json。重要的是，docker desktop并不加载读取它。所以，在docker desktop的设置中，你得找到Docker Engine的daemon配置。