个人技术分享

算法（十三）回溯算法---N皇后问题

回溯算法是类似枚举的深度优先搜索尝试过程，主要是再搜索尝试中寻找问题的解，当发生不满足求解条件时，就会”回溯“返回（也就是递归返回），尝试别的路径求解。N皇后问题研究的是：如何将ｎ个皇后放在n * n的棋盘上，并且使皇后彼此之间不能相遇，也就是一个皇后的上下左右、以及斜着对角线上都不能有另外一个皇后，也就是一个皇后在 ”米“ 的视线中不能遇到另外一个皇后。

GPTQ 量化大模型

这是因为即使某些权重可能单独引入更多误差，但它们会在流程后期量化，此时剩下的其他权重很少，这可能会增加误差。事实证明，列的最终量化仅受对该列更新的影响，而不会受后续列的影响。因此，GPTQ 可以一次将算法应用于一批列（例如 128 列），仅更新这些列和矩阵的相应块。GPTQ 算法由 Frantar 等人 (2023) 提出，它从 OBQ 方法中汲取灵感，但进行了重大改进，可以将其扩展到（非常）大型的语言模型。对于批次中的每一列，它量化权重，计算误差，并相应地更新块中的权重。然后它循环运行，一次处理一批列。

算法（十三）回溯算法---N皇后问题

回溯算法是类似枚举的深度优先搜索尝试过程，主要是再搜索尝试中寻找问题的解，当发生不满足求解条件时，就会”回溯“返回（也就是递归返回），尝试别的路径求解。N皇后问题研究的是：如何将ｎ个皇后放在n * n的棋盘上，并且使皇后彼此之间不能相遇，也就是一个皇后的上下左右、以及斜着对角线上都不能有另外一个皇后，也就是一个皇后在 ”米“ 的视线中不能遇到另外一个皇后。

算法（十三）回溯算法---N皇后问题

回溯算法是类似枚举的深度优先搜索尝试过程，主要是再搜索尝试中寻找问题的解，当发生不满足求解条件时，就会”回溯“返回（也就是递归返回），尝试别的路径求解。N皇后问题研究的是：如何将ｎ个皇后放在n * n的棋盘上，并且使皇后彼此之间不能相遇，也就是一个皇后的上下左右、以及斜着对角线上都不能有另外一个皇后，也就是一个皇后在 ”米“ 的视线中不能遇到另外一个皇后。

算法（十三）回溯算法---N皇后问题

回溯算法是类似枚举的深度优先搜索尝试过程，主要是再搜索尝试中寻找问题的解，当发生不满足求解条件时，就会”回溯“返回（也就是递归返回），尝试别的路径求解。N皇后问题研究的是：如何将ｎ个皇后放在n * n的棋盘上，并且使皇后彼此之间不能相遇，也就是一个皇后的上下左右、以及斜着对角线上都不能有另外一个皇后，也就是一个皇后在 ”米“ 的视线中不能遇到另外一个皇后。

算法（十三）回溯算法---N皇后问题

回溯算法是类似枚举的深度优先搜索尝试过程，主要是再搜索尝试中寻找问题的解，当发生不满足求解条件时，就会”回溯“返回（也就是递归返回），尝试别的路径求解。N皇后问题研究的是：如何将ｎ个皇后放在n * n的棋盘上，并且使皇后彼此之间不能相遇，也就是一个皇后的上下左右、以及斜着对角线上都不能有另外一个皇后，也就是一个皇后在 ”米“ 的视线中不能遇到另外一个皇后。

LORA微调，让大模型更平易近人

LORA 在ICLR2022中提出，是利用低秩适配（low-rankadaptation）的方法，可以在使用大模型适配下游任务时只需要训练少量的参数即可达到一个很好的效果。由于 GPU 内存的限制，在训练过程中更新模型权重成本高昂。例如，假设我们有一个 7B 参数的语言模型，用一个权重矩阵 W 表示。在反向传播期间，模型需要学习一个 ΔW 矩阵，旨在更新原始权重，让损失函数值最小。

数据结构的希尔排序（c语言版）

希尔排序是一种基于插入排序算法的优化排序方法。它的基本思想如下:选择一个增量序列 t1，t2，......，tk，其中 ti > tj, 当 i < j，并且 tk = 1。2.希尔排序的优点时间复杂度较低。希尔排序的时间复杂度一般在 O(n^1.25) 和 O(n^1.5) 之间,优于简单的插入排序。在部分有序的数组中效率很高。希尔排序通过分组插入排序来利用数据的局部有序性,可以有效地加快排序速度。空间复杂度低,只需要常量级的额外空间。代码实现相对简单,易于理解和编码。3.希尔排序的缺点。