个人技术分享

神经网络与深度学习——第14章 深度强化学习

本文讨论的内容参考自《神经网络与深度学习》https://nndl.github.io/ 第14章 深度强化学习深度强化学习强化学习（Reinforcement Learning，RL），也叫增强学习，是指一类从与环境交互中不断学习的问题以及解决这类问题的方法，强化学习可以描述为一个智能体从与环境交互中不断学习以完成特定目标（比如取得最大奖励值）。和深度学习类似，强化学习中的关键问题也是贡献度分配问题（即一个系统中不同的组件（component）对最终输出结果的贡献或影响），每一个动作并不能直接得到监督

Flask sqlalchemy 运行时报错：ModuleNotFoundError: No module named ‘MySQLdb‘

Flask sqlalchemy 运行时报错：ModuleNotFoundError: No module named 'MySQLdb'。查询原因发现是表示 Python 环境中缺少名为 MySQLdb 的模块。MySQLdb 是一个 Python 的 MySQL 数据库接口，它是 MySQL 官方支持的数据库驱动之一。虽然解决了但是感觉很奇怪，因为之前也是用的pymysql，没有指定驱动一样能连接。不知道是不发falsk或者flask-sqlalchemy 的版本更新导致的。

Java设计模式 _行为型模式_状态模式

状态模式把所研究的对象的行为包装在不同的状态对象里，每一个状态对象都属于一个抽象状态类的一个子类。状态模式的意图是允许一个对象在其内部状态改变时自动改变它的行为。（2）、编写每一种状态的实现类（开，关等），实现状态的规范。状态模式，当一个对象状态改变需要触发不同的行为操作时比较推荐使用。主要套路就是把所有状态由原来的单一字段抽成具体的类，通过设置状态类来触发对应的行为方法。实现促发行为的方法，促发修改状态的方法等。电脑的对象，调用打开方法，修改状态促发行为。（1）、定义状态类的规范（行为的方法）

radsystems教程的基本使用之时间字段范围检索

根据之前的文章，我相信大部分人都能够做到，页面的数据展示，基本的查询功能。我们知道的是这个数值范围检索是非常容易实现的，但是这个时间字段范围检索并不是很如愿。细心的朋友会发现每次用Date Fied这个组件都会报错，不管怎么修改还是报错。相信很多朋友和我一样，怀疑是它软件的问题，于是升级了软件版本，从原来的8.5.9，升级到了8.7.0虽然升级了软件版本，但是并没有得到解决，估计是软件问题，希望官方能够解决。尽管问题还存在，但是我找到了解决方法，博主也是花了许多时间，成功解决了。

图论（五）-最短路

（n为节点个数，m为边总数）与前面所述的dijkstra算法不同，Bellman-Ford 算法，同时可以判断是否存在负权回路。算法描述：①初始化：将除起始点 s 以外的 dis 数组设置为 无穷大， dis[ s ] = 0②迭代：遍历图中的每条边，对边的两个顶点分别进行松弛操作，一共遍历 n 次 m条边，直到没有节点能够松弛③判断负环：Bellman-Ford算法迭代后，再迭代一次，若最短路距离发生改变，则存在负环。Bellman-Ford算法，

ES最新提案（下一代ES）

这是一个相对复杂的提案，涉及到JavaScript引擎的内部工作原理，具体使用和影响需深入理解其设计和实现细节。是已经存在的ECMAScript标准特性或提案，而双冒号运算符和Realm API需要提供更具体的上下文才能确定其在JavaScript中的意义或状态。在JavaScript中，通常用于Node.js环境下的脚本文件，告知系统使用特定版本的Node.js来执行该脚本。import.meta 是ECMAScript的一个已实现的元数据对象，提供与当前模块相关的信息。分隔符不影响数值的实际值。