个人技术分享

MVBench定义了20个视频理解任务，这些任务需要对视频的时间维度有深入理解，不能仅通过单个帧来解决。作者提出了一种从静态到动态的方法，将先前定义的静态图像任务转化为具有动态目标的视频任务，涵盖了从感知到认知的一系列时间理解技能。

无监督的object-centric learning（OCL）可以将场景划分为多个object，而无需进行先验的定位（例如pretrain的detector）。这正好可以解决MOT标注信息繁多、困难的问题。空间上，OCL没有正确认识整个物体的语义信息，导致物体往往被划分成了很多parts时间上，OCL也无法准确地维护帧间连续性。

针对RDMA和CXL结合的内存分解。本文提出基于RDMA和CXL的内存池Rcmp，通过CXL提高了基于RDMA的系统的性能，并利用RDMA克服了CXL的距离限制。包括4个创新点：（1）基于全局页面的内存空间管理，支持细粒度的数据访问，避免IO放大。（2）使用不同缓存区结构避免通信阻塞，机架内访问使用环形缓存区，机架间访问使用双层缓冲区，第一级存储已完成的访问避免阻塞，第二级使用环形缓存区，执行完时将请求添加到第一级缓冲区。

这是篇想要用GPT来提取sentence embedding的工作，提出了两个框架，一个是SGPT-BE，一个是SGPT-CE，分别代表了Bi-Encoder setting和Cross-Encoder setting。CE的意思是在做阅读理解任务时，document和query是一起送进去，中间加个SEP token来做的，典型的是BERT。而GPT一般不是，但作者觉得GPT也可以是。也就是说，如果有k个document和一个新的query，需要把这个query和这k个document分别conca

n的序列了，只需要对这个序列仅需mask prediction即可，即根据17。

这篇论文提出了一种新颖的方法，使用智能手机的加速度计来识别用户的活动。通过收集和分析来自多位用户的数据，研究者们建立了一个能够以高准确率识别不同活动的预测模型。这项工作不仅展示了智能手机传感器在数据挖掘领域的应用潜力，还为未来实时、隐私友好的移动健康监测应用奠定了基础。

这篇论文提出了一种新颖的方法，使用智能手机的加速度计来识别用户的活动。通过收集和分析来自多位用户的数据，研究者们建立了一个能够以高准确率识别不同活动的预测模型。这项工作不仅展示了智能手机传感器在数据挖掘领域的应用潜力，还为未来实时、隐私友好的移动健康监测应用奠定了基础。

这是篇NIPS2023的 world model 论文文章提出，WM的误差会在训练过程中积累从而影响policy的训练，向WM中加噪声可以改善这一点。其他的流程和IRIS差不多，差别在以下几点：image encoder，IRIS用的VQVAE, 本文用的是VAE，用VAE的采样方式来生成zt，从而为zt加噪声。sequence model，IRIS用GPT循环输出image的每个token，本文直接用MLP把生成的 ztz_tzt​ 和动作 ata_tat​ 输出成一个token，这样GPT

来自JMLR的一篇论文，这篇文章试图通过分析模型权重矩阵的频谱来解释模型，并在此基础上提出了一种用于早停的频谱标准。

⭐ 作者提出了可在查询之前先应用LLM作为重写器对问题进行重写，然后再走RAG的流程。同时也提出了可以训练一个小模型来作为重写器。但博主对该小模型的泛化能力存疑。建议还是通过在提示词中给一些示例，让LLM进行重写。

Self-Rag框架训练流程涉及两个模型，一个是评价模型（Critic Model），一个是生成模型（Generator Model）。大概方法是，借助GPT-4形成数据集，训练评价模型；然后通过评价模型，生成新的数据集，再来训练生成模型。

其中N表示域的数量，也就是不同的操作方法所生成的伪造样本，x表示训练集的样本，y表示对应的标签，Yn表示独热编码，G表示内容特征生成器，D表示域鉴别器，为了同步优化G和D，梯度反转层被用于反向传播中用于翻转梯度。采用最远样本采样来采样不同风格的样本点，从N个个种类的全部样本点中，迭代选择C个样本点，以此避免真假样本相互作用。做法：使得所有得样本点尽可能得远，因此样本分离and不统一，多样性域感知模块，用于融合内容特征和风格特征在高位特征感知任务中嵌入域知识。，提高模型的特征提取能力的泛化和有效性。

给出论文（Explainable Image Similarity Integrating Siamese Networks and Grad-CAM）的内容解读、代码运行说明。

本文是遥感领域的大模型相关的一篇工作，发表在CVPR2024。

zt​z0​zt​z0​zt−1​z0​z0​z0​z0​z0​zt​zt−1​z0​Dz0​)WWW。

通过流的方式跟踪是一个比较新颖的点，所以这里比较关注运动跟踪，是如果做到流的跟踪来预测目标的位置以及ID绑定的。FlowMOT的框架结构如下所示，本中会主要关注下运动跟踪、数据关联、ID分配、新生/消亡等，针对这个几个部分进行总结。

MZUAI和IIAI在NIPS2023上的一篇论文，用prompt来编码degradation，然后用来guide restoration network，使得模型能够泛化到不同degradation types and levels，也就是说是一个模型一次训练能够应对多种degradation的unified model。文章分析，对每种degradation都要train一个模型是compute-intensive and tedious process, and oftentimes impra

现在考虑三 种情况，一种情况是传感器在扫描期间保持静止（以 标记为 a 的姿势开始和结束），第二种情况其中传感器进行纯平移（从 a 开始并在 b 结束）， 第三种情况是传感器同时进行平移和旋转（从 a 开 始并在 c 结束）。通过在现实世界数据上进行实验，本文证明了VICET比传统的NDT和ICP提高了精度，降低了地图匹配的平移偏差（从6.9cm降低到0.27cm，降低了一个数量级），同时减少了一个sigma变化（从5.4cm到2.6cm）。然后，利用扩展的NDT算法，同时优化刚性变换和运动失真参数。

生物信息学在理解生物现象中起着至关重要的作用，但生物数据的指数级增长和技术的快速进步加大了深入探索这一领域的障碍。因此，我们提出了生物信息代理（BIA），这是一种利用大语言模型（LLM）技术的智能代理，通过自然语言促进自主的生物信息学分析。BIA的主要功能包括提取和处理原始数据和元数据，查询本地部署和公共数据库的信息。它还承担了工作流程设计的制定，生成可执行代码，并提供全面的报告。本文专注于单细胞RNA测序（scRNA-seq）数据，展示了BIA在信息处理和分析以及执行复杂任务和交互方面的卓越能力。

大型语言模型（LLMs）在跨领域任务中表现出色，但在化学相关问题上却表现不佳。这些模型也缺乏外部知识源的访问权限，限制了它们在科学应用中的有用性。我们介绍了ChemCrow，这是一种设计用于完成有机合成、药物发现和材料设计任务的LLM化学代理。通过集成18个专家设计的工具，并使用GPT-4作为LLM，ChemCrow增强了LLM在化学领域的性能，并展现了新的能力。我们的代理自主规划和执行了昆虫驱避剂和三种有机催化剂的合成，并指导发现了一种新的发色团。