论文阅读：Multi-modal Multi-instance Learning Using Weakly CorrelatedHistopathological

【论文笔记001】Multi-modal Multi-relational Feature Aggregation Network for Medical Knowledge Representation Learning 1.简介 《Multi-modal Multi-relational Feature Aggregation Network for Medical Knowledge Representation Learning》 来源：ACM Multimedia 2020 链接：https:/

每天给你送来NLP技术干货！作者｜都一凡方向 | 多模态学习来自 | RUC AI Box凭借着强大的泛化能力，预训练模型在CV和NLP领域的一系列任务上取得巨大成功。尤其是自以Trans...

论文提出了一种名为SGGRL的多模态分子表示学习模型，通过结合序列、图结构和几何信息来提升分子性质预测的准确性。SGGRL设计了一个融合层来综合不同模态的表示，并通过训练最大化同一分子的表示相似度，同时最小化不同分子的相似度。实验结果表明，SGGRL在多个数据集上优于现有的基线方法，能够全面捕捉分子信息，展示了其在分子性质预测中的潜力。模态方法不足以全面描述分子的性质，因为分子的性质受到多种因素的影响，如手性、功能团、骨架等。因此，需采用多模态分子表示学习。

例如：第一章 Python 机器学习入门之pandas的使用文章链接Multimodal Emotion Recognition is an important research area for developing human-centric applications, especially in the context of video platforms. Most existing models have attempted to develop sophisticated fusion tech

会议/期刊 论文 neurips2020 Removing Bias in Multi-modal Classifiers: Regularization by Maximizing Functional Entropies. neurips2020 Labelling unlabelled videos from scratch with multi-modal self-supervision. neurips2020 A Contour Stochastic Gradient ....

读论文笔记 一些关于多模态CLIP的论文阅读

会议/期刊 论文 neurips2020 Self-Supervised MultiModal Versatile Networks. neurips2020 Self-Supervised Relationship Probing. neurips2020 Cross-lingual Retrieval for Iterative Self-Supervised Training. neurips2020 Adversarial Self-Supervised Contrast....

每张图像被切割成固定大小的补丁（Patches），并加上位置编码（Positional Encoding）和视角编码（View Encoding），以便让模型知道某个 Token 属于哪张图的哪个位置。骨干网络 (Transformer Backbone)：采用类似于 ViT（Vision Transformer）的架构。这意味着模型在这一阶段就已经在隐式地进行“特征匹配”和“三角测量”了。输入编码 (Tokenization)：模型接收。注：所有位姿预测均以第一张图为参考系。旋转误差：计算预测四元数。

本文整理自多篇 OSDI/NSDI 的容错/分布式系统论文，总结它们在引言布局上的共性，由AI辅助生成。

WorldVLA：一种自回归动作世界模型 本文提出WorldVLA模型，通过整合视觉-语言-动作(VLA)模型与世界模型，实现了动作与图像理解的统一框架。该模型采用三个独立分词器处理多模态输入，共享统一词表以支持跨模态生成。世界模型通过学习环境物理规律预测未来图像，提升动作生成能力；动作模型则基于图像观测生成动作序列，促进视觉理解。研究发现自回归动作生成存在误差累积问题，为此提出注意力掩码策略，在生成当前动作时有选择地遮蔽先前动作，有效缓解性能下降。实验表明，WorldVLA在LIBERO基准测试中抓取成功

题目：NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis作者：Ben Mildenhall Pratul P. Srinivasan Matthew Tancik Jonathan T. Barron Ravi Ramamoorthi Ren Ng。

本文提出Cog-RAG框架，通过双超图结构和认知启发式检索策略改进检索增强生成(RAG)。针对现有方法仅关注低阶实体关系的不足，Cog-RAG构建了主题超图(捕获全局主题结构)和实体超图(建模细粒度高阶关系)。受人类认知过程启发，采用两阶段检索策略：先在主题超图中激活相关主题，再在实体超图的引导下检索细节信息。实验表明，这种"主题驱动、细节回忆"的方法显著提升了生成质量。该工作创新性地将认知原理融入RAG系统，实现了从宏观到微观的语义对齐。

前一篇博客介绍了智能体与入侵检测结合的工作IDS-Agent，其是大语言模型（LLM）驱动的人工智能入侵检测Agent系统，特点是能够解释检测结果、进行自定义设置并适应零日攻击。本文将介绍LAMD，一种LLM上下文驱动的Android恶意软件检测框架，LAMD结合关键上下文提取来隔离安全关键代码区域并构建程序结构，然后应用分层代码推理从低级指令到高级语义逐步分析应用程序行为。注意，由于我们团队还在不断成长和学习中，写得不好的地方还请海涵，希望这篇文章对您有所帮助，这些大佬真值得我们学习。fighting！

本文报道了一种242-267 GHz双基地超外差雷达系统，采用65nm CMOS工艺实现。该系统通过创新架构解决了传统FMCW雷达在太赫兹频段的动态范围、灵敏度和非线性问题。关键创新包括：采用独立TX/RX芯片的双基地配置提高隔离度；利用锁相放大器实现高精度相位测量；通过用户定义中频频率优化信噪比。系统实现了25 GHz带宽，距离精度达40 μm，速度精度80 μm/s，峰值EIRP为-2 dBm。理论分析表明距离精度与工作频率、积分时间和信噪比直接相关。该架构为精密太赫兹传感与成像提供了新的解决方案。

研究表明，通过结合高性能的遥操作硬件和能够处理高频、精确反馈的模仿学习算法，低成本机器人也能完成复杂的精细操作任务。：通过分块，原本需要几千步才能完成的任务，在模型的视角下变成了几十个“块”的衔接。时间集成（Temporal Ensembling）：为了提高动作的平滑度，模型在每个时间步都会预测一个动作块，并对重叠部分的预测值进行加权平均。：当模型预测一个长达 100 步的动作序列时，这个序列内部可以自然地包含“先停顿 10 步，再快速移动 90 步”的信息。（样式变量），用于捕捉人类演示中的变异性。

人工智能和机器学习的最新进展加速了许多水文过程预测性能的提高。然而，由于其复杂性，洪水预测仍然是一项具有挑战性的任务。困扰这项任务的两个常见挑战是洪水的波动性和洪水发生属性的敏感性和复杂性。本研究探讨了递归神经网络-特别是Vanilla递归神经网络，长短期记忆和门控递归单元在洪水预测和评估中的应用。通过整合流域特定的水文和气象变量，RNN模型利用顺序数据处理来捕捉洪水的时间动态和季节性模式特征。这些模型被应用于不同的地形，包括USA南卡罗来纳州的山区流域，以检验它们的稳健性和适应性。