Java_rich的博客

在深度学习的广阔宇宙中，Transformer 架构无疑是一颗耀眼的明星。它凭借其强大的并行计算能力和出色的序列建模能力，在自然语言处理、计算机视觉等众多领域取得了卓越的成就。今天，我们将一起探索如何使用 PyTorch 来实现 Transformer 架构，为你的深度学习之旅增添新的动力！2025年Transformer必学：从零详解VIT、DETR、Loftr、BEVFormer、DeformableDetr一口气学爽。

马里兰大学和清华大学的研究团队提出的LoRI技术，犹如一把精巧的瑞士军刀，以惊人的95%参数削减，不仅解决了资源消耗问题，更在多任务协同和持续学习方面展现出非凡潜力。以 Llama-3-8B 和 Mistral-7B 作为基础模型，他们的结果表明，LoRI 达到或超过了全量微调（FFT）、LoRA 和其他 PEFT 方法的性能，同时使用的可训练参数比 LoRA 少 95%。通过使用固定的、随机初始化的投影 A，LoRI 将任务特定的适配器映射到近似正交的子空间，从而减少合并多个 LoRI 时的干扰。

另一个值得注意的现象是，随着模型大小的增加（从 1.5B 到 7B），其在 AIME 2024 和 AMC 上的性能提升也在增加，这凸显了 TTRL 的自然扩展行为：更大的模型可以在自我改进过程中产生更准确的多数投票奖励，从而更有效地学习新数据。值得注意的是，虽然 TTRL 仅依靠 Maj@N 指标进行监督，但其表现不仅能持续超越初始模型的性能上限，更能接近于那些直接在有标注测试数据上进行监督训练的模型性能。在 RL 中，奖励通常是模糊的，主要是作为探索的方向信号，这导致了 RL 对奖励噪声的鲁棒性。