m_aigc2022的博客

站在奇点前夜：开源正在重写智能革命剧本！

Agentic RAG，它就像给AI装上了“智能小助手”，能够实时检索最新数据，还能根据复杂任务灵活调整策略，让回答更准确、更贴近我们的需求！

olmOCR，一种用于将PDF文档转换为干净、线性化的纯文本的开源Python工具包。

本期导读：多模态融合持续深化，生成式AI迎来效率与质量双重突破，开源大模型生态呈现国产崛起之势。

本文意在初步梳理DeepSeek技术的演进及进化之路，主要包括三大方向：大语言模型、视觉语言理解模型、多模态统一模型！大语言模型系列论文：DeepSeek-LLM -> DeepSeek-V2 -> DeepSeek-V3 -> DeepSeek-R1视觉语言理解模型系列论文包括：DeepSeek-VL -> DeepSeek-VL2多模态统一模型系列论文包括：JanusFlow -> Janus -> Janus-Pro

本文从强化学习如何增强大语言模型（LLMs）的视角，进行系统性全面综述，涵盖强化学习的基础知识、流行的RL增强LLMs、基于奖励模型的RL技术（RLHF和RLAIF），以及直接偏好优化（DPO）方法。

BrushEdit，一种基于图像修复和指令引导的图像编辑框架。具体来说，编辑分类:使用预训练的多模态大语言模型（MLLM）解释用户的自由形式编辑指令，识别编辑类型（添加、删除、局部编辑等），并定位目标对象。调用预训练的检测模型，根据目标对象生成相关的编辑掩码。根据识别出的编辑类型和目标对象，生成编辑掩码和对应的目标图像描述。图像修复:使用双分支图像修复模型BrushNet，根据目标描述和编辑掩码进行图像修复。

AI Agent，智能革命，才刚刚开始！！！

【魔方AI新视界】专栏致力于梳理和探索AIGC领域内的创新技术与有影响力的实际应用案例。我们计划以月刊的形式定期发布内容，目的是让读者站在AI时代的最前沿，紧跟时代发展的步伐，自信而坚定地跟随AI技术的最新趋势。此外，猫先生也会根据读者的反馈，持续对专栏内容和版面设计进行更新和改进。我们非常欢迎读者提出宝贵的建议，一起交流和学习，共同推动专栏的完善和成长！💪

【魔方AI新视界】专栏致力于梳理和探索AIGC领域内的创新技术与有影响力的实际应用案例。我们计划以月刊的形式定期发布内容，目的是让读者站在AI时代的最前沿，紧跟时代发展的步伐，自信而坚定地跟随AI技术的最新趋势。

本文整体脉络将从LLaVA -> LLaVA1.5 -> LLaVA1.6 -> LLaVA-NeXT(Video)模型进行展开，分别介绍其各项技术亮点和模型架构，力求对多模态大模型在图像和视频内容理解上的应用进行深入浅出的解读！！

在本文中，旨在追踪和总结 多模态大模型（MLLM ）的最新进展。

Mochi 1 preview 是一个开源的、最先进的视频生成模型，具有高保真运动和初步评估中的强烈提示依从性。此模型极大地缩小了封闭和开放视频生成系统之间的差距。

【魔方AI新视界】专栏致力于梳理和探索AIGC领域内的创新技术与有影响力的实际应用案例。我们计划以月刊的形式定期发布内容，目的是让读者站在AI时代的最前沿，紧跟时代发展的步伐，自信而坚定地跟随AI技术的最新趋势。此外，猫先生也会根据读者的反馈，持续对专栏内容和版面设计进行更新和改进。我们非常欢迎读者提出宝贵的建议，一起交流和学习，共同推动专栏的完善和成长！💪。

VideoGPT+：结合图像和视频编码器的优点，通过自适应池化策略提升视频理解性能，并在多个基准测试中表现优异。

Show-o，能够通过混合自回归和扩散建模同时处理多模态理解和生成任务。

DiffIR2VR-Zero：一种创新的零样本视频恢复技术，该技术利用预训练的图像恢复模型，解决了传统方法在不同场景下泛化能力不足的问题。

在这项工作中，VTA-LDM目标是提供对视频到音频生成范例的见解，重点关注三个关键方面：视觉编码器、辅助嵌入和数据增强技术。

【魔方AI新视界】专栏致力于梳理和探索AIGC领域内的创新技术与有影响力的实际应用案例。我们计划以月刊的形式定期发布内容，目的是让读者站在AI时代的最前沿，紧跟时代发展的步伐，自信而坚定地跟随AI技术的最新趋势。此外，猫先生也会根据读者的反馈，持续对专栏内容和版面设计进行更新和改进。我们非常欢迎读者提出宝贵的建议，一起交流和学习，共同推动专栏的完善和成长！💪。

本综述首次全面回顾了人体视频生成的现状，分析了基于文本、音频和姿势的人体视频生成方法，并讨论常用的数据集和评估指标。最后，讨论了该领域的当前挑战，并提出未来的研究方向。

本文是《魔方AI新视界》专栏的第三期，周期为2024年7月1日-2024年7月31日。在本期中，我们将介绍7月份新发布的 AIGC 新技术！！！

本文是LLM大模型基础入门系列的第6篇。在这篇文章中，我们重点介绍LLMs中的Tokens 和 Embeddings！

本文是LLM基础入门系列的第5篇。在第3篇和第4篇文章中，详细介绍了Transformer架构，但我觉得有必要从另一个层面再写一篇文章来探讨它，这有助于我们认识并掌握它！

本文是《魔方AI新视界》专栏的第二期，周期为2024年 6月1日-2024年6月30日。在本期中，猫先生将采用精炼而扼要的语言，对AIGC领域的前沿技术进行介绍，并提供详情链接，以便于您能够进一步探索和学习！

本文是《魔方AI新视界》专栏的第一期，周期为2024年5月1日-2024年5月31日。在本期中，猫先生将采用精炼而扼要的语言，对AI领域的前沿技术进行介绍，并提供详情链接，以便于您能够进一步探索和学习。