sherlockMa的博客

本文介绍了 Janus-Pro，这是 Janus 模型的高级版本，通过优化训练策略、扩展训练数据和扩大模型规模，显著提升了多模态理解和文本到图像生成的能力。Janus-Pro 在多模态理解基准测试中超越了现有的先进模型，并在文本到图像指令遵循任务中表现出色。代码和模型已公开。方法1. 架构设计Janus-Pro 的架构与 Janus 保持一致，核心是将多模态理解任务和视觉生成任务的视觉编码进行解耦。对于多模态理解任务，使用 SigLIP 编码器提取图像的高维语义特征；

这篇文章的核心内容是介绍了一种名为LaDeCo的新型自动图形设计构图方法。LaDeCo通过将大型多模态模型（LMMs）与分层设计原则相结合，能够将多模态图形元素自动组合成一个整体、平衡且美观的图形设计。

本文介绍了DiffSensei，用于定制化漫画生成的AI模型。DiffSensei能够理解文本提示，动态调整角色特征和布局，创造出既符合描述又具有视觉吸引力的漫画内容。

Visual AutoRegressive modeling (VAR)，这是一种新一代范式，与标准光栅扫描“next-token预测”不同，它将图像上的自回归学习重新定义为从粗到细的“下一尺度预测”或“下一分辨率预测”。VAR首次使GPT风格的AR模型在图像生成方面超过DiT。除此之外，VAR还延续了LLM的两个重要特性：Scaling Laws and zero-shot泛化。