PaddlePaddle

原创 DeepSeek多模态统一模型Janus算法解析

DeepSeek 的 Janus 和 Janus-Pro 在多模态理解与生成领域展现了强大的能力。Janus 通过解耦视觉编码，为多模态任务提供了一个灵活的框架。而 Janus-Pro 则通过优化训练策略、扩展数据规模和增加模型参数，进一步提升了模型的性能。PaddleMIX中已经复现了Janus 和 Janus-Pro 的推理流程，通过解析代码我们也更深入地理解模型的实现细节和技术创新，快跟着飞桨星河社区教程链接一起动手实践一下吧！论文链接：项目地址：aistudio教程链接：。

原创 Wan2.1和HunyuanVideo文生视频模型算法解析与功能体验丨前沿多模态模型开发与应用实战第六期

基于飞桨多模态大模型开发套件PaddleMIX，详细解读文生视频、图生视频模型Wan2.1和HunyuanVideo

原创 大模型训练代码开发再提效——3行代码就能实现分布式训练！飞桨框架3.0自动并行功能现已正式上线！

分布式训练界的Python来了！

原创 FLUX文生图大模型算法解析与功能体验丨前沿多模态模型开发与应用实战第五期

基于飞桨多模态大模型开发套件PaddleMIX，详细解读多模态文生图模型FLUX。

原创 飞桨新一代框架3.0正式发布：加速大模型时代的技术创新与产业应用

飞桨框架3.0已全面开放，兼容2.0版本的开发接口，欢迎广大开发者使用和反馈。

原创 PaddleX上线小目标检测模型产线，支持遥感分析、智能监控、智慧交通等领域高效应用

小目标检测通常指的是在图像或视频中精确地检测和定位尺寸较小、面积较小的目标物体，这些目标在图像中的像素尺寸通常较小，可能小于32像素×32像素（根据MS COCO等数据集的定义），且可能被背景或其他物体所掩盖，难以被肉眼直接观察出来。在许多应用场景中，小目标的检测都至关重要。例如，在遥感图像中检测小型车辆或建筑，可以帮助城市规划和交通管理；在自动驾驶中，检测远处的小型障碍物可以提高行车安全；在医学图像中，检测微小病灶能够辅助医生进行早期诊断。

原创 PP-ChatOCRv3新升级：多页PDF信息抽取支持自定义提示词工程，拓展大语言模型功能边界

早期进行文本图像信息抽取时，如从身份证、营业执照中提取信息，通常预先设定好关键词（如姓名、公司名称等），再查找与之相关的信息。然而，在实际应用中，关键信息往往以问题的形式呈现，例如在研报中查询《哪吒2》的票房数，要回答此类问题就需要对提示词进行修改。本次升级支持自定义提示词工程，涵盖问题描述、提取规则、结果规范以及少样本学习等方面，可根据实际问题灵活调整，从而拓展大语言模型在信息抽取方面的功能边界。

原创 飞桨PP系列新成员PP-DocLayout开源，版面检测加速大模型数据构建，超百页文档图像一秒搞定

文档版面区域检测技术通过精准识别并定位文档中的标题、文本块、表格等元素及其空间布局关系，为后续文本分析构建结构化上下文，是文档图像智能处理流程的核心前置环节。随着大语言模型、文档多模态及RAG（检索增强生成）等技术快速发展，高质量结构化数据已成为模型训练与文档知识库构建的关键需求。基于版面检测模型定位识别文档图像的布局，结合如文本识别、公式识别、表格识别及信息抽取等下游任务，能够为大模型产出丰富的结构化训练数据，增强大模型的公式理解、表格解析以及对文档层次结构的理解能力。

原创 特色模型开源！飞桨PP系列新成员PP-FormulaNet助力大模型科研数据构建，公式识别提速16倍

公式作为科学文献、技术文档及教育资料的核心知识载体，承载着人类文明的抽象逻辑与数学表达。随着大语言模型、多模态模型及科学计算智能化的发展，‌。

原创 PP-TableMagic开源，支持全场景高定制化微调，大模型时代表格结构化信息提取新神器

飞桨PP-TableMagic创新双流架构，端到端高精度识别，赋能大模型时代表格结构化信息提取。

原创 前沿多模态模型开发与应用实战第四期：多模态理解趣味应用

利用多模态理解模型打造集图像理解、文学创作、命理分析和繁体文献研究于一体的多模态创意平台。

原创 前沿多模态模型开发与应用实战3：DeepSeek-VL2多模态理解大模型算法解析与功能抢先体验

基于飞桨多模态大模型开发套件PaddleMIX，详细解读多模态理解模型DeepSeek-VL2。

原创 哇塞！只需三步，带你飞速蒸馏DeepSeek R1！

基于PaddleNLP的DeepSeek-R1模型蒸馏，大模型精调流程助力模型更佳业务效果，降低大模型应用部署难度与成本

原创 飞桨框架3.0推理升级：支持多款主流大模型、DeepSeek-R1满血版实现单机部署，吞吐提升一倍！

MLA、MTP、量化优化全面突破，4比特单机高效部署，开箱可用！

原创 通用信息抽取大模型PP-UIE开源发布，强化零样本学习与长文本抽取能力，全面适配多场景任务

信息抽取（information extraction）是指，从非结构化或半结构化数据（如自然语言文本）中自动识别、提取并组织出结构化信息。通常包含多个子任务，例如：命名实体识别（NER）、关系抽取（RE）、事件抽取（EE）。由于任务目标的多样性（如实体、关系、事件和情感等）、文本结构的异构性（如片段、三元组、记录等）以及特定应用需求的多变性，传统的信息抽取方法往往针对特定任务或领域进行优化，难以在跨任务或跨领域的情境中迁移和泛化。随着大语言模型的发展，通用信息抽取大模型逐渐成为主流。

原创 前沿多模态模型开发与应用实战第二期：Qwen2-VL系列多模态理解大模型算法解析与功能抢先体验

以飞桨多模态开发套件 PaddleMIX 中 Qwen2.5-VL 的实现为例，对代码进行逐步解读。

原创 官方带队实测，阶梯式解锁飞桨框架3.0能力新特性，轻松上手！

研发逐行coding教学，带你逐一实测飞桨框架3.0各项新特性，真实体验其用法及性能。

原创 飞桨首创 FlashMask ：加速大模型灵活注意力掩码计算，长序列训练的利器

飞桨首创 FlashMask 技术，通过创新的列式稀疏掩码表示方法和高效的Kernel实现方式，解决了传统注意力掩码方法冗余计算和存储占用过高等难题，助力大模型训练加速，尤其是基于长文场景的训练加速。未来，飞桨将持续研发高效的大模型训练加速技术，不断推进大模型技术更新迭代。

原创 星河产业应用创新奖，AI产业实干者的闪耀时刻

第五届“星河产业应用创新奖”依托文心大模型和飞桨最新技术和产品，联合区域政府单位、头部组织和企业、行业联盟、百家投资机构，遴选100个具备创新力、技术力、价值度的优质产业应用及创新方案，入选项目将在 WAVE SUMMIT+ 深度学习开发者大会2024现场公布，并进入。依托百度飞桨人工智能产业赋能中心、飞桨星河社区 AI Studio 精选资源，为入选团队提供互动交流与产品成果展示空间、AI 产品培育环境、AI 人才培养支持服务、区域政府双招双引通道、政府技术资金补贴通道等线上、线下一站式技术服务。

原创 星河社区升级命令行工具，一站式完成大模型实训

星河社区命令行工具（AI Studio CLI）是基于 aistudio_hub sdk 建立的管理工具。借助此工具，用户可以不受开发环境限制，方便快捷地提交模型训练任务，并通过模型产线完成日志监控、效果评估与在线部署。

原创 百度AI技术中台校招提前批！多岗热招，多样化福利保障，提前锁定offer！

原创 基于飞桨框架实现PCA的人脸识别算法

本文作者是Yu欸，目前在华中科技大学攻读博士学位，定期记录并分享所学知识，博客关注者5w+。主成分分析（PCA，Principal Component Analysis）是一项在高维数据中，寻找最重要特征的降维技术，大大减少数据的维度，而不显著损失信息量。本文将通过基于飞桨框架的实际代码示例，来展示所提供的高效、灵活的线性代数API，如何简化机器学习和深度学习中的数据处理和分析工作，为高维数据集的处理和分析提供了有效工具。

原创 统一多场景自动编译加速——支持动态shape场景，一套架构搞定训推需求

通过飞桨神经网络编译器的自动优化，我们在生成式推理模型上相比基础版本，性能提升30%；在科学计算场景（Nvidia modulus）上， 基于飞桨提供的高阶自动微分及编译优化技术，对比PyTorch模型训练性能整体领先60%。同时飞桨会持续在模型和多硬件场景上探索神经网络编译器的能力，借助这种前沿技术给更多的业务带来价值。

原创 灵活可扩展的新一代IR技术——飞桨框架3.0基石技术深度解析

近些年来，越来越多的框架和研究者将编译器技术引入到深度学习的神经网络模型优化中，并在此基础上借助编译器的理念、技术和工具对神经网络进行自动优化和代码生成。作为深度学习框架性能优化、推理部署、编译器等方向的重要基石——计算图中间表示（Intermediate Representation，即 IR），在大模型场景下对其灵活性、扩展性、完备性也提出了更高的要求，即如何便捷地支撑大模型自动并行下丰富的切分策略，如何更低成本地实现性能优化Pass等。

原创 飞桨新一代框架3.0：“动静统一自动并行、大模型训推一体”等新特性构筑大模型时代核心生产力

当前大模型主流训练方式，会用到多种并行策略，这些并行策略基于动态图模式实现的“手动”并行方式，即在单卡的基础上，手工处理切分（切分Tensor、计算图）、通信（添加通信算子）、显存优化（显存共享、Re-Compute）、调度优化（流水线编排、计算和通信异步）等策略，开发者既要熟知模型结构，也要深入了解并行策略和框架调度逻辑， 使得大模型的开发和性能优化门槛非常高。通过张量切分的标记和自动推导，我们可以表示复杂的分布式混合并行，下图展示了一个具体的数据并行、张量模型并行、流水线并行组成的混合并行的例子。

原创 深度详解！基于飞桨框架的线性代数基础及其领域应用

本文概括地介绍了线性代数的基础知识，以及飞桨框架在一些应用领域中的使用。本文首先介绍了线性代数基础部分，涵盖了向量、矩阵、线性方程组、行列式、特征值、特征向量、内积外积以及线性变换等核心概念，这些构成了线性代数的基础内容。接下来介绍了飞桨框架中的线性代数API，包括矩阵属性、矩阵计算、矩阵分解和线性方程求解等不同功能模块。这些API为用户提供了便利的线性代数计算工具。文章给出了几个线性代数在实际应用中的例子，包括线性回归、图像压缩、数据降维等。

原创 技术路线速通！用飞桨让京剧人物照片动起来

整体技术架构说明：基于飞桨框架的PaddleHub将戏剧人物与水墨画风格进行融合，接着使用PaddleGAN中的FOM模型进行视频人物的面部动作迁移融合，如下图所示。PaddleGAN不仅为大家提供各类经典的生成对抗网络的复现及应用，同时还为大家准备好了各类项目的大合集，并且此项目将持续不断更新与补充，还希望大家持续关注Repo–PaddleGAN！本创意项目的意义在于，它将传统文化与现代技术相结合，展现出传统与现代的完美融合。

原创 Tensor 索引的使用指南&学习心得

本文章由飞桨PFCC社区成员卢畅贡献。卢畅，飞桨 PFCC 成员，飞桨开源之星，飞桨开发者专家（PPDE），长期参加飞桨黑客松、护航计划等开源活动，参与过飞桨执行器预分析性能优化、静态图自动并行架构升级等任务。本期分享的主题是Tensor索引。在深度学习的世界中，数据是一切算法和模型的基础。有效、高效地处理数据，特别是处理高维数组或张量（Tensor），成为了构建模型、处理数据等任务的重要部分。飞桨框架，作为一个前沿的深度学习框架，提供了丰富的Tensor索引操作，极大地简化了Tensor的操作和处理。

原创 PaddleX 3.0-beta重磅开源：多场景低代码AI开发，本地多硬件全兼容

6月27日，PaddleX 3.0-beta 开源版本发布，该版本聚焦7大主流AI场景，精选68个飞桨优质模型，构建了16条产业级模型产线，包含了多项能力的显著升级，旨在助力企业开发者以低成本、零门槛的方式，有效解决产业中的实际问题。2023年12月，飞桨正式推出了端云协同的低代码开发工具——PaddleX。这款一站式AI开发工具集成了飞桨开发套件多年积累的模型训练、推理全流程开发的优势能力。

原创 利用AI实现人岗匹配，重新定义求职工作流

最终，将为求职者提供与其需求最为匹配的公司名称、岗位名称、薪资范围、工作地点以及详细的岗位福利和要求，旨在帮助求职者更高效地找到心仪的工作岗位和企业。Agent深度挖掘了目标企业岗位数据中的技能要求、能力要求、岗位需求变化等信息，为用户提供全面了解各目标岗位具体要求的途径和详细的招聘信息链接，助力求职者们迅速获取更多相关信息，为求职之路添砖加瓦。Agent会综合考虑岗位的具体要求以及求职者的个人背景，如学历、经验和技能等，进而为求职者提供针对特定公司和岗位的全面、准确的个人信息分析。

原创 5月21日相聚上海张江！与文心大模型一起共建大模型产业应用生态圈

5月21日来文心中国行·上海站！共同探讨大模型技术赋能产业级应用创新的发展机遇

原创 南京大学×百度“星河杯”AI大模型创意校园赛正式起航

0代码创意赛，校企共创AI大模型校园赛正式上线

原创 大模型区域落地再加速！百度“文心中国行”西部首站落地成都锦江

6500+企业，1300+开发者，25+高校，文心大模型在成都把AI生态搞活了！

原创 文心中国行走进成都！4月24日一起把握大模型时代的产业新机遇

4月24日来文心中国行！专家面对面解读大模型产业实践及AI场景突围

原创 王海峰：百度500万AI人才培养目标已提前达成

4月16日，百度首席技术官王海峰以“技术筑基，星河璀璨”为题，发表演讲，解读了智能体、代码、多模型等多项文心大模型的关键技术和最新进展。

原创 李彦宏官宣第二届“文心杯”创业大赛，最高投资奖励翻5倍达5000万

4月16日，百度创始人、董事长兼首席执行官李彦宏在Create 2024百度AI开发者大会上宣布，第二届“文心杯”创业大赛正式启动，参赛选手有机会获得最高5000万人民币投资。

原创 实录｜三大AI开发神器亮相！李彦宏：人人都是开发者

今天，人人都可以成为开发者。而未来，也必将是一个由开发者一起创造出来的未来！

原创 百度官方！打造「大模型全开发周期系列课程」，AI应用开发入门课率先发布！（内含英雄帖）

文心官方免费开发课，拒绝被割AI韭菜！助力500万大模型人才培养

原创 一站式解读多模态——Transformer、Embedding、主流模型与通用任务实战（下）

本篇针对多模态模型展开详述，总结经典模态对齐策略，结合多模态项目进行实战。

原创 一站式解读多模态——Transformer、Embedding、主流模型与通用任务实战（上）

多模态作为AI领域的热门方向，本文将从不同角度对多模态技术进行全面总结，助力您快速学习。