HybridVLA（未完成）

HybridVLA.pdf

多模态理解与推理：大模型负责对视觉信息、语言指令和机器人状态进行综合理解与推理。它能将视觉编码器提取的图像语义特征、语言提示编码后的嵌入以及机器人当前状态信息融合，理解任务需求和场景情况。在面对 “打开抽屉并将物品放入” 的指令时，大模型可以结合视觉信息中抽屉的位置、物品的形状和位置，以及机器人当前的手臂姿态等信息，推理出合理的动作步骤。
动作生成：大模型具备扩散和自回归两种动作生成方式。基于扩散的动作生成通过去噪过程，利用概率噪声去噪机制预测连续动作，能够保证动作的连续性和精确性，适用于精确操作任务。而基于自回归的动作生成则模仿文本生成过程，根据之前的信息预测离散动作，并计算动作令牌的平均置信度，为协同动作集成提供指导。在实际操作中，对于 “将手机放在底座上” 这类精确操作任务，扩散生成的动作可以更精准地控制机器人手臂的移动；对于 “给植物浇水” 这种需要场景语义推理的任务，自回归生成的动作能更好地利用大模型的推理能力规划动作流程。
知识迁移与泛化：大模型经过大规模的预训练，学习到了丰富的知识。在 HybridVLA 中，这些知识可以迁移到机器人操作任务中，使模型能够在不同的场景和任务中表现出良好的泛化能力。在未见的操作对象、背景、空间位置和照明条件下，模型依然能够利用预训练学到的知识进行推理和动作预测。当遇到新的物体需要操作时，大模型可以根据其在预训练中学习到的物体语义和操作知识，结合当前场景信息，生成合理的动作，完成操作任务。