本文探讨了大模型如mBERT在跨语言迁移中的敏感性，指出调整一个关键参数可能导致模型性能大幅变化。大语言模型存在显著的语言对齐问题，且知识与语言并非完全分离，少量数据就可能显著影响模型。参数中记录的知识具有明显的语言区域，这与维度依赖理论相呼应。
相关链接：只修改一个关键参数，就会毁了整个百亿参数大模型？ | 新程序员-CSDN博客
现象 1：mBERT 模型的跨语言迁移
现象 2：大语言模型同样存在显著的语言对齐
现象 3：知识与语言分离
现象 4：语义和词形对齐
现象 5：少量的数据就能影响整个大模型
现象 6：大语言模型参数中记录了知识有明显的语言核心区
现象 7：大模型语言核心区与维度依赖理论
扫一扫
评论
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
查看更多评论
添加红包
