m0_72801456的博客

原创 小白也能看懂的Chat-GPT生成式模型的生成原理（decoder架构）

他是通过你的上文来进行联想（不仅限于上文的最后一个字或者词，而是整个上文），当然他也是一个字词一个字词生成的，第一次它会根据你提供给它的上文生成一个字词，然后往下怎么说呢？多个头从不同的角度关注文本里不同特征或方面，比如有的关注动词，有的关注修饰词，有的关注修饰词，有的关注情感，有的关注命名实体等等。但Gpt说话的方式则非常不一样，它的做法是每次接话尾，它每次都会根据已经有的内容现想，一个词一个词往后猜，属于是脚踩西瓜皮滑到哪里算哪里，所以当大模型一句话说到半截的时候，他根本不知道后面的内容是什么。