AI时代下，我们需要什么样的存储？

2022年末，生成式对话型人工智能ChatGPT和AI生成图片应用Midjourney问世，1个月内获取过亿用户。根据IDC发布的《2022-2023中国人工智能计算力发展评估报告》显示，我国AI计算力保持快速增长，2022年智能算力规模达到268百亿亿次/秒（EFLOPS），超过通用算力规模，AI行业发展迅速。AI领域的大部分问题都是如何提高机器学习效率的问题，即如何能让机器更高效地学习客观物理世界并代替人类执行工作任务。让机器学习客观物理世界，听懂人类指令执行任务，这个愿景实现的首要难点就是如何能让机器学习读懂人类语言。

历史上，人们尝试过让机器模拟人类进行学习，如学习人类通过语法规则、词性、构词法、分析语句等学习语言。随着数据、算力、模型架构、范式等的升级，模型架构从机器学习到神经网络再到今天的Transformer-Based，对应的能力也在不断发展。对于GPT模型的训练，有四个主要阶段：预训练、有监督的微调、奖励建模、强化学习。

预训练：该阶段占了训练时间的99%，这就是在超级计算机中使用数千个 GPU 以及可能进行数月的训练来处理互联网规模数据集的地方。首先要收集并混合大量数据，例如，GitHub、百科、书籍、问答网站等，然后根据给定的比例进行采样，形成 GPT 神经网络的训练集。第二，要进行标记化，将原始文本翻译成各参数下的整数序列。文档被打包成行，然后用这些特殊的文本结束标记将它们分隔开，告诉神经网络新文档从哪里开始。第三，进行训练并反馈，一开始，在初始化时，GPT 以完全随机的权重开始，因此也将获得完全随机的输出。但是，随着时间的推移，通过不断地对大序列进行抽样并反馈，模型会表现得越来越好。