对于ChatGPT变笨原因,加州大学圣克鲁兹分校一项研究给出了新的解释:在训练数据截止之前的任务上,大模型表现明显更好。也有学者从另一个角度指出,大模型训练后参数冻结,人们不断提出新的任务也就是输入分布不断变化。如果模型不能不断适应这种变化,就表现成能力慢慢退化。
研究团队一共评估了12种模型,从ChatGPT之前的GPT-3系列、OPT、Bloom,到最新的GPT-3.5-turbo、羊驼家族Llama、Alpaca和Vicuna等。它们都存在类似问题,也就是在训练截止之前的任务上表现明显更好。
扫一扫
在手机上阅读