gpt3-GPT，GPT-2，GPT-3 论文精读【论文精读】

热门回复：

• 跟李沐学Al:沐神有没有兴趣讲解推荐系统方面的论文
• stoneblock:趁我上课更新视频，沐神，现在的你，真的很卑鄙[泠鸢yousa_滑稽]
• 布加迪威龙XX:想被推荐一篇人工智能中对智慧城市方面的论文，或者更细化为人口活动，人口聚集，地理空间方面这些[汤圆][汤圆]，跟着导师做这个方向，但是完全被放养[冰墩墩]
• guanguanboy:沐神关于做研究的启发： 做研究不要一条路走到黑，做过程你可以一条路走到黑，但是在做研究的时候，你要灵活一些，不要一条路走到黑。你需要尝试从一个新的角度来看问题。 gpt2还是做语言模型，但是在做到下游任务的时候，会用一个叫做zero-shot的设定，zero-shot是说，在做到下游任务的时候，不需要下游任务的任何标注信息，那么也不需要去重新训练已经预训练好的模型。这样子的好处是我只要训练好一个模型，在任何地方都可以用。 如果作者就是在gpt1的基础上用一个更大的数据集训练一个更大的模型，说我的结果比Bert好一些，可能也就好那么一点点，不是好那么多的情况下，大家会觉得gpt2这篇文章就没什么意思了，工程味特别重。那么我换一个角度，选择一个更难的问题，我说做zero-shot。虽然结果可能没那么厉害了，没那么有优势，但是新意度一下就来了。
• 霹雳吧啦Wz:来了来了[豹富]