mae-MAE 论文逐段精读【论文精读】

热门回复：

• NLP从入门到放弃:听完了[打call]，感谢沐神讲解，确实比我讲的清晰多了😊，有几个小疑问点： 1. MAE采用非对称的编码解码结果，mask符号在解码端加入，25%可见的patch在编码端，那么在下游任务中，编码端是会看到全部patch的，而不是25%，这是不是一个预训练和微调的一个gap呢。 2. VIT其实也有做这个实验，我接的应该只是用了50%patch和l2损失，但是效果差很多，这是不是因为调参的原因，还是有其他原因。 再次感谢沐神的讲解。
• 跟李沐学AI:修复了左右声音不平衡问题，大家刷新一下就好
• 霹雳吧啦Wz:来了来了[打call]
• SixBaBa:沐神好！交大校友[惊喜]。现在也在读博士做CV生成方向，手头上也发了5篇顶会论文。但是，现在做着做着就觉得深度学习这个东西太琢磨不透，很多idea都有点像抖机灵没有认清问题本质，有点类似于猴子用打字机打哈姆雷特，大部分论文看下来也感觉很少有启发性。想做点对这个领域有比较大贡献的工作，但是越做越迷茫，最后又回到熟悉的套路上，遇到实验中无法解释现象不知道如何去深入分析与研究，很羡慕沐神、凯明们能够在这个领域掌控自我！
• BeBraveBeCurious:我发布了一篇笔记，快来看看吧 MAE 2021.11.11提交 arxiv 知乎 百万 view; Reddit or Twitter 讨论不多 MAE 很新 --> 如何在读比较新的... https://www.bilibili.com/h5/note-app/view?cvid=14346518&pagefrom=comment