2021-11-15 22-31-15-13、详细推导自动微分Forward与Reverse模式

热门回复：

• deep_thoughts:这么透彻的讲解神经网络自动微分教程视频，没人看就有点可惜了[笑哭]
• NimlForever:看了两遍，雅可比矩阵，自动微分的Forward mode 和 Reverse mode, 都手写计算了一遍，终于是开始有点明白了。以前也就是知道自动微分是用链式法则+反向传播，跟着up学完后，算是又加深了理解。
• z_bili_y:请问一下如果想实现同一个输入，经过两个独立的全连接网络，最终输出两个值，再将这两个值合并为一个值（通过torch.cat操作），最后将这个值传给同一个损失函数，这样的网络结构，是不是只需要在forward里分别写两个神经网络，再用torch.cat将两个输出值进行合并？
• 鸭子啊a:[给心心]
• 稀疏の引力沟:所以说用AD求导仍然要知道函数表达式，没办法像数值求导那样不需要知道表达式就能算