最近更新

神经网络几何直观:在二维平面上画曲线

只回答一个问题:为什么两层线性分类器画不出曲线,而 ReLU 网络能。线性层把二维输入平放成十六维里的一个仿射平面,ReLU 按 z_i=0 的十六条直线切分输入平面并把像折出原平面,分类边界是输出层超平面在输入空间中的原像。附一维到二维的数值最小例、七个常见误区与维数账本。

阅读全文

微积分求导完整手册

一份自包含的求导复习手册:导数定义与直观、五类基本公式表、组合规则与链式法则、偏导与多元链式(形式 1 / 形式 2 / 一般形式对照)、全微分视角、矩阵求导入门,最后用 8 道练习把 softmax 雅可比、交叉熵梯度、sigmoid + BCE 全部推一遍。

阅读全文