导数与梯度和概率
导数就是斜率。用 f(x) = x² 和一个两变量函数的等高线,把偏导、梯度、链式法则和数值微分算一遍,再补一点概率。
每门课都是一个可以直接打开的网页:用小到能手算的例子,把输入怎样一步步变成输出(推理)、误差怎样一步步改写参数(训练)完整摊开。页面里的数字都是真实算出来的,随时可以拿计算器验算。
学模型之前要会的数学:把工具备齐,后面的课就不会卡在“这个式子是哪来的”。
一个小到能手算的模型:把训练和推理从头到尾亲手算一遍。
只学读懂 Transformer 用得上的 5 种矩阵运算。每个数字都能点开看算式,最后亲手算一遍迷你自注意力。
一个只有 9 个参数的小神经网络:看清楚前向传播、损失、反向传播、更新参数这一圈怎样转起来,又怎样一圈圈迭代到学会。
一个只有 216 个参数的迷你 GPT:从输入到输出,把前向计算、反向传播、参数更新和逐词生成全部亲手算一遍。
卷积核怎样在一张小图上滑动、怎样提取特征,误差又怎样一路传回卷积核。
敬请期待隐状态怎样把前文一步步带到后文,误差又怎样沿着时间往回传。
敬请期待