已上线
Transformer 手算课
一个只有 216 个参数的迷你 GPT:从输入到输出,把前向计算、反向传播、参数更新和逐词生成全部亲手算一遍。
每门课都是一个可以直接打开的网页:用小到能手算的例子,把输入怎样一步步变成输出(推理)、误差怎样一步步改写参数(训练)完整摊开。页面里的数字都是真实算出来的,随时可以拿计算器验算。
一个只有 216 个参数的迷你 GPT:从输入到输出,把前向计算、反向传播、参数更新和逐词生成全部亲手算一遍。
卷积核怎样在一张小图上滑动、怎样提取特征,误差又怎样一路传回卷积核。
敬请期待隐状态怎样把前文一步步带到后文,误差又怎样沿着时间往回传。
敬请期待