Tags: #深度学习

深度学习时代，尤其是在 NLP 大模型大行其道的今天，MoE（Mixture-of-Experts）是指这样一种结构：

这个工具起源于我 Naive 的本科毕设，当然现在已经完全是新东西了。当时只是作为自己视觉识别模型的效果展示 demo。现在引入多模态和各种新技术后，我觉得这个工具有了一些实用价值，所以放了出来。

<p class="note note-warning">本文均仅作学习、交流使用。</p>

- 作者单位：北京航空航天大学，北京大学 - 论文出处：International Journal of Computer Vision (IJCV) - 链接：Springer, arxiv - 代码：Github

我不是干这个的，既不研究量化，也不研究这种类型的序列预测模型。所以我只是本着玩玩的心态训了个模型，甚至可以说我就没指望能得到积极结果，这篇文章也仅仅是记录一下我瞎折腾的经过。我在其中获得的乐趣大于它的世俗意义。

> 在搞研究的过程中，我逐渐把一些代码抽出来并写为了这样一个较为简单的框架。

- 对于 BatchNorm，它将一个 batch 里各个抽样特征的同个下标间做标准化。也就是作用在「样本」维度上。 - 对于 LayerNorm，它在一个抽样的特征中做标准化。也就是作用在「通道」维度上。

我没想到第二个暴搜 tag 居然会给一篇深度学习的文章。