Tags: #nlp

深度学习时代，尤其是在 NLP 大模型大行其道的今天，MoE（Mixture-of-Experts）是指这样一种结构：

这个工具起源于我 Naive 的本科毕设，当然现在已经完全是新东西了。当时只是作为自己视觉识别模型的效果展示 demo。现在引入多模态和各种新技术后，我觉得这个工具有了一些实用价值，所以放了出来。