Mamba
01
Mamba作为一种新型的选择性状态空间模型方法，在语言建模方面可以媲美Transformer，并且目前已经有了很多结合Mamba的研究成果。
那么，今天我就整理了Mamba经典论文+Mamba大模型/遥感/医学/综述等论文合集。论文合集获取方式如下：
添加课程回复"Mamba"
01.Mamba: Linear-Time Sequence Modeling with Selective State Spaces
Transformer 模型中自注意力机制的计算量会随着上下文长度的增加呈平方级增长 ，计算效率非常低。在这篇论文中，研究者提出了一种新架构—「选择性状态空间模型」。
02.MoE-Mamba: Effcient Selective State Space Models with Mixture of Experts
状态空间模型（SSM）是近来一种备受关注的 Transformer 替代技术，其优势是能在长上下文任务上实现线性时间的推理、并行化训练和强大的性能。本文的研究成果是 MoE-Mamba，是将 Mamba 和混合专家层组合起来的模型。MoE-Mamba 能同时提升 SSM 和 MoE 的效率。而且该团队还发现，当专家的数量发生变化时，MoE-Mamba 的行为是可预测的。
03.Mamba前世今生：MODELING SEQUENCES WITH STRUCTURED STATE SPACES
文中提出一个用于对连续信号进行增量建模的新颖数学框架，该框架可与状态空间模型相结合，为其赋予原则性的状态表示，并提高其对长程依赖关系的建模能力。
04.Vision Mamba：Effcient Visual Representation Learning with Bidirectiona State Space Model
本文提出Vision Mamba，在 ImageNet 分类任务、COCO 对象检测任务上，与 DeiT等成熟的视觉 Transformers 相比，Vim 实现了更高性能，还显著提高了计算和内存效率。
Vim 能够克服对高分辨率图像执行 Transformer 式理解时的计算和内存限制，并且具有成为视觉基础模型的下一代骨干的巨大潜力。
Mamba经典论文+Mamba大模型/遥感/医学/综述等论文合集。论文合集获取方式如下：
添加课程回复"Mamba"
05：VMamba：Visual State Space Model
卷积神经网络（CNN）和视觉Transformer（ViT）是视觉表示学习的两种最流行的基础模型。虽然ViT 的拟合能力超过了CNN，但其复杂性却是二次方。
受 Mamba 模型的启发，研究者设计出一种在线性复杂度下同时具有这两种优秀性质的模型，即 Visual State Space Model（VMamba）。大量的实验证明，VMamba 在各种视觉任务中表现卓越。如下图所示，VMamba-S 在 ImageNet-1K 上达到 83.5% 的正确率，比 Vim-S 高 3.2%，比 Swin-S 高 0.5%。
06：SSM + Transformer：Block-State lransformers
SSM 最初是为连续信号而设计的，现已在视觉和音频等众多任务中表现出卓越的性能。然而，SSM 在语言建模任务中的性能仍然落后于 Transformer。
为此，本文作者提出了一个名为块状态Transformer（BST）的混合层，它在内部结合了用于远程上下文化的 SSM 子层和用于序列短期表示的块变换器子层。 
07：RS3Mamba: Visual State Space Model for Remote Sensing Images Semantic Segmentation
本文提出了一个新颖的双分支网络，名为遥感图像语义分割Mamba（RS3Mamba），旨在将Mamba整合到遥感任务中。

08：DenseMamba：大模型的DenseNet时刻！

大型语言模型（LLMs）正面临巨大挑战，因为常用的Transformer架构需要巨大的计算和内存资源。虽然状态空间模型（SSM）作为一种新型基础网络架构，提供了较低的计算复杂度，但其性能尚未完全匹敌Transformer。本工作提出了DenseSSM，用于增强SSM中各层间隐藏信息的流动。通过将浅层隐藏状态有选择地整合到深层中，DenseSSM保留了对最终输出至关重要的精细信息。
因篇幅有限，仅展示前8篇
Mamba经典论文+Mamba大模型/遥感/医学/综述等论文合集。论文合集获取方式如下：
添加课程回复"Mamba"
继续阅读
阅读原文