本文第一作家为加州大学伯克利分校三年事博士生吴梓阳，导师为马毅阐述。吴的主要议论标的为表征学习与多模态学习。该责任由多所学校与机构的议论者共同完成，包括加州大学伯克利分校、宾夕法尼亚大学、密歇根大学、清华大学、忆生科技、香港大学、约翰·霍普金斯大学等。据悉九游会j9官网登录入口，马毅阐述已受邀在本年四月的ICLR大会上就和此项遵守相关的一系列白盒神经汇聚相关责任，进行径时一小时的主题申报（Keynote）。

Transformer 架构在曩昔几年中通过安逸力机制在多个规模（如狡计机视觉、天然言语处理和长序列任务）中获得了高出的配置。然则，其中枢组件「自安逸力机制」 的狡计复杂度随输入 token 数目呈二次方增长，导致资源破钞宽绰，难以扩张到更长的序列或更大的模子。

Token Statistics Transformer (ToST) 提议了一种新的安逸力机制，它的时间复杂度是线性的。通过对序列特征的统计建模，ToST 提高了序列处理任务中的遵守。著作探讨了基于变分编码率缩减（Variational Rate Reduction, VRR）的框架，并通过践诺考据了其在不同任务中的性能，通过改进传统安逸力机制，处置了这些永恒困扰 Transformer 架构的遵守瓶颈。

ToST 也动作 Spotlight 论文，入选了 ICLR 2025 大会。

议论配景与动机

一直以来，自安逸力机制依赖于对输入 token 两两相似性的狡计，这仍是由天然灵验，但其资源支出显耀；尤其当输入 token 数目极大时，传统安逸力机制（如 Transformer 中的全局安逸力）在狡计复杂度和内存使用上的瓶颈问题愈发显耀。

为了应酬这一挑战，本文提议了一种基于统计学特征的安逸力机制：Token Statistics Self-Attention (TSSA)。它通过幸免两两相似性的狡计，仅依赖于 token 特征的统计量，显耀裁汰了狡计复杂度。

Token Statistics Transformer (ToST) 的架构。Token Statistics Self-Attention (TSSA) 运算符通过对投影后的 token 进行行标量化变换，从而达成了线性复杂度。

中枢步履

ToST 的中枢步履是通过特定的概率分辩函数对输入序列进行建模，减少冗余信息并索要关节特征。具体包括：

1.统计特征索要：对序列中的每个 token 索要其统计特征。

2.变分编码率缩减：愚弄 VRR 框架对特征进行压缩，减少信息冗余。

3.线性复杂度达成：通过一系列优化，其狡计复杂度从 O (n²) 裁汰为 O (n)。

ToST 的步履详细。在 CRATE 的表面基础上，ToST 通过几何空间的结构化特征达成 token 分组和映射。

汇聚架构的推导

该团队通过扩张先前的 CRATE 责任推导出汇聚架构。CRATE 浮现，一种 Transformer 作风的架构不错通过 "白盒" 架构设想天然生成，其中汇聚的每一层王人旨在达成最大编码率缩减见地 (MCR²) 的增量优化步履。

具体来说，该团队推导了 MCR² 见地的一个新颖的变分款式，并标明通过对该变分见地进行伸开梯度着落所得到的架构会引入一种新的安逸力模块，称为 Token Statistics Self-Attention (TSSA)。TSSA 领有线性的狡计和内存复杂度，并从根蒂上不同于典型的安逸力架构，自后者通过狡计 token 之间的两两相似性来达成。

关节公式 MCR² 见地函数界说

本事细节

1.线性时间安逸力机制：Token Statistics Self-Attention (TSSA)

通过白盒设想步履（algorithmic unrolling），TSSA 从最大编码率减少（Maximal Coding Rate Reduction, MCR² ）的变分款式中推导而来。

传统 Transformer 依赖于 pairwise 相似度狡计，而 TSSA 则基于 token 特征的统计量构建安逸力机制，其狡计复杂度从 O (n²) 裁汰为 O (n)，内存占用雷同显耀减少。

2.窜改性的汇聚会构：Token Statistics Transformer (ToST)

ToST 通过将 TSSA 替代圭表的自安逸力模块，不仅达成了显耀的遵守进步，还增强了模子的可解释性。

与传统模子不同，ToST 架构中的安逸力操作基于统计量的低秩投影，通过减少无须要的狡计旅途，大幅优化了资源使用。

3.表面撑抓与数学推导

基于 MCR² 的变分款式，提议了一种新颖的压缩项公式，可对大型矩阵进行灵验的特征索要。

通过设想数据相关的低秩投影，TSSA 在保留关节信息的同期，摈斥了冗余标的。

践诺考据与性能分析

践诺掩盖了天然言语处理（NLP）、狡计机视觉（CV）等多个规模的任务，包括文天职类、机器翻译、图像识别等。截止标明，ToST 在保证模子性能的同期，大幅裁汰了狡计资源破钞。

1. 狡计和内存的线性复杂度分析

践诺截止浮现，与现存的安逸力机制比拟，TSSA 的时间和内存复杂度更低。具体而言，TSSA 的复杂度为 O (pn)，显耀优于传统 Transformer 的 O (n²)。

ToST 在狡计时间和内存使用上均随序列长度达成线性扩张，使其显耀优于圭表 Transformer 的遵守。如下：

复杂度分析对比

在 GPU 上评估的速率和内存使用对比

2. 视觉任务性能分析

在 ImageNet-1k 等主流视觉数据集上的践诺标明，ToST 的性能可与传统 Transformer 架构（如 ViT 和 XCiT）相比好意思，同期显耀减少了模子参数目和狡计支出。

移动学习践诺中，ToST 在 CIFAR、Oxford Flowers 等数据集上的施展进一步考据了其在多种视觉任务中的妥当性。

截止展示了与传统 Transformer 稀奇的性能，同期在狡计遵守上显耀更高。

3. 长序列任务和言语建模

长序列任务

在长序列任务基准测试（如 Long-Range Arena）中，ToST 展现出优异的长距离建模智力，其性能超越了现存 Transformer 变体。

言语建模

ToST 不错扩张并适用于多种任务场景，包括因果言语建模。针对言语建模，ToST 吸收了一种因果版块的 TSSA，在多个数据集上达成了高效的展望智力。此外，即使在参数范畴扩大的情况下，ToST 依然保抓了优异的时间和内存遵守。

NLP 任务中的施展

4. 有旨趣支抓的模子设想

由于 ToST 是通过伸开从学习见地中推导出来的，咱们不错以有旨趣支抓的步地逐层分析学习到的模子行径。

ToST 模子不同脉络的 TSSA 输出的变分压缩项

5. 学习示意的可解释性分析

ToST 通过统计量初始的安逸力机制，使每一层的安逸力操作愈加透明，便于解释和分析。其分组机制展现了 token 特征在低维空间中的聚类效果，直不雅反应了模子的有设想经由。

ToST 在无需复杂的自监督老师的情况下，天然生成了可解释的安逸力模式。

倒数第二个全局类安逸力层中终末一个头部的 [CLS] token 安逸力求的比较

在 TSSA 层中，可视化臆度的附庸矩阵 Π 的每一瞥（经过重塑后）

可能对改日产生的影响

1.大模子的高效化

跟着言语模子、生成模子和多模态模子范畴的抓续扩张，狡计遵守成为中枢瓶颈。ToST 展示的统计量初始安逸力机制，为达成线性复杂度的大模子提供了可能性。

2.鞭策 Transformer 的普适化应用

高效的安逸力机制使得 ToST 莽撞更世俗地应用于资源受限场景，如旯旮狡计、及时系统、镶嵌式修复等。这为东说念主工智能本事从中心化狡计向分辩式、旯旮化标的的发展奠定了基础。

3.多模态会通的可能性

ToST 的低复杂度机制为处理多模态长序列任务提供了新的本事框架，使改日多模态大模子在生成、分析和交互中的遵守显耀进步。

4.促进跨学科应用

ToST 对数学表面与工程达成的有机联结，不仅在传统 AI 任务中施展杰出，还可能鞭策其在新兴规模（如量子狡计、生物信息学和材料设想）中的应用。

Token Statistics Transformer (ToST) 重塑了安逸力机制，它不需要狡计 token 之间的两两交互，而是基于投影后 token 特征的二阶矩统计量构建，其基于数据压缩和示意学习的表面原则见地，为 Transformer 的发展劝诱了新旅途。其基于统计特色的低复杂度设想九游会j9官网登录入口，不仅优化了现存架构的性能，还为改日大模子的高效化、多模态会通和跨学科应用提供了启示。