一句话定位
S4（Structured State Space Sequence model）用结构化状态空间 + HiPPO 初始化高效建模超长依赖，是 Mamba 之前 SSM 路线的奠基作，刷新 Long Range Arena。
摘要（3-6 句）
处理超长序列（万级 token）一直是序列模型难题。S4 基于状态空间模型 (SSM) x’=Ax+Bu, y=Cx，把状态矩阵 A 参数化为「正常 + 低秩」(NPLR/DPLR) 结构，使其既能用 HiPPO 理论捕捉长程记忆，又能高效计算（卷积视角 + FFT，或递归视角）。S4 在 Long Range Arena 基准上大幅领先，尤其在 Path-X（16K 长度）这一此前所有模型都失败的任务上首次取得显著效果，同时在语音、图像等长序列任务通用。
关键技术细节
- SSM：连续时间线性状态空间，离散化后可写成全局卷积（训练并行）或线性递归（推理 O(1)/step）。
- HiPPO 初始化：用 HiPPO 矩阵初始化 A，理论上最优地压缩历史信息，解决长程记忆。
- 结构化参数化：A = 正规矩阵 − 低秩（DPLR），用 Cauchy kernel + FFT 高效计算卷积核，复杂度近线性。
- 结果：Long Range Arena 平均大幅领先 Transformer 变体；首次在 Path-X (16384 长度) 上超过随机。
- 后续催生 H3、Mamba 等选择性 SSM。
原始链接
- url: https://arxiv.org/abs/2111.00396
- pdf_url: https://arxiv.org/pdf/2111.00396
- github_url: https://github.com/state-spaces/s4
一手源存档（sources/）
- s4.pdf （PDF 不入 git，走 HF bucket）