AI Research 技术调研

❯

❯

❯

文件夹: llm/themes/architecture

此文件夹下有70条笔记。

2025年12月01日
DeepSeek-V3.2: Pushing the Frontier of Open Large Language Models
2025年9月01日
DeepSeek-V3.2-Exp: Boosting Long-Context Efficiency with DeepSeek Sparse Attention
2025年9月01日
Qwen3-Next：迈向更极致的训练推理性价比 (Qwen3-Next-80B-A3B)
2025年8月01日
gpt-oss-120b & gpt-oss-20b Model Card
2025年7月01日
Falcon-H1: A Family of Hybrid-Head Language Models Redefining Efficiency and Performance
2025年7月01日
Kimi K2: Open Agentic Intelligence (Technical Report)
2025年5月01日
Qwen3 Technical Report
2025年4月01日
The Llama 4 herd: the beginning of a new era of natively multimodal AI innovation
2025年3月01日
Gemma 3 Technical Report
2025年3月01日
Qwen2.5-Omni Technical Report
2025年3月01日
Qwen2.5-VL Technical Report
2025年2月01日
Native Sparse Attention: Hardware-Aligned and Natively Trainable Sparse Attention (NSA)
2025年1月01日
DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning
2025年1月01日
MiniMax-01: Scaling Foundation Models with Lightning Attention
2025年1月01日
2 OLMo 2 Furious (OLMo 2 Technical Report)
2024年12月01日
Byte Latent Transformer: Patches Scale Better Than Tokens (BLT)
2024年12月01日
DeepSeek-V3 Technical Report
2024年12月01日
DeepSeek-VL2: Mixture-of-Experts Vision-Language Models for Advanced Multimodal Understanding
2024年12月01日
Gated Delta Networks: Improving Mamba2 with Delta Rule
2024年11月01日
Hymba: A Hybrid-head Architecture for Small Language Models
2024年10月01日
nGPT: Normalized Transformer with Representation Learning on the Hypersphere
2024年10月01日
Pixtral 12B
2024年9月01日
Qwen2-VL: Enhancing Vision-Language Model's Perception of the World at Any Resolution
2024年8月01日
Auxiliary-Loss-Free Load Balancing Strategy for Mixture-of-Experts
2024年8月01日
Jamba-1.5: Hybrid Transformer-Mamba Models at Scale
2024年7月01日
FlashAttention-3: Fast and Accurate Attention with Asynchrony and Low-precision
2024年7月01日
The Llama 3 Herd of Models
2024年6月01日
Gemma 2: Improving Open Language Models at a Practical Size
2024年6月01日
Samba: Simple Hybrid State Space Models for Efficient Unlimited Context Language Modeling
2024年5月01日
Chameleon: Mixed-Modal Early-Fusion Foundation Models
2024年5月01日
DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language Model
2024年5月01日
Transformers are SSMs: Generalized Models and Efficient Algorithms Through Structured State Space Duality (Mamba-2)
2024年4月01日
RecurrentGemma: Moving Past Transformers for Efficient Open Language Models
2024年3月01日
Jamba: A Hybrid Transformer-Mamba Language Model
2024年2月01日
Griffin: Mixing Gated Linear Recurrences with Local Attention for Efficient Language Models (Hawk & Griffin)
2024年1月01日
DeepSeekMoE: Towards Ultimate Expert Specialization in Mixture-of-Experts Language Models
2024年1月01日
MambaByte: Token-free Selective State Space Model
2024年1月01日
Mixtral of Experts
2023年12月01日
Gated Linear Attention Transformers with Hardware-Efficient Training (GLA)
2023年12月01日
Mamba: Linear-Time Sequence Modeling with Selective State Spaces
2023年8月01日
Qwen-VL: A Versatile Vision-Language Model for Understanding, Localization, Text Reading, and Beyond
2023年8月01日
YaRN: Efficient Context Window Extension of Large Language Models
2023年7月01日
Retentive Network: A Successor to Transformer for Large Language Models (RetNet)
2023年5月01日
GQA: Training Generalized Multi-Query Transformer Models from Multi-Head Checkpoints
2023年5月01日
The Impact of Positional Encoding on Length Generalization in Transformers (NoPE)
2023年5月01日
RWKV: Reinventing RNNs for the Transformer Era
2023年4月01日
Visual Instruction Tuning (LLaVA)
2023年1月01日
BLIP-2: Bootstrapping Language-Image Pre-training with Frozen Image Encoders and Large Language Models
2022年5月01日
FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness
2022年4月01日
Flamingo: a Visual Language Model for Few-Shot Learning
2022年4月01日
PaLM: Scaling Language Modeling with Pathways
2022年3月01日
DeepNet: Scaling Transformers to 1,000 Layers (DeepNorm)
2022年3月01日
Tensor Programs V: Tuning Large Neural Networks via Zero-Shot Hyperparameter Transfer (muP / muTransfer)
2022年2月01日
ST-MoE: Designing Stable and Transferable Sparse Expert Models
2021年12月01日
GLaM: Efficient Scaling of Language Models with Mixture-of-Experts
2021年10月01日
Efficiently Modeling Long Sequences with Structured State Spaces (S4)
2021年8月01日
Train Short, Test Long: Attention with Linear Biases Enables Input Length Extrapolation (ALiBi)
2021年4月01日
RoFormer: Enhanced Transformer with Rotary Position Embedding
2021年3月01日
Perceiver: General Perception with Iterative Attention
2021年2月01日
Learning Transferable Visual Models From Natural Language Supervision (CLIP)
2021年1月01日
Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity
2020年10月01日
Query-Key Normalization for Transformers (QKNorm)
2020年10月01日
An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale (ViT)
2020年9月01日
Rethinking Attention with Performers (FAVOR+)
2020年7月01日
Big Bird: Transformers for Longer Sequences
2020年6月01日
GShard: Scaling Giant Models with Conditional Computation and Automatic Sharding
2020年4月01日
Longformer: The Long-Document Transformer
2020年2月01日
GLU Variants Improve Transformer (SwiGLU)
2019年11月01日
Fast Transformer Decoding: One Write-Head is All You Need (Multi-Query Attention)
2019年10月01日
Root Mean Square Layer Normalization (RMSNorm)

GitHub