AI Research 技术调研

❯

❯

❯

文件夹: llm/themes/ai-infra

此文件夹下有66条笔记。

2025年5月01日
AReaL: A Large-Scale Asynchronous Reinforcement Learning System for Language Reasoning
2025年5月01日
Insights into DeepSeek-V3: Scaling Challenges and Reflections on Hardware for AI Architectures
2025年4月01日
MegaScale-Infer: Serving Mixture-of-Experts at Scale with Disaggregated Expert Parallelism
2025年3月01日
DAPO: An Open-Source LLM Reinforcement Learning System at Scale
2025年2月01日
DeepEP — Efficient Expert-Parallel Communication Library
2025年2月01日
DeepGEMM — Clean and Efficient FP8 GEMM Kernels with Fine-grained Scaling
2025年2月01日
DeepSeek Open Infra Index — Production-tested AI Infrastructure Tools
2025年2月01日
DualPipe — Bidirectional Pipeline Parallelism for Computation-Communication Overlap
2025年2月01日
3FS (Fire-Flyer File System) — High-performance Distributed File System for AI
2025年2月01日
FlashMLA — Efficient Multi-head Latent Attention Kernels
2025年2月01日
Native Sparse Attention: Hardware-Aligned and Natively Trainable Sparse Attention
2025年1月01日
DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning
2025年1月01日
Streaming DiLoCo with overlapping communication: Towards a Distributed Free Lunch
2024年12月01日
DeepSeek-V3 Technical Report
2024年10月01日
TorchTitan: One-stop PyTorch native solution for production ready LLM pre-training
2024年9月01日
HybridFlow: A Flexible and Efficient RLHF Framework (verl)
2024年7月01日
FlashAttention-3: Fast and Accurate Attention with Asynchrony and Low-precision
2024年7月01日
The Llama 3 Herd of Models
2024年6月01日
Mooncake: A KVCache-centric Disaggregated Architecture for LLM Serving
2024年5月01日
DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language Model
2024年5月01日
NeMo-Aligner: Scalable Toolkit for Efficient Model Alignment
2024年5月01日
OpenRLHF: An Easy-to-use, Scalable and High-performance RLHF Framework
2024年5月01日
QServe: W4A8KV4 Quantization and System Co-design for Efficient LLM Serving
2024年2月01日
DeepSeekMath: Pushing the Limits of Mathematical Reasoning in Open Language Models (GRPO)
2024年2月01日
MegaScale: Scaling Large Language Model Training to More Than 10,000 GPUs
2024年1月01日
DeepSpeed-FastGen: High-throughput Text Generation for LLMs via MII and DeepSpeed-Inference
2024年1月01日
DistServe: Disaggregating Prefill and Decoding for Goodput-optimized LLM Serving
2024年1月01日
Mixtral of Experts (Mixtral 8x7B)
2023年12月01日
SGLang: Efficient Execution of Structured Language Model Programs
2023年10月01日
DISTFLASHATTN: Distributed Memory-efficient Attention for Long-context LLMs Training
2023年10月01日
Flash-Decoding for long-context inference
2023年10月01日
Ring Attention with Blockwise Transformers for Near-Infinite Context
2023年9月01日
DeepSpeed Ulysses: System Optimizations for Enabling Training of Extreme Long Sequence Transformer Models
2023年9月01日
nanotron — Minimalistic Large Language Model 3D-parallelism Training
2023年9月01日
Efficient Memory Management for Large Language Model Serving with PagedAttention
2023年8月01日
Megatron-Core — GPU-optimized Library for Training Transformers at Scale
2023年8月01日
SARATHI: Efficient LLM Inference by Piggybacking Decodes with Chunked Prefills
2023年8月01日
NVIDIA TensorRT-LLM
2023年7月01日
FlashAttention-2: Faster Attention with Better Parallelism and Work Partitioning
2023年6月01日
AWQ: Activation-aware Weight Quantization for LLM Compression and Acceleration
2023年5月01日
Direct Preference Optimization: Your Language Model is Secretly a Reward Model
2023年5月01日
GQA: Training Generalized Multi-Query Transformer Models from Multi-Head Checkpoints
2022年11月01日
Efficiently Scaling Transformer Inference
2022年11月01日
MegaBlocks: Efficient Sparse Training with Mixture-of-Experts
2022年11月01日
SmoothQuant: Accurate and Efficient Post-Training Quantization for Large Language Models
2022年10月01日
GPTQ: Accurate Post-Training Quantization for Generative Pre-trained Transformers
2022年9月01日
NVIDIA Transformer Engine (FP8 Training Library)
2022年8月01日
LLM.int8(): 8-bit Matrix Multiplication for Transformers at Scale
2022年6月01日
Tutel: Adaptive Mixture-of-Experts at Scale
2022年5月01日
Reducing Activation Recomputation in Large Transformer Models
2022年5月01日
FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness
2022年3月01日
Pathways: Asynchronous Distributed Dataflow for ML
2022年2月01日
ST-MoE: Designing Stable and Transferable Sparse Expert Models
2022年1月01日
Alpa: Automating Inter- and Intra-Operator Parallelism for Distributed Deep Learning
2022年1月01日
DeepSpeed-MoE: Advancing Mixture-of-Experts Inference and Training to Power Next-Generation AI Scale
2021年5月01日
GSPMD: General and Scalable Parallelization for ML Computation Graphs
2021年4月01日
Efficient Large-Scale Language Model Training on GPU Clusters Using Megatron-LM
2021年4月01日
ZeRO-Infinity: Breaking the GPU Memory Wall for Extreme Scale Deep Learning
2021年3月01日
FastMoE: A Fast Mixture-of-Expert Training System
2020年6月01日
GShard: Scaling Giant Models with Conditional Computation and Automatic Sharding
2020年6月01日
Memory-Efficient Pipeline-Parallel DNN Training (PipeDream-2BW)
2020年6月01日
PyTorch Distributed: Experiences on Accelerating Data Parallel Training
2020年3月01日
TRL — Transformer Reinforcement Learning
2019年10月01日
ZeRO: Memory Optimizations Toward Training Trillion Parameter Models
2019年9月01日
Megatron-LM: Training Multi-Billion Parameter Language Models Using Model Parallelism
2018年11月01日
GPipe: Efficient Training of Giant Neural Networks using Pipeline Parallelism

GitHub