AI Research 技术调研
Search
搜索
暗色模式
亮色模式
探索
标签: pretraining
此标签下有3条笔记。
2026年6月25日
M6: A Chinese Multimodal Pretrainer
multimodal
chinese
pretraining
moe
text-to-image
vqgan
encoder-decoder
mixture-of-experts
2026年6月18日
大模型技术演进调研 (GPT-3 → 2026-06) · 主汇总
llm
survey
pretraining
architecture
ai-infra
post-training
agentic
2026年6月18日
早期与全开(数据全公开)大模型训练配方深挖 — BLOOM/ROOTS · Pythia · GPT-NeoX · Falcon/RefinedWeb · MAP-Neo · OpenCoder · StarCoder/The Stack · RedPajama · DCLM
fully-open
open-data
pretraining
data-pipeline
BLOOM
Pythia
GPT-NeoX
Falcon
RefinedWeb
MAP-Neo
OpenCoder
StarCoder
The-Stack
RedPajama
DCLM