AI Research 技术调研

标签: pretraining

此标签下有3条笔记。

  • 2026年6月25日

    M6: A Chinese Multimodal Pretrainer

    • multimodal
    • chinese
    • pretraining
    • moe
    • text-to-image
    • vqgan
    • encoder-decoder
    • mixture-of-experts
  • 2026年6月18日

    大模型技术演进调研 (GPT-3 → 2026-06) · 主汇总

    • llm
    • survey
    • pretraining
    • architecture
    • ai-infra
    • post-training
    • agentic
  • 2026年6月18日

    早期与全开(数据全公开)大模型训练配方深挖 — BLOOM/ROOTS · Pythia · GPT-NeoX · Falcon/RefinedWeb · MAP-Neo · OpenCoder · StarCoder/The Stack · RedPajama · DCLM

    • fully-open
    • open-data
    • pretraining
    • data-pipeline
    • BLOOM
    • Pythia
    • GPT-NeoX
    • Falcon
    • RefinedWeb
    • MAP-Neo
    • OpenCoder
    • StarCoder
    • The-Stack
    • RedPajama
    • DCLM

  • GitHub