Archive

2024  4

July  4

OpenRLHF: 一个易使用的大规模RLHF训练框架

July 17, 2024 · 2 min · 314 words · Me

大模型Infra这些年，从黑铁时代到黄金时代再到白银时代

July 16, 2024 · 1 min · 119 words · Me

Adam 优化器在多卡训练中的通信问题; LLM 角色指令增强的理论分析; MCTS 在 RAG 中的应用

July 10, 2024 · 2 min · 261 words · Me

Diffusion 模型 Vs. AR 模型; VLM (视觉语言模型) 中引入视觉信息的必要性; SFT(Supervised Fine-Tuning) 训练数据规模和质量

July 5, 2024 · 2 min · 251 words · Me

2023  9

December  5

Paper & Discussion: DPO vs RLHF?

December 20, 2023 · 2 min · 371 words · Me

大模型缺陷

December 17, 2023 · 2 min · 298 words · Me

Distill 方法目前的局限

December 13, 2023 · 1 min · 40 words · Me

MOE Evaluation时的capacity

December 8, 2023 · 2 min · 378 words · Me

数字切开验证&&数字计算

December 3, 2023 · 3 min · 443 words · Me

November  3

对 AI Safety / AI open source 以及 large scale AI deployment 的看法

November 25, 2023 · 2 min · 420 words · Me

Learning Rate 和 Batch Size 的关系

November 19, 2023 · 2 min · 222 words · Me

为什么大模型普遍选用更宽而不是更高的模型架构

November 12, 2023 · 2 min · 345 words · Me

October  1

Compression Theory for Large Language Models

October 28, 2023 · 1 min · 175 words · Me