混沌有序

最新文章

探索研究笔记与实验记录

从 LoRA、LoRA+、PiSSA、DoRA 到 TinyLoRA 与 LoRA-Mixer，一文看懂参数高效微调的核心机制与工程取舍。

各大顶级实验室爆改 DPO出了一套极其华丽的招式表

在探讨大语言模型（LLM）的对齐算法之前，我们需要先理清模型训练的宏观图景。大模型的训练通常分为三个阶段：预训练（Pre-training）、指令微调（SFT）和人类偏好对齐（RLHF/Alignment）。

在阅读《深度学习》时对注意力机制产生了新的理解。注意力本质上是一种信息筛选机制，类似于人类视觉的选择性注意...

在咖啡馆看完 David Silver 的 RL 课程后，决定动手实现一个简单的 Q-Learning 算法...

Kahneman 的这本书让我重新审视了自己的思考模式。系统1和系统2的划分简洁而深刻...