注意力机制的直觉理解

注意力机制的直觉理解

注意力本质上是一种信息筛选机制，类似于人类视觉的选择性注意。

核心观察

在大规模并行处理中，我们无法同时关注所有的权重。注意力机制允许模型动态地分配权重到最重要的特征上。

关键点

1. Query (Q): 我正在寻找什么？
2. Key (K): 这里的特征包含什么信息？
3. Value (V): 如果匹配，我应该获取什么内容？