第六章Transformer 网络目录 CONTENTS01经典注意力机制02Transformer 架构03视觉 Transformer 模型经典注意力机制AIPART ONE 1背景介绍在 2015 年 的 ICLR 会 议 上 ， 论 文 《 NEURAL MACHINE TRANSLATION BY JOINTLY LEARNING TO ALIGN AND TRANSLATE 》中提出了关于注意力机制的一些初步想法。在 2016 年的 ICLR 会议上，论文《 FEED-FORWARD NETWORKS WITH ATTENTION CAN SOLVE SOME LONG-TERM MEMORY PROBLEMS 》正式提出了注意力机制。1为什么要关注“注意力”？•注意力机制的核心思想是引导模型有选择地关注输入中的关键信息，从而提升对全局依赖关系的建模能力。•生活类比：人类面对复杂信息时，往往选择关注与当前任务相关的部分，以减轻认知负担并提高...
