transformer源码理解

一、背景介绍

NLP在AI中的地位可谓是举足轻重，如果把NLP领域比作江湖的话，deep learning这个门派已经把传统的统计机器学习门派吊打的体无完肤，自从Deep Learning统领江湖以后，这个门派逐渐划分为CNN，RNN为核心的两大派系，鄙人认为在这两大派系之争中RNN通过快速的发展出来LSTM->GRU等牛逼人物绝技，更压过CNN一头。时间来到的2017年的6月份，正当RNN派系自以为可以一统江湖夺得武林至尊之际，一个足以撼动武林的无上心法(Transformer)悄然诞生，一场腥风血雨拉开了序幕。时间来到了2018年10月11日，transformer派系的bert教主通过光明顶11战11胜的压倒性优势，一举夺得武林至尊的称号，从此堪称九阳神功的无上心法在江湖上广为流传。时间来到了2020的6月份，虽然transformer派系的教主之位多经易主，但是transformer的无上心法依旧经久不衰。今天我们来窥视一下transformer的心法口诀。

原文连接和翻译：
https://www.yiyibooks.cn/yiyibooks/Attention_Is_All_You_Need/index.html

transformer目前来说可以分为以下几个版本。
tensorflow版本：
pytorch版本：
tensor2tensor版本：

今天我们主要研究transformer最原始的版本tensorflow版本。

二、架构和目录

self- attention

Q,K,V的理解

1.https://blog.csdn.net/qq_42004289/article/details/85990009

2.https://www.bilibili.com/video/BV1J441137V6?from=search&seid=12093118819715772273

4.https://charon.me/posts/transformer/

源码：
https://github.com/Kyubyong/transforme
参考文献：
1.https://zhuanlan.zhihu.com/p/110800071
postion位置理解
2.https://www.zhihu.com/question/347678607/answer/864217252
3.https://zhuanlan.zhihu.com/p/110800071
4.https://zhuanlan.zhihu.com/p/63191028
5.https://charon.me/posts/transformer/
6.https://zhuanlan.zhihu.com/p/47510705
7.https://blog.csdn.net/qq_42004289/article/details/85990009
8.https://spaces.ac.cn/archives/4765
9.https://spaces.ac.cn/archives/6933
10.https://www.zhihu.com/question/347678607/answer/864217252
11.https://zhuanlan.zhihu.com/p/95079337
12.https://blog.csdn.net/u012526436/article/details/86295971
13.https://zhuanlan.zhihu.com/p/60821628