一、背景介绍NLP在AI中的地位可谓是举足轻重，如果把NLP领域比作江湖的话，deep learning这个门派已经把传统的统计机器学习门派吊打的体无完肤，自从Deep Learning统领江湖以后，这个门派逐渐划分为CNN，RNN为核心的两大派系，鄙人认为在这两大派系之争中RNN通过快速的发展出来LSTM->GRU等牛逼人物绝技，更压过CNN一头。时间来到的2017年的6月份，正当RNN派系自以为可以一统江湖夺得武林至尊之际，一个足以撼动武林的无上心法(Transformer)悄然诞生，一场腥风血雨拉开了序幕。时间来到了2018年10月11日，transformer- 阅读剩余部分 -

介绍bert之前我们先来看一下NLP发展的几个阶段。如果说把人类完全攻克人工智能(AI)比作上天的话，那么现在阶段人类已经爬上天梯的第二个阶梯了。再次之前人类总共进行的三个阶段。第一阶段(地上爬)：统计机器学习为代表第二阶段(爬上第一阶梯)：word2vec为代表第三阶段(爬上第二阶梯)：bert为代表下面我们简要介绍每个阶段。一、第一阶段(地上爬)犹如生命的诞生之初，混沌而原始。在word2vec诞生之前，NLP中并没有一个统一的方法去表示一段文本。各位前辈和大师们发明了许多的方法：one-hot表示一个词bag-of-words来表示一段文本tf-idf中用频率的手段来- 阅读剩余部分 -

一、背景自从transformer出来之后，后面的算法基本上都是基于这个为基础，比如bert是以Encode层，GPT系列的GPT、GPT2、GPT3都是Decode层，下面我们主要讲解一下GPT。1、论文论文名字：《Improving Language Understanding by Generative Pre-Training》论文地址：Improving Language Understanding by Generative Pre-Training2、论文发表时间时间：2018年6月团队：openAI、特斯拉老板马斯克的公司二、架构1、架构图:注意：GPT 使- 阅读剩余部分 -

一、版本[tensorflow1.10 到 tensorflow1.13] 中都有tf.flags和tf.app.flags[tensorflow1.14 到 tensorflow1.15] 以及 tensorflow2.0不在有了二、作用Tensorflow 采用tf.app.flags 来进行命令行参数传递.如 - flags_test.pyimport tensorflow as tf flags = tf.app.flags FLAGS = flags.FLAGS # Settings for some training parameters. flags.D- 阅读剩余部分 -

请输入密码访问