信息熵完美编码交叉熵不完美编码相对熵是两者的差值，交叉熵减去信息熵。差值即差异，也即KL散度

一、GPU驱动安装1.查看驱动是否安装用下面的指令，如果返回了显卡信息说明驱动已经安装：nvidia-smi 或者sudo apt-get install mesa-utils glxinfo | grep rendering https://mirrors.aliyun.com/centos-vault/7.6.1810/isos/x86_64/CentOS-7-x86_64-DVD-1810.iso?spm=a2c6h.25603864.0.0.365f12cfhbiLSE参考：1.驱动安装https://www.jianshu.com/p/ee45d66e04- 阅读剩余部分 -

cuda两个apiCUDA 有两种API，分别是 运行时 API 和 驱动API，即所谓的 Runtime API 与 Driver API。CUDA有两个主要的API，runtime API(nvcc -V 显示的cuda)和driver API(nivdia-smi中显示的cuda)，两者都有相应的版本(例如8.0、9.0等)。对driver API的必要支持(e.g. libcuda.so on linux)，是由GPU驱动安装程序安装的。对runtime API(e.g. libcudart.so on linux, and also nvcc)的必要支持，是由CU- 阅读剩余部分 -

1.ChatterBot中文基本聊天语料https://github.com/gunthercox/chatterbot-corpus/tree/master/chatterbot_corpus/data/chinese

让机器和人类有相同的思考理解能力，并且机器可以和人类进行拟人化的交互知识图谱的构建离不开NLP技术对于自然语言的抽取、NLP的应用离不开知识图谱的关联方分析和推理能力。认知智能是探寻人类学习、理解、产生决策的生物能力，并将之赋予机器的技术统称，而实现机器认知，需要突破感知泛在、意识建立、低维到高维的主观概念形成、推理决策能力唤醒，以及多模态知识持续学习等能力瓶颈，其产生的价值也将使人工智能更加贴近人类的思维方式，而知识图谱作为人类意识和概念的承载体是现阶段认知智能主要的发展方向之一。

语音识别的难点1.语音激活测验（VAD）：顾名思义，指的就是判断什么时候有语音什么时候没有语音（静音），后续的语音信号处理或是语音识别都是在VAD截取出来的有效语音片段上去进行计算的。2.2.语音唤醒（VT）：可以理解为喊名字，引起电视这个“听者”的注意。比如苹果的“heySiri”，Google的“OK Google”，创维的“小度”等，VT的目的是告诉电视（或手机），接下来的话是对你讲的哦，认真听好了。3.回声消除（Echo Cancelling）：在近场语音的环境下，播放音乐或是语音播报的时候可以使用按键进行停止，但远场环境下想要通过语音来进行控制，就必须得实现回声消- 阅读剩余部分 -

定义当Rasa NLU识别到用户输入Message的意图后，Rasa Core对话管理模块就会对其作出回应，而完成这个回应的模块就是action。在不同版本里面Rasa Core支持不同种类的action。在rasa1.x版本里面，支持4中不同的action:即Retrieval actions、default actions、utter actions以及 custom actions。关于如何实现Actions和处理业务逻辑，我们在一篇文章中详谈，这里仅作简单了解。1. default actions DefaultAction是Rasa Core默认的一组action- 阅读剩余部分 -

一、情感对话系统最终功能1、情感对话，有记忆功能，能关注人的兴趣爱好2、个人助手=能提醒吃药、喝水等3、机器人有人格、懂得话术，能投其所好最终实现数字疗法参考： woebot机器人第一方面，就Woebot本身，其实它的对话结构都是设计好的，因此它的绝大部分问题都不是开放性的问题。通常它需要用户从几个候选答案中选择，从而根绝提前设计好的决定树路径来进行对话。如上面回答所说，Woebot使用的认知行为疗法（CBT），通过将精神健康和心理学已有的一些知识融入到谈话中，从而使人们了解正确的对物，对人，对己的认知，并纠正一些用户（或者患者）已有的不正确的认知观念。根绝Woebot研究- 阅读剩余部分 -

1.关于安装Rasa所需的MITIE组件其实很简单，一共没几步conda activate激活你的python环境（或者venv激活）pip或者conda install cmake以及boost终端或者cmd进入你的工作目录或者随便哪里，git clone https://github.com/mit-nlp/MITIE.gitcd进MITIE的文件夹，python setup.py build最后 python setup.py install最后欢迎关注我的Rasa项目Doctor-Friende，一个用Rasa实现的中文的医疗问答机器人

多轮对话管理系统大致上可以分成3类一、任务式多轮对话架构：对话管理-核心人能够进行多轮对话，很大程度和我们能记住并且使用沟通过程产生的信息和共识，这里值得注意的是，有两个关键的能力，一个是记住，另一个是使用。而现有的大量技术也都是围绕着这两点来搭建的，甚至，比较统一的形成了一个“对话管理模块”，即Dialog Management，DM。对话管理承担了多轮对话中信息的记录和使用，所谓的记录，就是对话过程的跟踪，一般被称为"Dialog State Tracking"，"DST"对话状态跟踪，而所谓的使用，有一个跟有意思的说法，叫做对话策略，"Dialog Policy"，D- 阅读剩余部分 -

一、rasa1.官网https://rasa.com/https://rasachatbot.comhttps://www.mg21.com/rasa.html二、开源闲聊对话系统百度 unit: https://ai.baidu.com/unit/home#/home2.产品https://www.yesdotnet.com/archive/post/1633011046.htmlhttps://github.com/PaddlePaddle/Knover1.百度:plato-mimihttps://www.paddlepaddle.org.cn/hubdetail?n- 阅读剩余部分 -

一、背景对话系统一般包括领域内(任务型)对话比如订票，订餐等等和开放领域对话。前者主要是靠识别特定的意图+反复确认来实现，整体来说难度不高，而后者实现起来相对来说较为困难，目前也较为不成熟。之前一些开发领域对话的解决方案如微软的小冰都是一套很复杂的架构，但是随着最近几年预训练模型取得的成功，对话系统领域也开始探索端到端的实现方式，尤其在2019，2020，2021这三年涌现出了很多相关研究。比如2020年1月份google发表的Meena、4月份Facebook的Blender以及百度PLATO系列包括PLATO、PLATO-2、PLATO-XL等等，前两篇分别发表在ACL- 阅读剩余部分 -

一、 背景与基础在使用GPT BERT模型输入词语常常会先进行tokenize ，tokenize具体目标与粒度是什么呢？tokenize也有许多类别及优缺点，这篇文章总结一下各个方法及实际案例。tokenize的目标是把输入的文本流，切分成一个个子串，每个子串相对有完整的语义，便于学习embedding表达和后续模型的使用。二、切分粒度tokenize有三种粒度：word/subword/char1.词粒度-word词粒度的切分就跟人类平时理解文本原理一样，常常用一些工具来完成，例如英文的NLTK、SpaCy，中文的jieba、LTP等。举个栗子：英文live in Ne- 阅读剩余部分 -

一、重点：L1 正则化会得到稀疏解(有的参数为0，有的参数值比较大)，可用作特征选择。L2 正则化会得到趋于0的解(参数值都趋向比较小的值)，起到防止过拟合的作用。二、正则化为什么能防止过拟合数据集中的噪声点往往需要比较大的w值来拟合，也就是说w越大，模型的曲线越“陡峭”，因而网络模型能够更好得拟合噪声点，但也引起了过拟合。在l1正则化中，某些权值刚好为0，说明某些特征被模型完全忽略。这可以看作是一种自动的特征选择。某些权值刚好为0，这样模型更容易解释，也可以呈现模型最重要的特征。在l2正则化中，权值w会随着迭代衰减，当w很小时意味着该神经网络模型中的某些神经元实际的作用很- 阅读剩余部分 -

一、 ERNIE-B的掩码机制ERNIE-B的掩码机制如图1所示，它由BERT的随机掩码再加前面我们介绍的短语级别掩码和实体级别掩码。图1：ERNIE-B的三种掩码基本级别掩码（Basic-Level Masking）：这里采用了和BERT完全相同的掩码机制，在进行中文语料时，这里使用的是字符级别的掩码。在这个阶段并没有加入更高级别的语义知识。短语级别掩码（Phrase-Level Masking）：在这个阶段，首先使用语法分析工具得到一个句子中的短语，例如图1中的“a serious of”，然后随机掩码掉一部分，并使用剩下的对这些短语进行预测。在这个阶段，词嵌入中加入了- 阅读剩余部分 -

一、hard-mining二、magnet

一、定义各向异性(Anisotropic) 的概念在BERT-flow的文章中有明确的定义：(1)“Anisotropic” means word embeddings occupy a narrow cone in the vector space.翻译过来就是：“各向异性”表示词嵌入在向量空间中占据了一个狭窄的圆锥形体。但这个定义有点过于场景化，实际上各向异性的表现形式并不一定是锥形。