小飞侠 - 数据预处理
type: channel
link: http://www.kexue.love/index.php/category/sjycl/
items: nlp数据增强的方法
items: 数据预处理

nlp数据增强的方法
type: item
date: 2020-09-23T11:46:00+00:00
description: 一、EDA方法1.同义词替换(Synonym Replacement, SR)：从句子中随机选取n个不属于停用词集的单词，并随机选择其同义词替换它们；2.随机插入(Random Insertion, RI)：随机的找出句中某个不属于停用词集的词，并求出其随机的同义词，将该同义词插入句子的一个随机位置。重复n次；3.随机交换(Random Swap, RS)：随机的选择句中两个单词并交换它们的位置。重复n次；4.随机删除(Random Deletion, RD)：以 $p$ 的概率，随机的移除句中的每个单词。第一种方式主要是利用同义替换的思想。 文中介绍了几个相关的方法，主要还是在于字、词、和句子结构层面上做数据增强。除了传统的字典、词向量相似度替换的方法，我觉得用mlm的方式去做数据增强这个点更加新颖和符合intuition。样本生成模型预测5、第二种就是通过“回译”的方法，这在阅读理解领域的榜单中一度有人使用过，比如说《attention is all you need》中在squad数据集上就使用了这个trick。6、句法级别的改写，生成句法树然后利用规则替换7.通过上述两个图，能很容易理解，就是预测mask位置的token，本身模型输出的是概率值，所以可以进行一个有效排序，而生成top k个近似的结果。8、第三种方式， Text Surface Transformation，主要是对句子进行一定规则的扩张和缩写，比如it is可以改写为it's9、随机噪声插入，这在addsent数据集的论文中使用过，可以使用随机插入、拼写错误插入、句子级别的打乱10、可以认为是一种句子之间相互增强，本质来将就是找到一个和原始句子相似的句子来替代，类似句子改写？但这句子是真实的？

数据预处理
type: item
date: 2020-07-29T09:33:20+00:00
description: 常见的数据预处理方法：1.采样与过滤2.采数据合并3.采归一化4.采标准化5.采拆分6.采缺失值填充