BERT(Bidirectional Encoder Representation from Transformers) 网络架构由 Jacob Devlin 等人提出用于预训练，学习在给定上下文下给出词的 Embedding 表示。BERT 采用了 Transformer 架构的编码器部分用于学习词在给定上下文下词的 Embedding 表示。考虑到语言模型任务为从左往右或从右往左预测下一个词的自回归任务，因此若采用该模式每个词无法依赖于当前上下文下后续词进行词向量表示。为了解决该问题，BERT 提出了两类预训练任务：

• 掩码语言模型任务

• 下一句预测任务

  下面我们分别来看这两类任务。

本篇整理 Transformer 架构，及在 Transformer 基础上衍生出来的 BERT 模型，最后给出
相应的应用案例。

问题描述

  GitHub提交常常遇到些问题，导致之前提交的更新丢失，我们可以考虑回退到之前的版本。在GitHub的Web页面上并没有找到回退的解决方案。

NLP-序列标注三大模型HMM、MEMM、CRF

对于HMM，MEMM，CRF需要结合概率图的层面上理解和记忆，这几个模型主要用在了序列标注上，这篇笔记针对这三个模型进行公式推导，加深理解。

Word2Vec 原理讲解

1.介绍

• 2013年，Google开源了一款用于词向量计算的工具—— word2vec，引起了工业界和学术界的关注。
• 提到word2vec 算法或模型，其实指的是其背后用于计算 word vector 的 CBoW 模型和 Skip-gram 模型
• 很多人以为 word2vec 指的是一个算法或模型，实际上并不正确。
• 因此通过 Word2Vec 技术 输出的词向量可以被用来做很多NLP相关的工作，比如聚类、找同义词、词性分析等等.

命名实体识别（Named Entity Recognition，NER）是NLP中一项非常基础的任务。NER是信息提取、问答系统、句法分析、机器翻译等众多NLP任务的重要基础工具。

本篇笔记主要记录目前NER最常用的两种深度学习模型，LSTM+CRF和Dilated-CNN。

引言

对于自然语言处理任务，我们不能直接使用纯文本字符串作为输出，而是需要将文本字符转化为连续值的向量。

词嵌入的主要思想是将文本转换为较低维度空间的矢量表示。对于这种转化后的向量有两个重要的要求：

• 较低维度空间：尽量降低编码词向量产生的稀疏性。

• 保证上下文相似性：为了使语言模型更好的预测文本的含义。

总的来说，词嵌入就是一种从文本语料库构建低维向量表示的方法，可以保留单词的上下文相似性。

命名实体识别（Named Entity Recognition，NER）是NLP一项基础任务。是指识别文本中具有特定意义的实体，主要包括人名、地名、机构名、专有名词等。NER是信息提取、问答系统、句法分析、机器翻译等众多NLP任务的重要基础工具。命名实体识别的准确度，决定了下游任务的效果。