CS224n笔记一:开端

何为自然语言处理

自然语言处理的目标是让计算机处理或者“理解”自然语言,以完成有意义的任务,如QA等。

自然语言处理涉及的层次

  • 输入有两个来源:语音和文本,所以第一级是语音识别,OCR或者分词

  • 形态学(Morphological analysis)或称词法或者词汇形态学。其研究词的内部结构,包括屈折变化和构词法两个部分。

  • 句法分析(Syntactic analysis)和语义分析(Semantic Interpretation)

  • 对话分析(Discourse Processing),根据上文语境理解下文

    其中,CS223n关注画圈部分的三个部分(语音,句法分析和语义分析)

自然语言处理应用

从易到难大致有:

  • 拼写检查,关键词检索...

  • 文本挖掘(产品价格,日期,时间,地点,人名...)

  • 文本分类

  • 机器翻译

  • 客服系统

  • 复杂对话系统

    人类语言的特殊之处

    人类语言是离散的,明确的符号系统,但允许出现各种变种。符号传输到大脑的过程是通过连续的声光学信号,大脑编码似乎是连续的模式。另外,巨大的词表也导致了数据稀疏,不利于机器学习。因此,是否应该使用连续的信号而非离散的符号处理语言?

    什么是深度学习

    机器学习的子集,实际上是将特征工程+学习算法合二为一。深度学习是表示学习的一部分,用来学习原始输入的多层特征表示:

    传统的机器学习手工特征耗时耗力,不易扩展,而深度学习自有编解码器,自动特征学习快,方便扩展。传统的机器学习示意如下:

    为何NLP困难

    人类语言充满歧义,解读依赖现实世界常识以及上下文。

    Deep NLP=Deep Learning + NLP

    将自然语言处理的思想和表示学习结合,用深度学习的手法解决NLP目标,这推进了不少方面的发展,如词性标注,命名实体识别,句法/语义分析

    NLP表示层次:形态级别

    传统方法在形态级别的表示是词素,如将uninterested拆分成前缀,词根,后缀三个部分:

    深度学习中把词素也作为向量:

    多个词素向量构成相同维度语义更丰富的词向量。

    NLP工具:句法分析

    NLP语义层面的表示

    传统方法是手写大量的规则函数,也就是λ演算(Lambda calculus):

    在深度学习中,每个句子,短语和逻辑表达都是向量。神经网络负责将它们合并。

    情感分析

    传统方法是请人手工搜集“情感极性词典”,在词袋模型上做分类器。

    深度学习使用了RNN来解决该问题,它可以识别“反话”的情感极性:

    QA

    传统方法是手工编写大量的规则逻辑,比如正则表达式之类:

    深度学习依旧使用了类似的学习框架,将事实存储在向量中:

    客服系统

    Neural Language Models是基于RNN的:

    机器翻译

    传统方法在众多层面做了尝试,如词语,语法,语法。这类方法试图找到一种世界通用的“国际语”作为原文和译文的桥梁。

    而Neural Machine Translation将原文映射为向量,由向量构建原文,所有层级的表示都是向量:

    这也许是因为向量是最灵活的形式,它的维度是自由的,还可以组成矩阵或者更高维度的Tensor,事实上,在实践时,向量和矩阵没有本质区别。


码农场