0%

CRF

1. 马尔科夫随机场

  • 场: 在空间的某个区域内, 如果除了个别点以外, 其他的该区域内的每个点 p 都有一个确定的量 $f(p)$, 那么 该区域 称为 $f(p)$ 的场。

  • 随机过程: 设 $T$ 是一无限实数集, 把依赖于 $t \in T$ 的一族 (无限多个) 随机变量称为随机过程。即为

  • 随机场: 如果 $T$ 是 $n$ 维度空间的一个子集, 即 $t$ 是一个 $n$ 维向量, 此时随机过程称为随机场。

2. 条件随机场 CRF (conditional random field)

定义: 设 $X=(x_1, x_2, …, x_n)$ 和 $Y=(y_1, y_2, …, y_n)$ 均为线性表示的随机变量序列。若在 给定 随机变量序列x 的条件下。 随机变量序列 $Y$ 的条件概率分布 $P(Y|X)$ 构成条件随机场, 并满足马尔科夫性:

此时称 $P(Y|X)$ 为线性条件随机场。

3. 线性链条件随机场公式

特征函数定义:

为了简单起见,将转移特征和状态特征及其权值用统一符号表示。条件随机场简化公式如下:

4. 举例说明

则标注序列为 {B、I、I} 的联合概率分布如下:

5. 朴素贝叶斯, HMM, 逻辑回归, CRF 对比表格

原理 特点 优点 缺点
朴素贝叶斯 贝叶斯公式 条件概率 条件推理 训练复杂
HMM 马尔科夫性 依赖前一个状态 训练快 局部最优
逻辑回归 逻辑函数 取值[0,1] 模拟概率 准确率不高
CRF Hammersley-Clifford 定理 最大团乘积 特征灵活, 全局最优 设置特征模板

6. CRF 的发展简史

CRF 一直时标注问题的基本模型。

历史 模型
机器学习阶段 CRF
深度学阶段 BiLSTM-CRF, BILSTM-CNN-CRF
Attention 阶段 Transformer-CRF, BERT-BiLSTM-CRF

7. CRF 的应用

7.1. 中文分词

基于 CRF 由字构词方法的基本思想,基本原理如下:

CRF 中文分词的图结构如下:

7.2. 命名实体识别

基于 CRF 的命名实体识别过程如下:

CRF 命名实体识别的图结构如下:

7.3. 词性标注

基于 CRF 词性标注方法的基本思想,基本原理如下:

CRF 中文词性标注的图结构如下:

坚持原创技术分享,您的支持将鼓励我继续创作!