概念统计语言模型是描述自然语言内在规律的数学模型。广泛应用于各种语言处理问题，如语音识别、机器翻译、分词、词性标注等。统计模型就是用来计算一个句子的概率模型。$n-gram$语言模型（language model）定义了自然语言中标记序列的概率分布。根据模型的设计，标记可以是词、字符甚至是字节。标记总是离散的实体。最早成功的语言模型基于固定长度序列的标记模型，称为$n-gram$。一个$n-gram$是一个包含$n$个标记的序列。$n-gram$模型定义的条件概率给定前$n-1$个标记后的第$n$个标记的条件概率。$P\left ( x_{1} ,\cdots ,x_{T}\right )=P\left ( x_{1} ,\cdots ,x_{n-1}\right )\prod_{t=n}^{T}P\left ( x_{t}\mid x_{t-n+1},\cdots ,x_{t-1} \right )$ |
