问题描述
我正在研究有关NLP中pos标记的研究论文，但是我的问题是，如何用另一种本地语言plz实施pos标记会帮助我。
解决方法
这取决于您使用的POS塔格。通常，（概率）标记器具有两个特定于语言的组件：语言模型和字典。
字典包含所有带有可能标记的单词，并用频率标注。这可以手动创建和编辑，也可以从训练数据中导出。如果您的语言具有丰富的形态，则可能要使用形态分析器来支持此功能，或者您可以单独使用所有变形的形式作为字典条目。
语言模型包含标签序列及其频率，通常为三字组（三个项目的序列）。它是从训练数据中提取的，反映了词类分布的语法约束。
因此，为了使现有的标记器适应新的语言，有两个主要步骤：
-
为您的语言创建标签集。尽管不同语言的标记集之间有一些重叠（它们通常都带有名词或动词），但您可能希望为案例或时态使用特定的标记，因为它们可以帮助消除歧义。
-
注释训练数据。您需要一些文本来生成语言模型（可能还需要字典）。您将这些数据输入到训练算法中，以生成特定于语言的资源文件。
手工注释非常繁琐，但是您可以使用一个迭代过程：注释一个较小的文本，通过训练机制运行它，并使用标记器注释一个较长的文本。这将有很多错误，但是比从头开始注释文本要容易得多。然后将此文本添加到您的训练数据中并重复。您会发现，随着建立更多的训练数据，标记器的性能会逐渐提高，