Token Classification
词元分类
词元分类为句子中的每个词元分配标签。最常见的词元分类任务之一是命名实体识别（NER）。NER 尝试为句子中的每个实体找到对应标签，例如人名、地名或组织名。
本指南将向您展示如何：
- 在 WNUT 17 数据集上微调 DistilBERT，以检测新兴实体。
- 使用微调后的模型进行推断。
如果您想查看所有与本任务兼容的架构和检查点，最好查看任务页。
在开始之前，请确保您已安装所有必要的库：
pip install transformers datasets evaluate seqeval
建议您登录 Hugging Face 账户，以便将模型上传并分享给社区。在提示时，输入您的令牌进行登录：
加载 WNUT 17 数据集
首先从 🤗 Datasets 库中加载 WNUT 17 数据集：
然后查看一个示例：
{'id': '0',
, 'ner_tags': [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 7, 8, 8, 0, 7, 0, 0, 0, 0, 0, 0, 0, 0],
, 'tokens': ['@paulwalk', 'It', "'s", 'the', 'view', 'from', 'where', 'I', "'m", 'living', 'for', 'two', 'weeks', '.', 'Empire', 'State', 'Building', '=', 'ESB', '.', 'Pretty', 'bad', 'storm', 'here', 'last', 'evening', '.']
,} ner_tags 中的每个数字代表一个实体。将数字转换为标签名称，以了解实体类型：
[ , "O", , "B-corporation", , "I-corporation", , "B-creative-work", , "I-creative-work", , "B-group", , "I-group", , "B-location", , "I-location", , "B-person", , "I-person", , "B-product", , "I-product", ,]
每个 ner_tag 的前缀字母表示实体中词元的位置：
B-表示实体的开始。I-表示词元包含在同一实体中（例如，State词元是Empire State Building等实体的一部分）。0表示该词元不对应任何实体。
预处理
下一步是加载 DistilBERT 分词器，对 tokens 字段进行预处理：
如上面示例的 tokens 字段所示，看起来输入已经完成了分词。但实际上输入尚未分词，您需要设置 is_split_into_words=True 将词语分词为子词。例如：
['[CLS]', '@', 'paul', '##walk', 'it', "'", 's', 'the', 'view', 'from', 'where', 'i', "'", 'm', 'living', 'for', 'two', 'weeks', '.', 'empire', 'state', 'building', '=', 'es', '##b', '.', 'pretty', 'bad', 'storm', 'here', 'last', 'evening', '.', '[SEP]']
然而，这会添加一些特殊词元 [CLS] 和 [SEP]，子词分词会造成输入与标签之间的不匹配——原本对应单个标签的单个词，现在可能被分割为两个子词。您需要通过以下方式重新对齐词元和标签：
- 使用
word_ids方法将所有词元映射到对应的词语。 - 对特殊词元
[CLS]和[SEP]分配标签-100，使其被 PyTorch 的损失函数忽略（参见 CrossEntropyLoss）。 - 仅为给定词语的第一个词元打标签，对同一词语的其他子词元分配
-100。
下面是创建一个函数来重新对齐词元和标签、并将序列截断至不超过 DistilBERT 最大输入长度的方法：
使用 🤗 Datasets 的 map 函数将预处理函数应用于整个数据集。通过设置 batched=True 一次处理数据集的多个元素，可以加速 map 函数：
现在使用 DataCollatorWithPadding 创建一批样本。在整理时将句子动态填充至批次中的最长长度，比将整个数据集填充至最大长度更高效。
评估
首先获取 NER 标签，然后创建一个函数，将真实预测结果和真实标签传递给 compute 来计算分数：
您的 compute_metrics 函数已准备就绪，在设置训练时会用到它。
训练
在开始训练模型之前，使用 id2label 和 label2id 创建预期 id 到其标签的映射：
如果您不熟悉使用 Trainer 微调模型，请查看这里的基础教程！
现在可以开始训练模型了！使用 AutoModelForTokenClassification 加载 DistilBERT，并指定预期标签数量和标签映射：
此时，只剩三个步骤：
- 在
TrainingArguments中定义训练超参数。唯一必需的参数是output_dir，它指定保存模型的位置。通过设置push_to_hub=True，将模型推送到 Hub（您需要登录 Hugging Face 才能上传模型）。每个 epoch 结束时，Trainer将评估 seqeval 分数并保存训练检查点。 - 将训练参数传递给
Trainer，同时传入模型、数据集、分词器、数据整理器和compute_metrics函数。 - 调用
train()微调您的模型。
训练完成后，使用 push_to_hub() 方法将模型分享到 Hub，让所有人都能使用您的模型：
如需了解如何微调词元分类模型的更深入示例，请参阅相应的 PyTorch notebook。
推断
很好，现在您已经微调了模型，可以用它进行推断了！
准备一些您想要进行推断的文本：
使用微调后的模型进行推断最简单的方式是在 pipeline() 中使用它。用您的模型实例化一个 NER pipeline，并将文本传递给它：
[{'entity': 'B-location',
, 'score': 0.42658573,
, 'index': 2,
, 'word': 'golden',
, 'start': 4,
, 'end': 10},
, {'entity': 'I-location',
, 'score': 0.35856336,
, 'index': 3,
, 'word': 'state',
, 'start': 11,
, 'end': 16},
, {'entity': 'B-group',
, 'score': 0.3064001,
, 'index': 4,
, 'word': 'warriors',
, 'start': 17,
, 'end': 25},
, {'entity': 'B-location',
, 'score': 0.65523505,
, 'index': 13,
, 'word': 'san',
, 'start': 80,
, 'end': 83},
, {'entity': 'B-location',
, 'score': 0.4668663,
, 'index': 14,
, 'word': 'francisco',
, 'start': 84,
, 'end': 93}] 如果您愿意，也可以手动复现 pipeline 的结果：
对文本进行分词并返回 PyTorch 张量：
将输入传递给模型并返回 logits：
获取概率最高的类别，并使用模型的 id2label 映射将其转换为文本标签：
['O', , 'O', , 'B-location', , 'I-location', , 'B-group', , 'O', , 'O', , 'O', , 'O', , 'O', , 'O', , 'O', , 'O', , 'B-location', , 'B-location', , 'O', , 'O']