From 361d826fbd484cb1553245d3715bcf31045f37bc Mon Sep 17 00:00:00 2001 From: westfish Date: Thu, 13 Oct 2022 04:25:01 +0000 Subject: [PATCH 1/2] fix typos in readme.md --- examples/question_generation/unimo-text/README.md | 6 +++--- 1 file changed, 3 insertions(+), 3 deletions(-) diff --git a/examples/question_generation/unimo-text/README.md b/examples/question_generation/unimo-text/README.md index dba602072473..1f5ee5d73307 100644 --- a/examples/question_generation/unimo-text/README.md +++ b/examples/question_generation/unimo-text/README.md @@ -14,7 +14,7 @@ - [数据准备](#数据准备) - [数据加载](#数据加载) - [数据处理](#数据处理) - - [从本地文件创建数据集(可选)](#从本地文件创建数据集(可选)) + - [从本地文件创建数据集-可选](#从本地文件创建数据集-可选) - [模型训练](#模型训练) - [模型预测](#模型预测) - [模型转换部署](#模型转换部署) @@ -117,8 +117,8 @@ train_ds, dev_ds = load_dataset('dureader_qg', splits=('train', 'dev')) 问题: ``` -#### 从本地文件创建数据集(可选) -在许多情况下,我们需要使用本地数据集来训练我们的文本分类模型,本项目支持使用固定格式本地数据集文件进行训练。 +#### 从本地文件创建数据集-可选 +在许多情况下,我们需要使用本地数据集来训练我们的问题生成模型,本项目支持使用固定格式本地数据集文件进行训练。 使用本地文件,只需要在模型训练时指定`train_file` 为本地训练数据地址,`predict_file` 为本地测试数据地址即可。 本地数据集目录结构如下: From 38fcccbd86fd7817033a75d613d0493912e6666f Mon Sep 17 00:00:00 2001 From: westfish Date: Thu, 20 Oct 2022 09:07:47 +0000 Subject: [PATCH 2/2] fix bug in prediction --- examples/question_generation/unimo-text/gen_utils.py | 4 +--- 1 file changed, 1 insertion(+), 3 deletions(-) diff --git a/examples/question_generation/unimo-text/gen_utils.py b/examples/question_generation/unimo-text/gen_utils.py index 22098e7bd02f..5efa5ea619bb 100644 --- a/examples/question_generation/unimo-text/gen_utils.py +++ b/examples/question_generation/unimo-text/gen_utils.py @@ -162,9 +162,7 @@ def convert_example(example, index_list[0]) + [3] * (index_list[4] - index_list[1]) + [0] * ( index_list[6] - index_list[4]) + [1] * ( len(tokenized_example['input_ids']) - index_list[6]) - assert ('target' in example - and example['target']) or ('question' in example - and example['question']), example + if 'target' in example and example['target']: tokenized_example['target'] = example['target'] elif 'question' in example and example['question']: