经过对多个模型预测依赖证据的评估，发现深度学习模型提供的证据合理性偏弱。为进一步提高证据的合理性，TrustAI提供了基于证据指导的模型增强方案（Jayaram etc. 2021），即标注少量证据数据，通过联合学习原始任务和证据学习任务，用证据学习目标指导模型依赖合理的证据进行预测，提升模型可解释性。
实验基于ERNIE-2.0-EN-Base在英文情感分析SST数据集上微调得到基线模型，然后选择1000条训练数据进行证据人工标注，并基于这1000条数据进行证据学习。最终，在500条标有证据的验证数据上进行效果评估。评估指标除了模型预测准确率外，还包括可解释评估指标，即证据的合理性、充分性和完备性。
我们实验中使用数据可通过如下命令下载：
# 下载样例数据，每个文件仅包含两条样例数据，开发者可根据样例数据的格式自行标注证据数据
wget --no-check-certificate https://trustai.bj.bcebos.com/application_data/rationale_data.tar && tar xf rationale_data.ta && rm rationale_data.ta数据下载后，通过train.py进行模型训练，该训练过程引入了证据学习目标，指导模型依赖合理的证据进行预测。
python -u train.py --dataset_dir ./data --train_file train.tsv --dev_file dev.tsv --num_classes 2 --save_dir ./maw --use_maw
# user_maw表示是否使用证据增强模型效果实验结果如下表，在加入证据指导后，模型预测效果略有提升，准确率提升0.5%；模型可解释性提升明显：证据合理性提升5.0%、充分性降低0.185（该指标越低越好）、完备性提升0.044。
| 数据集 | 准确率 | 合理性 | 充分性 | 完备性 |
|---|---|---|---|---|
| base | 93.5% | 26.1% | 0.367 | 0.118 |
| base + maw loss | 94.0% | 31.1% | 0.182 | 0.162 |
注：以上结果均为3次实验的平均值。