本文介绍了一种新的数据集PubMedQA,旨在使用是/否/可能回答生物医学研究问题,需要进行复杂的定量推理来解决任务。PubMedQA具有大量的自动收集实例,以及生物医学领域最大规模的专家注释的是/否/可能问题。我们使用BioBERT的多阶段微调和长答案作为额外的监督提供了强大的基线,但仍远不如单个人的表现好。未来还有几个有趣的方向可以在PubMedQA上探索,例如:(1)大约21%的PubMedQA上下文没有自然语言数字描述,因此如何正确处理这些数字值得研究;(2)我们使用二进制BoW统计预测作为长答案的简单演示。学习更难但更具信息性的辅助任务,如长答案生成,可能会带来进一步的改进。PubMedQA的文章偏向于临床研究相关主题,因此PubMedQA有助于支持以证据为基础的医学,该医学寻求基于高质量临床研究的证据来做出临床决策。总的来说,PubMedQA可以作为测试机器阅读理解模型科学推理能力的基准。

翻译并总结:We present PubMedQA a novel dataset aimedat biomedical research question answering usingyesnomaybe where complex quantitative reasoning is required to solve the task PubMedQAhas substantial aut

原文地址: https://www.cveoy.top/t/topic/eCQ8 著作权归作者所有。请勿转载和采集!

免费AI点我,无需注册和登录