[论文阅读笔记41]关于医学的bert专题
论文1:BioBert
论文题目:BioBERT: a pre-trained biomedical language representation model for biomedical text mining
论文地址: https://arxiv.org/abs/1901.08746
项目地址: https://github.com/naver/biobert-pretrained
论文概要:Korea University, 以通用领域预训练bert为初始权重,基于Pubmed上大量医疗领域英文论文训练。在多个医疗相关下游任务中超越SOTA模型的表现。 引用:Jinhyuk Lee, Wonjin Yoon, Sungdong Kim, Donghyeon Kim, Sunkyu Kim, Chan Ho So, Jaewoo Kang, BioBERT: a pre-trained biomedical language representation model for biomedical text mining, Bioinformatics, Volume 36, Issue 4, 15 February 2020, Pages 1234–1240, https://doi.org/10.1093/bioinformatics/btz682
论文2:sciBert
论文题目:SCIBERT: A Pretrained Language Model for Scientific Text
论文地址:https://arxiv.org/abs/1903.10676
项目地址:https://github.com/allenai/scibert/
论文概要:AllenAI团队出品.基于Semantic Scholar 上 110万+ 文章训练的科学领域bert
引用: Beltagy I , Lo K , Cohan A . SciBERT: A Pretrained Language Model for Scientific Text[C]// Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP). 2019.
论文3:clinical-bert
论文题目:Publicly Available Clinical BERT Embeddings
论文地址:https://www.aclweb.org/anthology/W19-1909/
项目地址:https://github.com/EmilyAlsentzer/clinicalBERT
论文概要:出自NAACL Clinical NLP Workshop 2019.基于MIMIC-III数据库中的200万份医疗记录训练的临床领域bert.
引用:Alsentzer E , Murphy J R , Boag W , et al. Publicly Available Clinical BERT Embeddings[J]. 2019.
论文4:clinical-bert(另一团队的版本)
论文题目:ClinicalBert: Modeling Clinical Notes and Predicting Hospital Readmission
论文地址:https://arxiv.org/abs/1904.05342
项目地址: https://github.com/kexinhuang12345/clinicalBERT
论文概要:同样基于MIMIC-III数据库,但只随机选取了10万份医疗记录训练的临床领域bert.
引用:Huang K , Altosaar J , Ranganath R . ClinicalBERT: Modeling Clinical Notes and Predicting Hospital Readmission[J].2019.
论文5:BEHRT
论文题目:BEHRT:TRANSFORMER FOR ELECTRONIC HEALTH RECORDS
论文地址: https://arxiv.org/abs/1907.09538
项目地址: https://github.com/deepmedicine/BEHRT
论文概要:牛津大学,这篇论文中embedding是基于医学实体训练,而不是基于单词。
引用:Li Y , Rao S , Solares J , et al. BEHRT: Transformer for Electronic Health Records[J]. Scientific Reports, 2020, 10(1).
论文6:MC-BERT
Conceptualized Representation Learning for Chinese Biomedical Text Mining 2020
医学实体全遮盖,医学短语全遮盖
https://arxiv.org/pdf/2008.10813.pdf
https://github.com/alibabaresearch/ChineseBLUE
Ningyu Zhang, Qianghuai Jia, Kangping Yin, Liang Dong, Feng Gao, and Nengwei Hua. 2020. Conceptualized Representation Learning for Chinese Biomedical Text Mining. In WSDM ’20: , February 3–7, 2020, Houston. ACM, New York, NY, USA, 4 pages.
论文7:MT-BERT 【BlueBERT】
https://arxiv.org/pdf/2005.02799.pdf
An Empirical Study of Learning on BERT for Biomedical Text Mining
结合下游任务文本相似、关系抽取、推理、NER的多任务学习,共享BERT参数
数据集:https://arxiv.org/pdf/1906.05474.pdf
https://github.com/ncbi-nlp/BLUE_Benchmark
论文8:BERT-MK
Integrating Graph Contextualized Knowledge into Pre-trained Language Models
https://arxiv.org/pdf/1912.00147.pdf
来自于华为和中科大,其主要关注于如何将上下文有关的知识信息加入到预训练模型里。
通过知识图谱三元组学习实体表示
整合实体表示到PTM训练,将知识图谱内的信息融合到预训练模型中,指导模型参数学习
论文9:UmlsBERT
UmlsBERT: Clinical Domain Knowledge Augmentation of Contextual Embeddings Using the Unified Medical Language System Metathesaurus
论文地址:https://aclanthology.org/2021.naacl-main.139/
论文10
Self-Alignment Pretraining for Biomedical Entity Representations
论文地址:https://aclanthology.org/2021.naacl-main.334/
论文11
Are we there yet? Exploring clinical domain knowledge of BERT models
论文地址:https://aclanthology.org/2021.bionlp-1.5/
论文12
Stress Test Evaluation of Biomedical Word Embeddings
论文地址:https://aclanthology.org/2021.bionlp-1.13/
论文13:BioELECTRA
BioELECTRA:Pretrained Biomedical text Encoder using Discriminators
论文地址:https://aclanthology.org/2021.bionlp-1.16/
论文14
Improving Biomedical Pretrained Language Models with Knowledge
论文地址:https://aclanthology.org/2021.bionlp-1.20/
论文15:EntityBERT
EntityBERT: Entity-centric Masking Strategy for Model Pretraining for the Clinical Domain
论文地址:https://aclanthology.org/2021.bionlp-1.21/
论文16
ChicHealth @ MEDIQA 2021: Exploring the limits of pre-trained seq2seq models for medical summarization
论文地址:https://aclanthology.org/2021.bionlp-1.29/
论文17:PubMedBERT
Domain-Specific Language Model Pretraining for Biomedical Natural Language Processing
https://arxiv.org/pdf/2007.15779.pdf
论文18 SMedBERT
SMedBERT: A Knowledge-Enhanced Pre-trained Language Model with Structured Semantics for Medical Text Mining
https://aclanthology.org/2021.acl-long.457.pdf
https://github.com/MatNLP/SMedBERT
[论文阅读笔记41]关于医学的bert专题相关推荐
- 【论文阅读笔记】面向医学文本的实体关系抽取研究综述
面向医学文本的实体关系抽取研究综述 写在前面 深度学习方法 监督学习 基于简单的CNN模型 基于CNN模型的改进 基于RNN模型 基于注意力机制的模型 远程监督的多实例学习 分段卷积神经网络模型及改进 ...
- 2019 sample-free(样本不平衡)目标检测论文阅读笔记
点击我爱计算机视觉标星,更快获取CVML新技术 本文转载自知乎,已获作者同意转载,请勿二次转载 (原文地址:https://zhuanlan.zhihu.com/p/100052168) 背景 < ...
- 论文阅读笔记(五)——狐猴识别系统:一种便于狐猴个体识别的面部识别系统
论文阅读笔记(五)--狐猴识别系统:一种便于狐猴个体识别的面部识别系统 论文简介 论文中文翻译:狐猴识别系统:一种便于狐猴个体识别的面部识别系统 论文名称:<LemurFaceID: a fac ...
- 对抗训练-smart 论文阅读笔记
对抗训练-smart 论文阅读笔记 SMART: Robust and Efficient Fine-Tuning for Pre-trained NaturalLanguage Models thr ...
- 论文阅读笔记--Aesthetics-Driven Stereoscopic 3-D Image Recomposition With Depth Adaptation-2018
论文阅读笔记:美学引导的带有深度适应的立体3D图像重构 I.介绍 II.相关工作 A.单目(2D)图像处理 1)美学驱动的重构(Recomposition) 2)图像分割与抠图(Segment and ...
- 论文阅读笔记:Improving Attacks on Speck32 / 64 using Deep Learning
论文阅读笔记:Improving Attacks on Speck32 / 64 using Deep Learning 本文通过神经网络利用了减少轮数的 Speck 的差分性质.为此,作者对神经网络 ...
- 论文阅读笔记:Multi-view adaptive graph convolutions for graph classification
论文阅读笔记:Multi-view adaptive graph convolutions for graph classification 文章目录 论文阅读笔记:Multi-view adapti ...
- 论文阅读笔记(一)——铁饼鱼的面部识别:使用数字模型的实验方法
论文阅读笔记(一)--铁饼鱼的面部识别:使用数字模型的实验方法 论文简介 期刊情况 摘要 研究背景 正文 动物实验对象的制备 社交展示的描述 实验过程 实验1 实验2 道德声明 结果 商量 论文简介 ...
- 盲源分离与压缩感知结合-论文阅读笔记
目录 盲源分离与压缩感知结合-论文阅读笔记 欠定盲源分离基础理论 欠定盲源分离恢复算法研究 基于压缩感知的欠定混合源信号恢复算法研究 盲源分离与压缩感知结合-论文阅读笔记 今天阅读的论文主要是:&qu ...
最新文章
- 2021年春季学期-信号与系统-第四次作业参考答案-第六小题
- python之33个关键字详解_Python 中的关键字 with 详解
- 锤子剪刀布 (20)
- 聊聊高并发(二十二)解析java.util.concurrent各个组件(四) 深入理解AQS(二)
- 佐客牛排机器人餐厅_高大上!滕州这家餐厅竟然用机器人“跑堂”(图)
- 由任意二叉树的前序遍历序列和中序遍历序列求二叉树的思想方法_算法与数据结构基础 - 二叉树(Binary Tree)...
- 代码和mysql服务器编码不一致_PL/SQL Developer教程:解决oracle服务器端和客户端字符编码不一致问题...
- 小米11和vivox60买哪个?
- 苹果开场铃声 android,推荐几款免费安卓、苹果手机铃声剪辑软件?
- 【C++要笑着学】缺省参数 | 全缺省与半缺省 | 函数重载
- cygwin安装top命令
- python中msg是什么意思_MSG是什么意思?
- 电容或电感的电压_眼见不一定为实!电阻、电容和电感的实际等效模型
- 数理逻辑蕴含_(1)逻辑学(形式逻辑/数理逻辑): 基本概念
- 数学建模-对策论模型
- android 很多牛叉布局github地址(转)
- 微软teams软件_如何在Microsoft Teams中创建和管理团队
- 阿里云服务器ECS由什么组成
- 苏州地区十大有影响力的调查研究咨询公司
- ubuntu18.04下拨号上网pppoe存在多个pppd进程导致频繁断网