LARGE LANGUAGE MULTIMODAL MODELS FOR 5-YEAR CHRONIC DISEASE COHORT PREDICTION USING EHR DATA

本文是LLM系列文章，针对《LARGE LANGUAGE MULTIMODAL MODELS FOR 5-YEAR CHRONIC DISEASE COHORT PREDICTION USING EHR DATA》的翻译。

摘要

糖尿病等慢性疾病是全球发病率和死亡率的主要原因。已经尝试在诊断中使用各种深度学习模型进行大量研究。然而，以前的大多数研究都有一定的局限性，包括使用公开的数据集（如MIMIC）和不平衡数据。在本研究中，我们从台湾医院数据库中收集了五年电子健康记录（EHR），包括1420596份临床笔记、387392份实验室检测结果和1505多个实验室检测项目，重点研究预训练大语言模型。我们提出了一种新的大型语言多模态模型（LLMM）框架，该框架结合了来自临床笔记和实验室测试结果的多模态数据，用于预测慢性病风险。我们的方法结合了文本嵌入编码器和多头注意力层来学习实验室测试值，利用深度神经网络（DNN）模块将血液特征与慢性病语义合并到一个潜在空间中。在我们的实验中，我们观察到，当与注意力融合相结合时，clinicalBERT和PubMed BERT在多类慢性病和糖尿病预测中的准确率可以达到73%。通过将实验室测试值转换为文本描述并使用Flan T-5模型，我们实现了76%的ROC曲线下面积（AUROC），证明了利用数字文本数据在语言模