解放军医学杂志

变量	描述	缺失率(%)	离群点处理方法
平均动脉压	生命体征	0.033	排除0及负值
收缩压	生命体征	0.034	排除0及负值
舒张压	生命体征	0.034	排除0及负值
体温	生命体征	0.004	–
呼吸频率	生命体征	0.0002	≥50次/min，≤0次/min
吸入氧浓度	生命体征	0.204	≥1.00，≤0.21
外周灌注指数	生命体征	0.004	>50
中心静脉压	生命体征	0.250	负值
脉搏血氧饱和度	生命体征	0.001	≥1.00，≤0
心率	生命体征	0.0002	≤0次/min
白细胞	实验室指标	0.581	–
中性粒细胞比例	实验室指标	0.583	≤0%
血红蛋白	实验室指标	0.581	–
血小板计数	实验室指标	0.581	–
肌酐	实验室指标	0.675	–
总胆红素	实验室指标	0.725	–
动脉血氧分压	血气分析	0.074	–
动脉血二氧化碳分压	血气分析	0.074	–
剰余碱	血气分析	0.096	–
pH值	血气分析	0.074	≤6.7或≥7.8
血乳酸	血气分析	0.074	≥30 mmol/L，≤0 mmol/L
性别	人群统计	–	–
年龄	人群统计	–	–
体重	人群统计	–	–
时间段区间	每4 h一个分层	–	–
液体出入量差值	出量－入量–	>3000 ml或<–3000 ml
患者结局	生存或死亡	–	–

变量	描述	缺失率(%)	离群点处理方法
平均动脉压	生命体征	0.033	排除0及负值
收缩压	生命体征	0.034	排除0及负值
舒张压	生命体征	0.034	排除0及负值
体温	生命体征	0.004	–
呼吸频率	生命体征	0.0002	≥50次/min，≤0次/min
吸入氧浓度	生命体征	0.204	≥1.00，≤0.21
外周灌注指数	生命体征	0.004	>50
中心静脉压	生命体征	0.250	负值
脉搏血氧饱和度	生命体征	0.001	≥1.00，≤0
心率	生命体征	0.0002	≤0次/min
白细胞	实验室指标	0.581	–
中性粒细胞比例	实验室指标	0.583	≤0%
血红蛋白	实验室指标	0.581	–
血小板计数	实验室指标	0.581	–
肌酐	实验室指标	0.675	–
总胆红素	实验室指标	0.725	–
动脉血氧分压	血气分析	0.074	–
动脉血二氧化碳分压	血气分析	0.074	–
剰余碱	血气分析	0.096	–
pH值	血气分析	0.074	≤6.7或≥7.8
血乳酸	血气分析	0.074	≥30 mmol/L，≤0 mmol/L
性别	人群统计	–	–
年龄	人群统计	–	–
体重	人群统计	–	–
时间段区间	每4 h一个分层	–	–
液体出入量差值	出量－入量–	>3000 ml或<–3000 ml
患者结局	生存或死亡	–	–

特征指标	训练集	测试集	P
平均动脉压(mmHg)	88.33(81.56, 95.57)	89.25(81.76, 97.12)	0.132
收缩压(mmHg)	131.57(120.47, 143.62)	132.91(121.83, 145.56)	0.299
舒张压(mmHg)	67.33(60.75, 74.22)	68.45(61.41, 76.00)	0.014
体温(℃)	37.00(36.50, 37.50)	37.00(36.55, 37.50)	0.296
呼吸频率(次/min)	18.08(15.86, 20.83)	18.12(15.71, 21.10)	0.452
吸入氧浓度	0.31(0.28, 0.39)	0.31(0.28, 0.39)	0.194
外周灌注指数	1.50(0.79, 2.40)	1.60(0.81, 2.63)	0.022
中心静脉压(mmHg)	8.00(6.50, 9.64)	8.00(6.33, 9.61)	0.171
脉搏血氧饱和度(%)	98.64(97.45, 99.60)	98.38(97.14, 99.29)	0.050
心率(次/min)	92.86(82.50, 103.67)	93.45(82.33, 105.00)	0.128
白细胞计数(×10⁹/L)	11.80(8.49, 16.59)	11.22(7.94, 15.47)	0.231
中性粒细胞比例(%)	86.10(80.60, 90.20)	86.20(80.46, 90.40)	0.016
血红蛋白(g/L)	96.00(86.00, 109.00)	97.00(88.00, 110.00)	0.019
血小板计数(×10⁹/L)	144.00(89.00, 208.00)	138.00(80.00, 208.00)	0.066
肌酐(mmol/L)	7.60(5.30, 12.20)	6.98(4.86, 12.29)	0.022
总胆红素(μmol/L)	16.90(11.40, 30.90)	16.70(11.20, 30.10)	0.297
血乳酸(mmol/L)	1.30(0.90, 1.83)	1.30(1.00, 2.00)	0.328
动脉血氧分压(mmHg)	92.80(79.30, 111.00)	92.91(79.50, 110.00)	0.429
动脉血二氧化碳分压(mmHg)	39.05(35.80, 42.60)	39.30(35.95, 43.10)	0.399
剩余碱(mmol/L)	3.03(0.40, 5.47)	3.17(0.60, 5.90)	0.449
pH值	7.45(7.42, 7.48)	7.45(7.41, 7.48)	0.325
年龄(岁)	62.0(48.0, 70.0)	62.0(50.0, 70.0)	0.341
体重(kg)	65.00(58.00, 75.00)	65.00(58.00, 75.00)	0.267
液体平衡量(ml)	–20.83(–90.66, 32.87)	–19.24(–90.25, 37.31)	0.421

特征指标	训练集	测试集	P
平均动脉压(mmHg)	88.33(81.56, 95.57)	89.25(81.76, 97.12)	0.132
收缩压(mmHg)	131.57(120.47, 143.62)	132.91(121.83, 145.56)	0.299
舒张压(mmHg)	67.33(60.75, 74.22)	68.45(61.41, 76.00)	0.014
体温(℃)	37.00(36.50, 37.50)	37.00(36.55, 37.50)	0.296
呼吸频率(次/min)	18.08(15.86, 20.83)	18.12(15.71, 21.10)	0.452
吸入氧浓度	0.31(0.28, 0.39)	0.31(0.28, 0.39)	0.194
外周灌注指数	1.50(0.79, 2.40)	1.60(0.81, 2.63)	0.022
中心静脉压(mmHg)	8.00(6.50, 9.64)	8.00(6.33, 9.61)	0.171
脉搏血氧饱和度(%)	98.64(97.45, 99.60)	98.38(97.14, 99.29)	0.050
心率(次/min)	92.86(82.50, 103.67)	93.45(82.33, 105.00)	0.128
白细胞计数(×10⁹/L)	11.80(8.49, 16.59)	11.22(7.94, 15.47)	0.231
中性粒细胞比例(%)	86.10(80.60, 90.20)	86.20(80.46, 90.40)	0.016
血红蛋白(g/L)	96.00(86.00, 109.00)	97.00(88.00, 110.00)	0.019
血小板计数(×10⁹/L)	144.00(89.00, 208.00)	138.00(80.00, 208.00)	0.066
肌酐(mmol/L)	7.60(5.30, 12.20)	6.98(4.86, 12.29)	0.022
总胆红素(μmol/L)	16.90(11.40, 30.90)	16.70(11.20, 30.10)	0.297
血乳酸(mmol/L)	1.30(0.90, 1.83)	1.30(1.00, 2.00)	0.328
动脉血氧分压(mmHg)	92.80(79.30, 111.00)	92.91(79.50, 110.00)	0.429
动脉血二氧化碳分压(mmHg)	39.05(35.80, 42.60)	39.30(35.95, 43.10)	0.399
剩余碱(mmol/L)	3.03(0.40, 5.47)	3.17(0.60, 5.90)	0.449
pH值	7.45(7.42, 7.48)	7.45(7.41, 7.48)	0.325
年龄(岁)	62.0(48.0, 70.0)	62.0(50.0, 70.0)	0.341
体重(kg)	65.00(58.00, 75.00)	65.00(58.00, 75.00)	0.267
液体平衡量(ml)	–20.83(–90.66, 32.87)	–19.24(–90.25, 37.31)	0.421

数据来源	迭代次数	平均回报值
原始数据	–	4.07
Q-learning模型	3000	4.05
	10 000	9.06
	20 000	10.37
	30 000	10.47

数据来源	迭代次数	平均回报值
原始数据	–	4.07
Q-learning模型	3000	4.05
	10 000	9.06
	20 000	10.37
	30 000	10.47

使用强化学习方法构建脓毒症患者精准化液体治疗预测模型

PDF下载

潘盼 ¹ , 谢菲 ¹ , 解立新 ¹^,^* , 苏龙翔 ²^,³^,^*

解放军医学杂志 | 临床研究 2022,47(6): 579-585

收起

解放军医学杂志 | 临床研究 2022, 47(6): 579-585

使用强化学习方法构建脓毒症患者精准化液体治疗预测模型

全屏

潘盼¹, 谢菲¹, 解立新¹^,^*, 苏龙翔²^,³^,^*

作者信息

¹解放军总医院呼吸与危重症医学部，北京 100091

²中国医学科学院北京协和医院重症医学科，北京 100730

³中国医学科学院北京协和医院疑难重症及罕见病国家重点实验室，北京 100730

潘盼，博士研究生，主要从事呼吸与危重症方面的临床及基础研究

通讯作者:

解立新，E-mail：xielx301@126.com;

苏龙翔，E-mail：sulongxiang@vip.163.com

Using reinforcement learning to establish a prediction model of precise fluid therapy for patients with sepsis

Pan Pan¹, Fei Xie¹, Li-Xin Xie¹^,^*, Long-Xiang Su²^,³^,^*

Affiliations

¹College of Pulmonary and Critical Care Medicine, Chinese PLA General Hospital, Beijing 100091, China

²Department of Critical Care Medicine, Peking Union Medical College Hospital,Chinese Academy of Medical Sciences, Beijing 100730, China

³Laboratory of Complex Severe and Rare Diseases, Peking Union Medical College Hospital,Chinese Academy of Medical Sciences, Beijing 100730, China

出版时间: 2022-06-28 doi: 10.11855/j.issn.0577-7402.2022.06.0579

文章导航

摘要

收起

目的采用强化学习方法构建临床上可能用于指导脓毒症患者液体治疗的预测模型，并对该模型进行评价。方法采用重症监护医学信息(MIMIC)Ⅲ数据库筛选11 913例脓毒症患者，按照8:2比例随机分为训练集与测试集。纳入26个建模特征，包括患者的24个状态特征(时间段区间、生命体征、实验室检查、血气分析指标及基本信息)、1个动作特征(液体出入量差值)，以及1个结局特征(在重症监护病房内的结局)。使用SARSA模型学习训练集的数据规律，得到回报值与病死率的关系，以评价回报值设定是否合理。基于Q-learning深度学习模型(DQN)学习测试集状态与行为的关系，预测患者液体平衡情况，并比较强化学习的结果与患者实际结局，验证模型预测的液体治疗及实际治疗一致及不一致时对预后的影响。结果根据动作特征类别分布，将液体出入量差值大小划分为5个区间(–3000~–239.40 ml、–239.39~–1.94 ml、–1.93~160.00 ml、160.01~363.59 ml、363.58~3000 ml)。采用SARSA模型计算训练集，结果显示回报越高，病死率越低。DQN模型显示，液体出入量差值过高或过低均造成病死率增高，且出入量差值低(即液体大量正平衡)比出入量差值高(即液体大量负平衡)的患者病死率更高。使用Doubly robust estimator评估测试集得到的DQN模型平均预期回报值显示模型的稳定性良好(Q-learning迭代次数>20 000)。临床验证结果显示，模型预测脱水与实际脱水相符的亚组患者病死率明显低于其他亚组(P<0.05)。结论使用强化学习方法构建了一种可能指导脓毒症患者液体治疗的预测模型，该模型能较准确地预测液体治疗的方向，且预测脱水治疗而实际也进行了脱水治疗的患者预后更好。

关键词

脓毒症 / 液体治疗 / 强化学习 / 预后 / 预测模型

Abstract

收起

Objective To explore a possible solution in clinical practice of fluid therapy for patients with sepsis by reinforcement learning method. Methods A total of 11 913 patients with sepsis were screened by using the Medical Information Mark for Intensive Care (MIMIC) Ⅲ Database, and randomly divided into a training set and a test set according to the ratio of 8:2. Twenty-six features were used in modeling, including 24 state features of patients (bloc, vital signs, laboratory tests, blood gas analysis index and basic information), 1 action feature (liquid inflow and outflow difference) and 1 outcome feature (outcome in ICU). Data rules of SARSA model learning training set were used to get the relationship between return rewards and mortality, so as to evaluate whether the return rewards were reasonably set. Deep Q-learning (DQN), a deep learning model based on Q-learning,models the relationship between the state and behavior of the test set, predicts the patients' fluid balance, and compares the results of reinforcement learning and the actual outcomes of patients, which further proved the different effects of predicted liquid therapy and actual therapy on prognosis. Results According to the behavior category distribution, the differences of liquid inflow and outflow were divided into 5 intervals (–3000 to –239.40 ml, –239.39 to –1.94 ml, –1.93 to 160.00 ml, 160.01 to 363.58 ml, and 363.59 to 3000 ml). The SARSA model calculated the training data set, results showed that the higher the Q (s, a) return, the lower the mortality rate. The DQN model suggested that both too high and too low of the difference between the liquid input and output volume may increase the case mortality, and the mortality of patients is higher in low difference of inflow and outflow than in high difference of inflow and outflow volume. Using Doubly robust estimator to evaluate the DQN model average expected return of the test set showed the stability of the model (Q-learning iteration number >20 000). The use of validation set hinted that the mortality was obvious lower in the subgroups predicted dehydration consistent with the reality than in the other three subgroups, indicating that the model can be used in actual clinical verification. Conclusion A predictive model for possibly guiding the fluid therapy on patients with sepsis is proposed using the reinforcement learning method, which can accurately predict the direction of liquid therapy,patients got a better prognosis by using the model predicted dehydration treatment and dehydration was actually carried out.

Key words

sepsis / fluid therapy / reinforcement learning / prognosis / predictive model

引用本文

潘盼, 谢菲, 解立新, 苏龙翔. 使用强化学习方法构建脓毒症患者精准化液体治疗预测模型. 解放军医学杂志, 2022 , 47 (6) : 579 -585 . DOI: 10.11855/j.issn.0577-7402.2022.06.0579

Pan Pan, Fei Xie, Li-Xin Xie, Long-Xiang Su. Using reinforcement learning to establish a prediction model of precise fluid therapy for patients with sepsis[J]. Medical Journal of Chinese People’s Liberation Army, 2022 , 47 (6) : 579 -585 . DOI: 10.11855/j.issn.0577-7402.2022.06.0579

正文

收起

液体复苏是重症患者的基本治疗措施，但越来越多的临床研究证实，不恰当的液体输注可能导致容量超负荷，而液体超负荷是造成重症患者残疾和死亡的独立危险因素^[1-4]。在脓毒症的早期治疗中，为优化器官灌注，应及时进行液体治疗，但不提倡非限制性液体输注或液体大量正平衡。有研究表明，脓毒症治疗期间的液体负平衡可改善患者预后^[5]，然而不合适的液体输注策略有可能导致治疗失败；如何对重症患者进行精确的容量管理是临床医师面临的难题^[6]。在脓毒症的不同阶段，补液与脱水应如何选择，除了依据传统的Frank-Starling定律、Guyton原理、血流动力学理论及个人经验，最近提出的ROSE复苏理论(包括复苏期、优化期、稳定期及脱水期)可能成为脓毒症液体复苏的指导方法^[7]，然而在临床实践中，仍无法对其进行清晰明确的分期。近年来，大数据机器学习分析在医疗行业中的应用日益广泛，借助大数据方法分析相关医疗数据，可以比较各项干预措施，为临床决策提供信息支撑，从而有效解决过度治疗或治疗不足的问题。本研究尝试利用大数据深度学习的方法，提出脓毒症液体复苏不同阶段的治疗建议，旨在为临床辅助决策提供借鉴。

1 资料与方法

收起

1.1 数据来源及入组标准

使用重症监护医学信息(Medical Information Mark for Intensive Care，MIMIC)Ⅲ数据库筛选脓毒症患者的数据。脓毒症的诊断标准采用Sepsis 3.0，即在感染基础上合并器官功能不全，序贯器官衰竭评分(sequential organ failure assessment，SOFA)≥2分^[8]。感染的筛选标准为：提取患者的抗生素使用时间及病原学样本留取时间，如使用抗生素时间在前，则病原学检查应在开始使用抗生素的24 h内进行；如病原学检查在前，则应在病原学检查后72 h内使用抗生素。收集患者资料(包括基本信息、床旁监护仪收集的生命体征、实验室检查数据、微生物检查结果、抗生素使用情况等)，根据液体入量与出量计算总液体平衡量。

1.2 数据收集及清洗策略

根据Sepsis 3.0标准，共筛选出脓毒症患者11 913例。选择诊断脓毒症后72 h作为观察的时间窗，对上述患者从入ICU开始，每4 h提取1次数据，定义为1个时间段区间(bloc)，共分为18个时间段。如患者在72 h内转出ICU或死亡，则取其在ICU最后一刻的指标作为实测值；如在某时间段内多次测量某指标，则取其在该时段中的平均值。将患者在ICU内生存或死亡作为最终结局变量。由于实验室检查指标无需频繁测量，因此某时段的“缺失值”采用前向填补方法，选择缺失率在30%以下的其他特征，采用最邻近节点算法(K-nearest neighbor，KNN)填补缺失值。最终用于建模的特征有27个，包括25个状态特征(bloc、生命体征、实验室检查，血气分析指标及基本信息等)，1个动作特征(液体出入量差值)，以及1个结局特征(患者在ICU内的结局)。根据入住ICU的时长不同，每例患者最多可产生18条数据，11 913例患者的总数据为113 548条。数据筛选策略、所用特征值及对部分异常值的处理方法见图1、表1。

1.3 状态、行为及回报

(1)状态，每条数据是一组状态，指每例患者每个时间段对应的除出入量差值及结局以外的25个特征。(2)行为，指在某状态下需要给予的液体量，即出入量差值；行为按出入量差值的20%、40%、60%、80%划分为5个区间，分别为≤–239.40 ml、–239.39~–1.94 ml、–1.93~160.00 ml、160.01~363.58 ml、>363.58 ml。(3)回报，指治疗结果的好坏，回报值根据每例患者最后时刻的状态进行判断，若最终存活，则回报值为15，否则为–15；其余时刻的回报值均为0。

1.4 算法选择

将患者按8:2的比例随机划分为训练集与测试集。使用SARSA及Q-learning方法进行算法选择，具体方法及推导过程参考附件1~4。

1.5 模型验证

在训练集与测试集上，分别将不同类型的脱水补液预测情况与实际情况及预后进行比较。将预测值与实际值的5分类出入量按脱水或补液划分为两类，即原始的分类0、1、2对应新的分类0，表示脱水；原始的分类3、4对应新的分类1，表示补液。患者实际的脱水及补液信息来自临床MIMIC Ⅲ数据库记录，统计模型预测结果与患者实际液体平衡量的4种组合的死亡患者占比，比较预测方案与实际补液方式一致及不一致情况下患者的实际病死率。

1.6 统计学处理

使用SPSS 22.0软件对纳入的25个建模特征进行统计学分析及描述。不符合正态分布或方差不齐的计量资料以M(Q₁，Q₃)表示，比较采用秩和检验。计数资料以例(%)表示，比较采用χ²检验。由于本研究样本量较大，取P<0.01为差异有统计学意义。

2 结果

收起

2.1 入组数据的一般描述

训练与测试集的25个特征指标比较差异无统计学意义(P>0.01，表2)，表明两个数据集来自同一样本。

2.2 不同时间段实际液体平衡量与患者病死率的关系

将患者按照4 h 一个时间段分成18个区段，分析脓毒症患者每个时间段液体平衡量(出量–入量)与病死率的关系，结果呈现液体负平衡越多，患者病死率越低的趋势(图2)。

2.3 SARSA预测病死率与预期回报值的关系

在训练集数据中，预期回报值越高，病死率越低(图3)，表明本研究预期回报值的算法设计合理。

2.4 Q-learning预测液体平衡差异与病死率的关系

测试集上出入量差值与病死率的关系如图4所示。结果显示，模型预测值与实际出入量越接近，病死率越低，该模型支持判断医师液体治疗决策的正确性；入量过高或过低均会导致不良预后，即模型预测为脱水治疗但临床实际采用液体输入治疗时，预测值与实际值相差越大，患者病死率越高。

2.5 模型评估

使用Doubly robust estimator计算测试集Q-learning模型的平均预期回报值与反复进行模型计算后的平均预期回报值。由表3可见，随训练次数增加，模型的平均回报值不断升高，起始提升幅度较大，而当训练次数由20 000次增加到30 000次时，相比前10 000次训练，平均回报值的提升有限，再继续训练，回报值的提升将趋于稳定，且存在过拟合的风险，因此选用训练30 000次的模型作为最终结果。

2.6 临床效果验证

验证结果显示，无论使用训练集还是验证集，在预测脱水与实际脱水情况一致的情况下，患者病死率最低，与其他患者比较差异有统计学意义(P<0.05)，即预测值与实际值趋于一致时患者病死率较低(图5)。在预测值与实际值不一致的情况下，预测为脱水而实际给予补液治疗造成的不良结局比预测为补液而实际进行脱水治疗造成的不良结局更严重，前者的病死率高于后者。

3 讨论

收起

液体过负荷与重症脓毒性休克和(或)急性呼吸窘迫综合征(acute respiratory distress syndrme，ARDS)患者的预后相关，可造成器官水肿及功能障碍，最终影响发病率及病死率。液体疗法被认为是一把双刃剑，目前不恰当或过多输液导致的不良反应越来越被人们所认识。Alsous等^[9]于2000年进行的一项回顾性队列研究提示，脓毒性休克患者在最初进入ICU治疗的72 h内，维持至少1 d的液体负平衡能获得更好的预后[生存风险率为5.0；95%可信区间(95% confidence interval，95%CI)为2.3~10.9，P<0.001]。2006年，ARDS网络的液体及导管治疗试验结果显示，液体负平衡虽然对病死率无影响，但能明显缩短重症患者的机械通气时间及ICU住院时间^[10]。近年来已有较多研究从循证医学的角度探讨脓毒症患者液体平衡与病死率的关系，发现脓毒症患者液体正平衡存在一些弊端^[1-4]。最近一项涉及重症患儿液体平衡与预后关系的系统性综述表明，重症患儿初始复苏后可能发生液体积聚并进展为液体超负荷，而后者可导致治疗更复杂，加重临床不良结局，且可能导致患者病死率升高^[11]。在脓毒症患者的实际治疗中，要警惕液体过负荷导致的器官再损伤，且需要使用更多方法对液体治疗进行辅助决策。本研究使用SARSA模型得到一个液体治疗量与患者病死率的关系方程，使用Q-learning模型计算并使用验证集进行效果验证，结果表明，模型预测值与实际出入量越接近，患者病死率越低，而出入量过高或过低均会导致不良临床结局，入量明显大于出量的患者病死率更高；预测脱水而实际也给予脱水治疗的患者预后较好，预测脱水而实际给予补液的患者预后最差。因此，使用深度学习方法能较准确地预测患者液体治疗的方向，且与实际治疗结果接近，从而可准确地指导治疗。

严重感染及脓毒性休克患者在入住ICU第1天输注的液体量往往多于拯救脓毒症运动指南推荐的剂量(30 ml/kg)。入住ICU第1天输注大于5 L液体与死亡风险明显增加、住院成本明显升高有关^[12]。Vincent和de Backer^[7]对休克管理提出了一个概念模型，针对重症患者治疗期间的液体管理，将休克治疗分为4期：(1)复苏期，目标是达到可接受的足以维持生命的最低血压水平；(2)优化期，目标是增加心排血量，达到机体的预期要求；(3)稳定期，关注器官支持及避免并发症；(4)降阶期，患者应逐渐脱离ICU的干预措施。该模型还强调了液体降阶梯治疗的必要性。Malbrain等^[13]在此基础上讨论了不同的液体管理策略，包括早期充分的目标导向液体管理、晚期保守液体管理及晚期目标导向液体去除，同时提出了液体疗法的“4D”概念，即药物(drug)、剂量(dosing)、持续时间(duration)及降阶梯(de-escalation)。在对脓毒性休克患者进行治疗时，应考虑4个阶段的液体疗法，认识到何时开始静脉输液、何时停止静脉输液、何时开始反向复苏或积极排出液体，以及何时停止反向复苏，以满足4个阶段的目标。但目前尚无清晰的标准说明应该如何更加精确地对患者实施液体治疗。最近研究表明，在ICU中实现液体负平衡与90 d病死率降低有关，且较早获得液体负平衡也与病死率降低有关，液体负平衡值增加1 L，病死率就会呈下降趋势^[11]，说明给予液体降阶梯治疗且早期识别降阶梯阶段具有重要意义。本研究使用的Q-learning模型能很好地为临床提供液体治疗的方向，指导临床第一时间调整液体管理策略，避免液体不足或液体过负荷。

在治疗中应时刻牢记避免过度脱水，脱水的目标是移除组织间隙中的过多容量，虽然会造成血管内液体减少，但当组织间隙的液体回吸收速率(血浆再充盈速率)足以预防低血容量时，就不会发生低血压。但液体回吸收速率低至多少才会发生低血压，目前尚未完全清楚。有研究表明，在严重的液体负平衡患者中，增加的液体摄入量及尿量均与医院病死率降低有关；然而，相比轻微的液体负平衡，实现更多的负平衡与病死率降低并不相关^[14]。本研究模型除给予一定液体治疗方向外，也显示虽然可以按照模型提示的方向进行治疗，但过多的脱水与补液同样会带来不好的效果，在使用过程中需注意。

本研究的局限性：(1)在MIMIC Ⅲ数据库基础上完成建模及验证过程，是否适用于其他数据背景及数据库尚待进一步证实；(2)仅适用于脓毒症患者，可能不适用于ICU内所有人群；(3)本算法仅为脓毒症患者的液体治疗提供方向，而无法精确地预测输液量及输液速度；(4)纳入的是较重要且从MIMIC Ⅲ数据库较易获取的指标，尚不清楚纳入更多指标参与建模是否能获得更稳定的模型。因此，可以将该模型用于治疗脓毒症患者的辅助决策，但最终是否按照强化学习的策略进行治疗，取决于患者对临床治疗的反应以及床旁实际情况。

综上所述，本研究利用深度学习方法提出了一种可能指导ICU脓毒症患者液体治疗的预测模型，使用该模型可以较准确地预测患者液体治疗的方向，从而为重症患者的临床治疗决策提供帮助。

基金

收起

北京市科学技术协会青年人才托举工程(BYESS2022035)
解放军总医院第八医学中心院内重点课题(2021ZD001)
中国博士后科学基金特别资助项目(2021T140794)

参考文献

收起

文献

收起

参考文献引证文献

排序方式：

[1]

Acheampong

, Vincent

. A positive fluid balance is an independent prognostic factor in patients with sepsis[J]. Crit Care, 2015, 19(1): 251.

[2]

Boyd

, Forbes

, Nakada

, et al. Fluid resuscitation in septic shock: a positive fluid balance and elevated central venous pressure are associated with increased mortality[J]. Crit Care Med, 2011, 39(2): 259-265.

[3]

Smith

, Perner

. Higher vs. lower fluid volume for septic shock: clinical characteristics and outcome in unselected patients in a prospective, multicenter cohort[J]. Crit Care, 2012, 16(3):R76.

[4]

Kelm

, Perrin

, Cartin-Ceba

, et al. Fluid overload in patients with severe sepsis and septic shock treated with early goal-directed therapy is associated with increased acute need for fluid-related medical interventions and hospital death[J]. Shock, 2015, 43(1): 68-73.

[5]

Dhondup

, Tien

, Marquez

, et al. Association of negative fluid balance during the de-escalation phase of sepsis management with mortality: a cohort study[J]. J Crit Care, 2020, 55: 16-21.

[6]

Besen

, Taniguchi

. Negative fluid balance in sepsis: when and how?[J]. Shock, 2017, 47(1S Suppl 1): 35-40.

[7]

Vincent

, de Backer

. Circulatory shock[J]. N Engl J Med, 2013, 369(18): 1726-1734.

[8]

Singer

, Deutschman

, Seymour

, et al. The third international consensus definitions for sepsis and septic shock(Sepsis-3)[J]. JAMA, 2016, 315(8): 801-810.

[9]

Alsous

, Khamiees

, DeGirolamo

, et al. Negative fluid balance predicts survival in patients with septic shock: a retrospective pilot study[J]. Chest, 2000, 117(6): 1749-1754.

[10]

Wiedemann

, Wheeler

, Bernard

, et al. Comparison of two fluid-management strategies in acute lung injury[J]. N Engl J Med, 2006, 354(24): 2564-2575.

[11]

Alobaidi

, Morgan

, Basu

, et al. Association between fluid balance and outcomes in critically ill children: a systematic review and meta-analysis[J]. JAMA Pediatr, 2018, 172(3): 257-268.

[12]

Marik

, Linde-Zwirble

, Bittner

, et al. Fluid administration in severe sepsis and septic shock, patterns and outcomes: an analysis of a large national database[J]. Intensive Care Med, 2017, 43(5): 625-632.

[13]

Malbrain

, van Regenmortel

, Saugel

, et al. Principles of fluid management and stewardship in septic shock: it is time to consider the four D's and the four phases of fluid therapy[J]. Ann Intensive Care, 2018, 8(1): 66.

[14]

Shen

, Huang

, Zhang

. Association between fluid intake and mortality in critically ill patients with negative fluid balance:a retrospective cohort study[J]. Crit Care, 2017, 21(1): 104.

2022年第47卷第6期

PDF下载

117

引用本文

BibTeX

文章信息

doi: 10.11855/j.issn.0577-7402.2022.06.0579

接收时间：2021-06-29
首发时间：2025-12-17
出版时间：2022-06-28

补充材料

相关文章

文章信息

作者

出版历史

收稿日期：2021-06-29
录用日期：2021-10-29

基金

Young Elite Scientist Sponsorship Program by Bast of Beijing Association for Science and Technology(BYESS2022035)

北京市科学技术协会青年人才托举工程(BYESS2022035)

Key Subject in the Eighth Medical Center of Chinese PLA General Hospital(2021ZD001)

解放军总医院第八医学中心院内重点课题(2021ZD001)

China Postdoctoral Science Foundation(2021T140794)

中国博士后科学基金特别资助项目(2021T140794)

作者信息

¹解放军总医院呼吸与危重症医学部，北京 100091

²中国医学科学院北京协和医院重症医学科，北京 100730

³中国医学科学院北京协和医院疑难重症及罕见病国家重点实验室，北京 100730

通讯作者:

解立新，E-mail：xielx301@126.com;

苏龙翔，E-mail：sulongxiang@vip.163.com

参考文献

分享链接

https://castjournals.cast.org.cn/joweb/jfjyxzz/CN/10.11855/j.issn.0577-7402.2022.06.0579

分享至

全文二维码

扫描看全文

引用本文

BibTeX

本文的引用情况

2种不同金属材料的力学参数

科 Family	属数 Number of genus	种数 Number of species	占总种数比例 Percentage of total species (%)	属 Genus	种数 Number of species	占总种数比例 Percentage of total species (%)
鹅膏菌科Amanitaceae	2	11	5.26	鹅膏菌属 Amanita	10	4.78
小菇科 Mycenaceae	2	12	5.74	丝盖伞属 Inocybe	5	2.39
多孔菌科 Polyporaceae	8	14	6.70	蜡蘑属 Laccaria	5	2.39
红菇科 Russulaceae	3	23	11.00	小皮伞属 Marasmius	6	2.87
				小菇属 Mycena	11	5.26
				光柄菇属 Pluteus	5	2.39
				红菇属 Russula	17	8.13
				栓菌属 Trametes	5	2.39

关闭全屏

BibTeX
EndNote
RefWorks
TxT

变量	描述	缺失率(%)	离群点处理方法
平均动脉压	生命体征	0.033	排除0及负值
收缩压	生命体征	0.034	排除0及负值
舒张压	生命体征	0.034	排除0及负值
体温	生命体征	0.004	–
呼吸频率	生命体征	0.0002	≥50次/min，≤0次/min
吸入氧浓度	生命体征	0.204	≥1.00，≤0.21
外周灌注指数	生命体征	0.004	>50
中心静脉压	生命体征	0.250	负值
脉搏血氧饱和度	生命体征	0.001	≥1.00，≤0
心率	生命体征	0.0002	≤0次/min
白细胞	实验室指标	0.581	–
中性粒细胞比例	实验室指标	0.583	≤0%
血红蛋白	实验室指标	0.581	–
血小板计数	实验室指标	0.581	–
肌酐	实验室指标	0.675	–
总胆红素	实验室指标	0.725	–
动脉血氧分压	血气分析	0.074	–
动脉血二氧化碳分压	血气分析	0.074	–
剰余碱	血气分析	0.096	–
pH值	血气分析	0.074	≤6.7或≥7.8
血乳酸	血气分析	0.074	≥30 mmol/L，≤0 mmol/L
性别	人群统计	–	–
年龄	人群统计	–	–
体重	人群统计	–	–
时间段区间	每4 h一个分层	–	–
液体出入量差值	出量－入量–	>3000 ml或<–3000 ml
患者结局	生存或死亡	–	–

变量

描述

缺失率(%)

离群点处理方法

平均动脉压

生命体征

0.033

排除0及负值

收缩压

生命体征

0.034

排除0及负值

舒张压

生命体征

0.034

排除0及负值

体温

生命体征

0.004

–

呼吸频率

生命体征

0.0002

≥50次/min，≤0次/min

吸入氧浓度

生命体征

0.204

≥1.00，≤0.21

外周灌注指数

生命体征

0.004

>50

中心静脉压

生命体征

0.250

负值

脉搏血氧饱和度

生命体征

0.001

≥1.00，≤0

心率

生命体征

0.0002

≤0次/min

白细胞

实验室指标

0.581

–

中性粒细胞比例

实验室指标

0.583

≤0%

血红蛋白

实验室指标

0.581

–

血小板计数

实验室指标

0.581

–

肌酐

实验室指标

0.675

–

总胆红素

实验室指标

0.725

–

动脉血氧分压

血气分析

0.074

–

动脉血二氧化碳分压

血气分析

0.074

–

剰余碱

血气分析

0.096

–

pH值

血气分析

0.074

≤6.7或≥7.8

血乳酸

血气分析

0.074

≥30 mmol/L，≤0 mmol/L

性别

人群统计

–

年龄

人群统计

–

体重

人群统计

–

时间段区间

每4 h一个分层

–

液体出入量差值

出量－入量–

>3000 ml或<–3000 ml

患者结局

生存或死亡

–

特征指标	训练集	测试集	P
平均动脉压(mmHg)	88.33(81.56, 95.57)	89.25(81.76, 97.12)	0.132
收缩压(mmHg)	131.57(120.47, 143.62)	132.91(121.83, 145.56)	0.299
舒张压(mmHg)	67.33(60.75, 74.22)	68.45(61.41, 76.00)	0.014
体温(℃)	37.00(36.50, 37.50)	37.00(36.55, 37.50)	0.296
呼吸频率(次/min)	18.08(15.86, 20.83)	18.12(15.71, 21.10)	0.452
吸入氧浓度	0.31(0.28, 0.39)	0.31(0.28, 0.39)	0.194
外周灌注指数	1.50(0.79, 2.40)	1.60(0.81, 2.63)	0.022
中心静脉压(mmHg)	8.00(6.50, 9.64)	8.00(6.33, 9.61)	0.171
脉搏血氧饱和度(%)	98.64(97.45, 99.60)	98.38(97.14, 99.29)	0.050
心率(次/min)	92.86(82.50, 103.67)	93.45(82.33, 105.00)	0.128
白细胞计数(×10⁹/L)	11.80(8.49, 16.59)	11.22(7.94, 15.47)	0.231
中性粒细胞比例(%)	86.10(80.60, 90.20)	86.20(80.46, 90.40)	0.016
血红蛋白(g/L)	96.00(86.00, 109.00)	97.00(88.00, 110.00)	0.019
血小板计数(×10⁹/L)	144.00(89.00, 208.00)	138.00(80.00, 208.00)	0.066
肌酐(mmol/L)	7.60(5.30, 12.20)	6.98(4.86, 12.29)	0.022
总胆红素(μmol/L)	16.90(11.40, 30.90)	16.70(11.20, 30.10)	0.297
血乳酸(mmol/L)	1.30(0.90, 1.83)	1.30(1.00, 2.00)	0.328
动脉血氧分压(mmHg)	92.80(79.30, 111.00)	92.91(79.50, 110.00)	0.429
动脉血二氧化碳分压(mmHg)	39.05(35.80, 42.60)	39.30(35.95, 43.10)	0.399
剩余碱(mmol/L)	3.03(0.40, 5.47)	3.17(0.60, 5.90)	0.449
pH值	7.45(7.42, 7.48)	7.45(7.41, 7.48)	0.325
年龄(岁)	62.0(48.0, 70.0)	62.0(50.0, 70.0)	0.341
体重(kg)	65.00(58.00, 75.00)	65.00(58.00, 75.00)	0.267
液体平衡量(ml)	–20.83(–90.66, 32.87)	–19.24(–90.25, 37.31)	0.421

特征指标

训练集

测试集

平均动脉压(mmHg)

88.33(81.56, 95.57)

89.25(81.76, 97.12)

0.132

收缩压(mmHg)

131.57(120.47, 143.62)

132.91(121.83, 145.56)

0.299

舒张压(mmHg)

67.33(60.75, 74.22)

68.45(61.41, 76.00)

0.014

体温(℃)

37.00(36.50, 37.50)

37.00(36.55, 37.50)

0.296

呼吸频率(次/min)

18.08(15.86, 20.83)

18.12(15.71, 21.10)

0.452

吸入氧浓度

0.31(0.28, 0.39)

0.194

外周灌注指数

1.50(0.79, 2.40)

1.60(0.81, 2.63)

0.022

中心静脉压(mmHg)

8.00(6.50, 9.64)

8.00(6.33, 9.61)

0.171

脉搏血氧饱和度(%)

98.64(97.45, 99.60)

98.38(97.14, 99.29)

0.050

心率(次/min)

92.86(82.50, 103.67)

93.45(82.33, 105.00)

0.128

白细胞计数(×10⁹/L)

11.80(8.49, 16.59)

11.22(7.94, 15.47)

0.231

中性粒细胞比例(%)

86.10(80.60, 90.20)

86.20(80.46, 90.40)

0.016

血红蛋白(g/L)

96.00(86.00, 109.00)

97.00(88.00, 110.00)

0.019

血小板计数(×10⁹/L)

144.00(89.00, 208.00)

138.00(80.00, 208.00)

0.066

肌酐(mmol/L)

7.60(5.30, 12.20)

6.98(4.86, 12.29)

0.022

总胆红素(μmol/L)

16.90(11.40, 30.90)

16.70(11.20, 30.10)

0.297

血乳酸(mmol/L)

1.30(0.90, 1.83)

1.30(1.00, 2.00)

0.328

动脉血氧分压(mmHg)

92.80(79.30, 111.00)

92.91(79.50, 110.00)

0.429

动脉血二氧化碳分压(mmHg)

39.05(35.80, 42.60)

39.30(35.95, 43.10)

0.399

剩余碱(mmol/L)

3.03(0.40, 5.47)

3.17(0.60, 5.90)

0.449

pH值

7.45(7.42, 7.48)

7.45(7.41, 7.48)

0.325

年龄(岁)

62.0(48.0, 70.0)

62.0(50.0, 70.0)

0.341

体重(kg)

65.00(58.00, 75.00)

0.267

液体平衡量(ml)

–20.83(–90.66, 32.87)

–19.24(–90.25, 37.31)

0.421

数据来源	迭代次数	平均回报值
原始数据	–	4.07
Q-learning模型	3000	4.05
	10 000	9.06
	20 000	10.37
	30 000	10.47

数据来源

迭代次数

平均回报值

原始数据

–

4.07

Q-learning模型

3000

4.05

10 000

9.06

20 000

10.37

30 000

10.47