概率计算

Hi，欢迎来到”一点统计”学习大本营。点击上方蓝字关注，更多统计、科研干货等你来挖掘！ 今日分享台湾60年代歌手姚苏蓉的经典情歌《情人的眼泪》。 预测模型的评价，我们在前述推文中已反复推荐过，即要进行多维评价，例如区分度、校准度、DCA曲线等。今天，主要和大家分享关于校准度分析相关知识。校准度用于对预测模型的概率进行评价，反映了实际概率与预测概率之间的接近程度。在往期推文中已有简要概述：。 那么，校准度评价到底有多少种常用的评估方式？概率校准不好怎么办？有没有推荐阅读的文献？今天统统为大家解答！ 预测模型校准度评价 方式1：Brier score Brier score衡量了预测概率与实际概率之间的差异，取值范围在0-1之间，数值越小表示校准度越好。例如在下面的文献中，作者采用Brier得分对所构建模型进行评价，我们发现模型在区分D和A组别的时候，其Brier score最低，校准结果最理想。 文献来源：Shaowu Lin, Yafei Wu, Lingxiao He & Ya Fang(2022)Prediction of depressive symptoms onset and long-term trajectories in home-based older adults using machine learning techniques,Aging & Mental Health 方式2：校准曲线（intercept、slope） 该方式通过绘制校准曲线，并且计算校准曲线的截距和斜率，以此衡量校准情况。具体而言，在校准曲线中，如果曲线越接近对角线，说明实际概率和预测概率越接近，校准越理想。注意：在有些文献中校准截距用intercept表示，而有些用calibration-in-the-large表示。斜率一般用slope表示（截距反映了预测概率平均水平和实际概率平均水平之间的差距）。 参考文献：Steyerberg E W , Vergouwe Y ....