在臨床試驗(yàn)影像閱片領(lǐng)域中，如同奧運(yùn)會(huì)上的裁判員決定選手成績(jī)一樣，裁判員打分是否公平、穩(wěn)定，備受大家關(guān)注，閱片質(zhì)控的重要性不言而喻。
在近期MERIT的Webinar中，我們對(duì)閱片質(zhì)控的注意事項(xiàng)進(jìn)行了深入討論，特別是一致性分析和裁判機(jī)制在獨(dú)立影像閱片的應(yīng)用。這兩個(gè)概念如同奧運(yùn)會(huì)比賽中的裁判一樣，為確保比賽結(jié)果的公正和準(zhǔn)確發(fā)揮著至關(guān)重要的作用。
一致性分析：確保評(píng)估結(jié)果的穩(wěn)定性和準(zhǔn)確性
一致性分析是評(píng)估閱片質(zhì)量的重要方法之一。與簡(jiǎn)單地比較前后兩次閱片結(jié)果的一致性不同，一致性分析需要綜合考慮多個(gè)因素，包括評(píng)估標(biāo)準(zhǔn)的準(zhǔn)確性、閱片人的專業(yè)能力以及樣本量的影響。通過(guò)排除不適合的病例并采取隨機(jī)抽樣的方法，我們能夠更準(zhǔn)確地評(píng)估閱片質(zhì)量，并確保試驗(yàn)結(jié)果的可靠性。此外，一致性分析還可以幫助識(shí)別閱片人的強(qiáng)項(xiàng)和弱項(xiàng)，為進(jìn)一步的培訓(xùn)和改進(jìn)提供指導(dǎo)。
用于一致性分析的病例，通常會(huì)考慮滿足以下幾個(gè)條件：
受試者應(yīng)當(dāng)已經(jīng)完成試驗(yàn)出組，不會(huì)收到新的影像上傳；
閱片人滿足記憶洗脫條件，即距離上次閱片結(jié)束至少4-6周；
抽取病例數(shù)量為整體受試者數(shù)量的10%，可根據(jù)試驗(yàn)樣本量大小及預(yù)算適當(dāng)調(diào)整。
一致性分析常用手段：kappa
在抗腫瘤藥物臨床實(shí)驗(yàn)中，療效評(píng)估往往不會(huì)均勻分布在CR、PR、SD、PD四個(gè)選項(xiàng)中，而會(huì)扎堆在后面的三個(gè)選項(xiàng)中，這導(dǎo)致準(zhǔn)確率指標(biāo)顯得不公平，因?yàn)闇?zhǔn)確率不考慮評(píng)估結(jié)果的權(quán)重差異。而Kappa系數(shù)考慮了這種扎堆的不平衡性，它通過(guò)計(jì)算混淆矩陣來(lái)量化這種不平衡性，并在計(jì)算過(guò)程中對(duì)扎堆的評(píng)估結(jié)果進(jìn)行懲罰，使得結(jié)果更為貼合腫瘤療效評(píng)估的實(shí)際情況。在腫瘤療效評(píng)估中，Kappa系數(shù)更能體現(xiàn)出評(píng)估結(jié)果的一致性和可靠性。
此外，Kappa系數(shù)還有一個(gè)及格線，用來(lái)衡量評(píng)估結(jié)果的一致性水平。通常將及格線分為五個(gè)等級(jí)，從完全不相關(guān)到完全一致，以幫助確定評(píng)估結(jié)果的質(zhì)量。在質(zhì)控閱片中，及格線的設(shè)置既要考慮對(duì)閱片人的質(zhì)量要求，同時(shí)也要考慮現(xiàn)實(shí)情況的可行性。
Kappa的計(jì)算，可以基于訪視點(diǎn)水平進(jìn)行，也可以基于受試者水平進(jìn)行，兩者各有優(yōu)劣，可以酌情取舍。訪視點(diǎn)水平的kappa可以反應(yīng)閱片人前后各訪視點(diǎn)評(píng)估的一致性，但也存在過(guò)分糾結(jié)于與試驗(yàn)終點(diǎn)無(wú)關(guān)差異的弊端；受試者個(gè)體水平的kappa重視一致性分析評(píng)估過(guò)程中終點(diǎn)評(píng)價(jià)是否一致，但會(huì)掩蓋一些可能存在的缺陷。
裁判機(jī)制：解決評(píng)估結(jié)果不一致的重要手段
裁判機(jī)制作為閱片質(zhì)控的另一重要手段，在評(píng)估結(jié)果不一致時(shí)發(fā)揮著關(guān)鍵作用。當(dāng)閱片人之間存在分歧時(shí)，引入第三方裁判進(jìn)行決策可以幫助解決矛盾，并確保最終的評(píng)估結(jié)果準(zhǔn)確無(wú)誤。裁判率和裁判接受率是衡量裁判機(jī)制有效性的重要指標(biāo)，需要及時(shí)監(jiān)控和分析。裁判接受率的理論期望為50%，偏離這一水平可能暗示存在一些系統(tǒng)性的偏差，需要及時(shí)糾正。
一定要注意的是，脫離樣本量（被裁判的案例數(shù)）討論裁判接受率是沒有意義的：拋10次硬幣4次正面朝上、拋100次硬幣40次正面朝上、拋1000次硬幣400次正面朝上，其“裁判接受率”都是40%，但統(tǒng)計(jì)學(xué)意義完全不同。因此，必須使用基于樣本量（被裁判的案例數(shù)）的統(tǒng)計(jì)學(xué)檢驗(yàn)方法，例如P-Chart Analysis (PCA)分析裁判接受率，進(jìn)行質(zhì)量監(jiān)督。
培訓(xùn)和監(jiān)督：提升閱片質(zhì)量的重要保障
在Webinar中，林博還強(qiáng)調(diào)了醫(yī)學(xué)團(tuán)隊(duì)的培訓(xùn)和監(jiān)督對(duì)于閱片質(zhì)控的重要性。僅有高質(zhì)量的培訓(xùn)和嚴(yán)格的監(jiān)督，才能確保閱片人準(zhǔn)確理解評(píng)估標(biāo)準(zhǔn)并正確應(yīng)用它們。定期的培訓(xùn)課程和質(zhì)量監(jiān)控活動(dòng)可以幫助閱片人不斷提升專業(yè)能力，并加強(qiáng)團(tuán)隊(duì)合作，確保閱片質(zhì)量的穩(wěn)定性和一致性。
結(jié)語(yǔ)
綜上所述，一致性分析、裁判機(jī)制以及相關(guān)的培訓(xùn)和監(jiān)督流程作為閱片質(zhì)控的重要工具，對(duì)于確保醫(yī)學(xué)研究數(shù)據(jù)的準(zhǔn)確性和可靠性具有不可替代的作用。通過(guò)全面了解和有效應(yīng)用這些方法，我們能夠更好地應(yīng)對(duì)閱片質(zhì)控中的挑戰(zhàn)，為醫(yī)學(xué)研究和臨床實(shí)踐提供更可靠的數(shù)據(jù)支持，推動(dòng)醫(yī)學(xué)科學(xué)的發(fā)展和進(jìn)步。
