CASP 2024 SR checklist 是由英國牛津大學支持的「Critical Appraisal Skills Programme (CASP)」在 2024 年更新發佈的系統性文獻回顧(Systematic Review, SR)評讀工具。
這裡有官方同意翻譯的中文版本,秒速下載。
雖然項目只有 10 項,但同時還有許多子項目,評讀起來,也是非常辛苦,所以,我們開發了【CASP 2024 評讀機器人】希望替大家省下一些腦力及眼力。
最新版本
2.0.0 版本:這裡。

2.0.0 版本
更新 2.0.0 版,搭配 GPT 5 及理解力模型,plus 版用戶可以改用其他模型 (如 4o),經過測試,上傳 pdf 檔,可由機器人逐步導引評讀過程,並主動彙整及計算一致性 (agreement),以 Cohen Kappa 計算。
使用方法

建議的使用方式,是利用提詞工程 (prompt engineering) 技巧,由 GPT 主動詢問使用者問題,一步一步導引使用者完成評讀,簡單說,分工如下:
使用者 (你):提供評讀所需資料 (文章段落)。
機器人:根據 CASP 評讀標準判斷,並說明理由。
使用者 (你):根據判斷理由核實 (確認正不正確)。
教學功能

除了幫助你評讀之外,這個機器人還有【教學功能】可以針對你不了解的部分提供教學。
例如:
請告訴我什麼是 CASP 工具?這個工具包括哪些項目?我該怎麼使用這個工具?
或是
請告訴我,CASP 評讀工具中,必須考量"是否有待調查的特徵或效果調節因子"什麼是效果調節因子?
注意事項

建議由使用者提供資料 (文章段落) 再由 AI 判斷,是為了避免幻覺帶來的問題,GPT 確實有時候會沒有看內容就亂回答,所以利用使用者進行資料擷取 (data extraction) 可以盡可能的避免這個問題。
如果直接上傳整份檔案,GPT 也可以進行評讀,但它看了多少?跟真的有沒有看?需要用一些提詞技巧的方式驗證。

上傳圖片,GPT 可以利用光學辨識 (OCR) 的方式"看"這一張圖片,並進行判斷,但要注意:
圖片要盡量清晰,光學辨識才不會失效 (它是 AI 不是通靈)。
使用限制

GPT 仍然有幻覺的可能,雖然,目前比較先進的模型已經大幅減少這個問題,但也有可能是幻覺,但其實我們沒看出來。
另外,模型間能力還是有差異,一般建議使用 4o 或 o4-mini 就可以完成任務 (2025/7 資料)。
最後,GPT 有時候會耍脾氣,就是網路上說的降智,突然變笨了,可能與 OpenAI 更版或是許多不透明的因素造成,建議先到 OpenAI 看 GPT 的健康程度 (看它是不是還活著)。
準備好了嗎?可以開始使用 CASP 2024 機器人了!Go!