歡迎光臨中國科學院心理研究所!
  • 單位地址
  • ARP系統
  • 科研管理系統
  • English
? 您的位置:首頁 > 新聞動態 > 科研進展
心理所在《自然-人類行爲》發表關于神經科學研究可信度的評論文章
作者: 脑与心智毕生发展研究中心 ║ 日期: 2019/07/01 

  作爲人類特有的行爲,科學研究是社會文明的重要推動力量之一。近年來,研究的可重複性問題成爲科學關注的焦點,從心理科學到臨床醫學等領域,研究的可重複性成爲巨大挑戰。生命科學研究的共同特點之一是對于測量工具的需求,一項先進的技術會促進更爲精准的測量,提升研究的可信度。測量理論中的信效度(可信度與有效度)概念在不同學科都有涉及,特別是在心理科學和醫學中有明確的統計學界定,但在其他學科未被充分認識,尤其是交叉學科。    

  628日,中國科學院心理研究所左西年研究員與合作者在《自然-人類行爲》上發表題爲《Harnessing reliability for neuroscience research》的評論文章,以神經科學爲例,聚焦神經影像技術,提出了個體差異測量信效度統計學框架。在此框架下,個體差異的測量由三部分組成(圖1):研究對象(疾病或特質)特異的變化、研究對象非特異的變化、隨機錯誤,其中前兩者是個體間差異測量,隨機錯誤則是個體內差異測量。個體差異測量的信度是個體間差異測量所占比例,而疾病或特質特異變化所占比例則是個體差異測量的效度。由此,測量的信度就像一個瓶子的蓋子一樣,牢牢地限制住了測量的效度,不可信的測量永遠不可能有效;與此同時,測量的個體間差異越大,其信度越高,測量的個體內差異越小,其信度越高;最後,測量信度越高,其檢測統計效應所需樣本量越小。基于上述的三項測量信效度統計規律,加之效度無法直接測量,因此信度對個體差異的基礎研究和應用轉化至關重要。 

 

1:個體差異測量的信效度 

    

  近十年来,神经影像领域已经积累了大型数据集,成千上万的数据已经上线并公开,涵盖人类不同发展阶段和脑障碍。由此催生的开放式神经科学,推动了大型化脑科学(比如人工智能和脑疾病生物标记物)研究。个体差异研究的基础是统计力度,其决定了检测实验效应的能力。大样本量是提高统计力度的因素之一,然而如果测量信度不够,就会产生对大样本量的不必要需求。在此评论文章中,研究团队采用蒙特卡洛方法对信度、样本量和效应量之间的关系进行了数值模拟,结果揭示:在神经影像领域,潜在效应量较小,测量的信度局限将会极大地增加研究对样本量的需求(圖2)。神經影像測量的信度研究表明:現有數據中極少有足夠的個體數據能獲得高度可信的腦連接測量。各國推出的各類大型腦計劃中,個體差異的基礎和轉化研究(教育和臨床)是中國腦計劃的核心和特色,首要解決的基礎科學問題是測量信效度,據此優化和標准化大型數據測量規範,防止産生大量的低質量數據樣本。 

 

2:信度、樣本量和效應量之間關系 

    

  神經影像領域的各類實驗所采用測量的信度水平不一。以磁共振成像爲例,腦形態測量最爲可信,體素或區域信度可達到臨床轉化研究對信度的要求(大于0.8);功能磁共振的测量则要低很多,并且依赖于扫描时间长短,其中认知任务功能磁共振测量因为实验设计直接来源于实验心理学领域的行为实验,个体间差异受到局限,导致其测量信度很低。从统计学的角度,低可信度的测量加上小样本将增加科学研究的假阳性率,降低了研究间的可重复性,这在基因组学已经被视为领域挑战并经长期研究来试圖克服。反过来讲,高可信度测量的研究结果在科学期刊上出现得更为频繁,比如默认网络和额顶网络的测量可信度更高[3,4],因此就可能在各類研究中更易于被檢測到,這種在各類腦疾病和個體差異研究出現的現象可能只是其測量信度高的一種表現,而並不是其實驗效應特異性的體現。 

    

  本評論文章的主要目的是推動整個生命科學領域關注測量信度的評測與優化。特別是神經科學領域,通常對這一問題未給予足夠重視,無論測量手段是影像、電生理、神經炎症標記物、微生物組學,還是認知神經科學範式、私人穿戴設備等,都應將測量信度及其決定因素作爲基本問題來研究。爲應對上述挑戰,近十年來,心理所與國際合作團隊一起,針對個體差異測量理論進行長期而系統的部署,重點培育“心理行爲的個體差異及其畢生發展規律與應用”研究方向,領銜建立了“國際信度與可重複性聯盟”,提出了大型腦智畢生發展項目“彩巢計劃-成長在中國”,參與北京市腦計劃,創建並主辦雙年度“國際人腦發展會議”,爲參與和推動國家腦計劃做出了具有國際影響力的貢獻,更爲詳細的信度解決方案和未來研究方向請參見評論文章。 

    

  神經科學家致力于將基礎研究成果轉化爲臨床工具,檢測和優化測量的信度必須成爲這些轉化研究的前提和常規,而這需要科研人員改進當前的研究實踐、需要科研基金管理部門的支持,共同産生開放社區資源以用于這些基本特性的定量化。本文基于團隊就測量信效度長期研究積累而成,特別是兩項大型人腦神經科學計劃CoRRR3BRAIN,受國家科技部973課題2015CB351702支持。 

    

  相關閱讀和文獻: 

    

  [1] Harnessing reliability for neuroscience research. Nature Human Behaviour (2019). 

  [2] Assessment of the impact of shared brain imaging data on the scientific literature. Nature Communications 9: 2818 (2018). 

  [3] Test-retest reliabilities of resting-state FMRI measurements in human brain functional connectomics: a systems neuroscience perspective. Neuroscience & Biobehavioral Reviews 45: 100-118 (2014). 

  [4] Individual variability and test-retest reliability revealed by ten repeated resting-state brain scans over one month. PLoS One 10: e0144963 (2015). 

  [5] An open science resource for establishing reliability and reproducibility in functional connectomics. Scientific Data 1: 140049 (2014). 

  [6] Human connectomics across the life span. Trends in Cognitive Sciences 21: 32-45 (2017). 

  [7] 彩巢計劃-成長在中國”. 科學通報 62: 3008-3022 (2017). 

  [8] The anatomy of reliability: a must read for future human brain mapping. Science Bulletin 63: 1606-1607 (2018). 

  [9] Editorial: Reliability and reproducibility in functional connectomics. Frontiers in Neuroscience: Brain Imaging Methods 13: 117 (2019). 

  [10] R3BRAIN: An open science resource for reliability, reproducibility and replicability. OHBM poster (2019). 

版权所有:中国科学院心理研究所 备案编号:京ICP备10049795 京公网安备110402500018号
地址:北京市朝阳区林萃路16号院 邮编:100101 电话:(86-10)64879520
Email:webmaster@psych.ac.cn