近年來,行為研究的一個(gè)主要趨勢(shì)是采用多模式測(cè)量。在過去,觀察甚至計(jì)算機(jī)輔助視頻觀察可能足以回答研究問題,而今天的科學(xué)家需要獲得更深入的見解。多模式數(shù)據(jù)可以幫助解決這個(gè)問題。
案例研究顯示多模式數(shù)據(jù)收集的力量
觀察可以告訴你某人在做什么,但生理研究對(duì)心理狀態(tài)的洞察可以告訴你他們?yōu)槭裁催@樣做。例如,眼動(dòng)追蹤可以揭示被試者自己甚至沒有意識(shí)到的興趣模式,腦電圖可以深入了解詳細(xì)的大腦過程。
研究人員比過去更多地使用多模式方法的一個(gè)原因是像 The Observer XT 或新發(fā)布的一體化平臺(tái) NoldusHub 等現(xiàn)代解決方案可以更輕松地集成和同步不同的數(shù)據(jù)流并利用多模態(tài)研究。
這里有五個(gè)不同的研究示例,如果不結(jié)合不同的數(shù)據(jù)模式,這些研究是不可能的。
1. 發(fā)展心理學(xué)——通過視頻觀察以及 PPG 和溫度傳感器來調(diào)查社交焦慮。
社交焦慮是我們都經(jīng)歷過的事情。公開演講、工作面試和約會(huì)等所有情況都會(huì)讓我們感到焦慮并害怕別人會(huì)怎么看我們,有時(shí)還會(huì)伴隨著臉紅,感覺很熱。每個(gè)人都知道這一點(diǎn),但直到阿姆斯特丹大學(xué)的心理學(xué)家最近進(jìn)行的一項(xiàng)研究 [1] 才知道臉紅在特殊情況下扮演什么角色。
社交焦慮癥(SAD)這種障礙的特點(diǎn)是對(duì)他人的負(fù)面評(píng)價(jià)產(chǎn)生持續(xù)的恐懼。它嚴(yán)重干擾社交場(chǎng)合,并可能產(chǎn)生各種負(fù)面的連鎖反應(yīng)。臉紅是社交焦慮癥的一種癥狀,但臉紅在其發(fā)展中起什么作用呢?
研究人員要求不同年齡的幼兒在他們面前唱一首歌。他們使用 The Observer XT 的音頻視頻記錄進(jìn)行系統(tǒng)觀察,并結(jié)合使用三種技術(shù)測(cè)量臉紅。使用光電體積描記法 (PPG) 測(cè)量血容量和血脈振幅。
這與運(yùn)動(dòng)手表中用于測(cè)量心率的技術(shù)相同,光線照射到皮膚上,然后處理反射信號(hào)(見圖1)。 使用鉑電極測(cè)量面頰溫度。PPG 和溫度傳感器都固定在孩子的一側(cè)臉頰上。
圖1
很明顯,對(duì)于這樣的研究,視頻觀察和使用傳感器測(cè)量特定變量(在本例中為臉紅)的組合具有相當(dāng)大的附加值。如果僅僅通過觀察來估計(jì)臉紅,那么它的準(zhǔn)確度就會(huì)大大降低,而且數(shù)據(jù)也會(huì)丟失。單憑觀察無法量化臉紅的程度;它只會(huì)顯示它的存在或不存在。這將大大限制分析的可能性。
臉紅和社交焦慮癥之間的確切關(guān)系是復(fù)雜的。然而,很明顯,兒童早期的自我意識(shí)情緒反應(yīng)(表現(xiàn)為臉紅)的發(fā)展可能對(duì)兒童晚期社交焦慮癥的發(fā)展產(chǎn)生重要影響。三種不同的臉紅測(cè)量方法表明了不同的方面。溫度顯示出與社交焦慮發(fā)展的明顯關(guān)系——可能是因?yàn)楹⒆觽兡芨杏X到他們的臉頰變熱,并對(duì)這種情況變得難為情。
2. 神經(jīng)科學(xué)——嚙齒類動(dòng)物的腦電波
腦電圖是一種將電極放置在顱骨表面的技術(shù),它能夠獲取大腦中神經(jīng)元的電活動(dòng)?;顒?dòng)以波形的形式上下波動(dòng),波的振蕩速度與受試者的行為相關(guān)。
如果它是每秒 8-12 次(8-12 赫茲),那么這與放松行為有關(guān)。 這是第一個(gè)被發(fā)現(xiàn)的關(guān)聯(lián),因此它們被稱為alpha波。Beta 波(16-31 Hz)表示活躍的思維(警覺性)和運(yùn)動(dòng)行為,theta(4-7 Hz)表示困倦和冥想,delta(小于 4 Hz)表示注意力高度集中和深度睡眠。伽馬波(如下圖所示)頻率非常高,為 30-100 赫茲,由神經(jīng)元群共同作用以實(shí)現(xiàn)某些認(rèn)知和運(yùn)動(dòng)功能引起。
腦電圖通常與特定位置相關(guān)聯(lián),例如 alpha 波是在頭部的后部(后部)區(qū)域測(cè)量的。 還可以更詳細(xì)地查看 EEG 波形,例如睡眠階段之一稱為 REM 睡眠——快速眼動(dòng)。 眼睛的運(yùn)動(dòng)會(huì)導(dǎo)致來自大腦同樣特定區(qū)域的非常特定的波形形狀。 通過查看這些波形,不僅可以判斷 REM 睡眠是否正在進(jìn)行,還可以判斷在特定時(shí)刻哪只眼睛正在朝哪個(gè)方向移動(dòng) [2]。
腦電圖還可用于幫助了解大腦疾病(如阿爾茨海默氏癥和抑郁癥)中發(fā)生的情況。
人類和其他動(dòng)物(包括大鼠和小鼠)的腦電圖有很多相似之處。通常也存在峰值潛伏期等細(xì)微差異,但總體模式(例如,對(duì)各種藥物的反應(yīng))非常相似 [3]。這意味著它經(jīng)常用于藥物發(fā)現(xiàn)。
智利的一組研究人員研究了大鼠腦電圖中的伽馬波 [4]。他們?cè)诜Q為伏隔核的大腦區(qū)域中觀察了這些。該區(qū)域是大腦獎(jiǎng)勵(lì)系統(tǒng)的一部分,與愉悅體驗(yàn)有關(guān)。多巴胺是該區(qū)域的重要神經(jīng)化學(xué)物質(zhì)。在那項(xiàng)研究中,科學(xué)家們將伏隔核的腦電圖測(cè)量與使用 EthoVision XT 進(jìn)行的行為測(cè)量相結(jié)合。
兩只老鼠被允許在一個(gè)對(duì)兩只動(dòng)物都是中性領(lǐng)土的開放區(qū)域相互交流。 當(dāng)老鼠彼此互動(dòng)時(shí),有更多的伽馬波,表明獎(jiǎng)勵(lì)和快樂,而不是僅僅給它們一個(gè)新的互動(dòng)對(duì)象。這只能通過將 EthoVision XT 的行為數(shù)據(jù)與 EEG 數(shù)據(jù)相結(jié)合來衡量。在下面的插圖中,右下角的圖表顯示了當(dāng)老鼠彼此相互作用時(shí),伽馬波明顯更強(qiáng)大。
他們還研究了當(dāng)兩只相互作用的大鼠中的一只受到壓力時(shí),相互作用如何進(jìn)行。壓力是由被引入另一只老鼠的領(lǐng)地引起的。這導(dǎo)致緊張的對(duì)抗。野外的老鼠在日常生活中經(jīng)常會(huì)遇到這種壓力。數(shù)據(jù)顯示,壓力大的老鼠不再能夠從中性領(lǐng)土上的互動(dòng)中獲得盡可能多的樂趣,它的重要性在于,展示了一些關(guān)于它在老鼠大腦中究竟如何運(yùn)作的細(xì)節(jié)。
3. 教育心理學(xué)——在使用多種數(shù)據(jù)模式學(xué)習(xí)的同時(shí)研究參與度。
蒙特利爾魁北克大學(xué)的 NeuroLab 旨在使用多模式技術(shù)研究教育和學(xué)習(xí)的各個(gè)方面。他們使用一整套技術(shù)來研究正在處理在線學(xué)習(xí)問題的測(cè)試對(duì)象 [5]。
記錄與軟件的交互(鼠標(biāo)點(diǎn)擊和移動(dòng)),眼動(dòng)儀記錄注視和瞳孔直徑,使用 FaceReader 和皮膚電導(dǎo)率(EDA,也稱為皮膚電導(dǎo)率)測(cè)量情感參與度。這是基于你在興奮或緊張時(shí)出汗的原理。 此外還使用腦電圖。如上所述,β 波表示認(rèn)知警覺性。這與來自 alpha 和 theta 波段的信息相結(jié)合,給出了一個(gè)參與指數(shù)。所有這些數(shù)據(jù)流都使用 Noldus 的特殊設(shè)置組合在一起,如本次采訪中所述:
視頻
同步在這樣的設(shè)置中尤為重要,否則無法對(duì)數(shù)據(jù)進(jìn)行有意義的分析。
4. 行為生態(tài)學(xué)——研究被困獾的壓力
研究野外動(dòng)物的行為具有特殊的挑戰(zhàn),使用多種類型的數(shù)據(jù)也可以提供幫助。在實(shí)驗(yàn)室外工作時(shí),設(shè)備出現(xiàn)故障和數(shù)據(jù)丟失的情況更為常見,因此擁有多種類型的數(shù)據(jù)可以作為一種補(bǔ)償方式,并且仍然能夠獲得可發(fā)布的結(jié)果,即使并非所有數(shù)據(jù)都符合要求計(jì)劃。這就是一組瑞典科學(xué)家在他們的研究 [6] 中發(fā)現(xiàn)的,即被困在獾身上的壓力有多大。
即使陷阱的設(shè)計(jì)不會(huì)造成物理傷害,但由于獾對(duì)情況的感知方式,它仍然會(huì)給獾帶來壓力。 測(cè)量壓力水平的黃金標(biāo)準(zhǔn)是測(cè)量皮質(zhì)醇。皮質(zhì)醇是身體直接響應(yīng)壓力產(chǎn)生的一種激素。
研究人員為獾準(zhǔn)備了含有難消化的彩色小顆粒的食物。每只獾都有不同顏色的顆粒,所以當(dāng)研究人員收集它們的糞便時(shí),他們可以測(cè)量皮質(zhì)醇并知道它來自哪只獾。但是,正如在實(shí)地考察中常見的那樣,事情并沒有按計(jì)劃進(jìn)行,他們收集的很多樣本中沒有任何顏色標(biāo)記,因此無法使用。
使用 The Observer XT 進(jìn)行實(shí)時(shí)和視頻記錄的觀察
然而,幸運(yùn)的是,他們植入了傳感器,使他們能夠測(cè)量心率和體溫,這也是壓力的指示。此外,他們還使用 The Observer 對(duì)獾的所有行為進(jìn)行了詳細(xì)的實(shí)時(shí)和視頻記錄觀察。這絕非易事,因?yàn)殁凳且剐袆?dòng)物,需要許多個(gè)夜晚的艱苦工作。
結(jié)果并不令人驚訝,被困住對(duì)動(dòng)物們來說確實(shí)壓力很大。他們一直在陷阱中,他們一直在努力逃脫。之后壓力影響繼續(xù)存在,當(dāng)他們回到家時(shí),他們的社交互動(dòng)和梳理和抓撓等“舒適行為"都更少了。三天后,他們的社交禮儀仍然較少。他們被困的時(shí)間越長(zhǎng),壓力就越大。 此外,如果他們?cè)谝归g(他們的活躍期)被困,那比他們?cè)诎滋毂焕У膲毫Ω蟆?/span>
這項(xiàng)研究特別出色地表明,行為觀察、生理測(cè)量和荷爾蒙觀察的結(jié)合都有助于對(duì)實(shí)驗(yàn)的全面理解,并提供了僅靠觀察就可以做到的更深刻的見解。
5. 用戶體驗(yàn)和健康研究——使用多模式數(shù)據(jù)研究技術(shù)如何幫助癡呆癥患者
加拿大的兩個(gè)實(shí)驗(yàn)室合作開發(fā)了研究混合現(xiàn)實(shí) (MR) 技術(shù)(虛擬現(xiàn)實(shí)和增強(qiáng)現(xiàn)實(shí))使用的方法 [7]。 這些實(shí)驗(yàn)室是位于加拿大多倫多的社會(huì)和技術(shù)系統(tǒng) (SaTS) 實(shí)驗(yàn)室以及癡呆癥老化技術(shù)和參與實(shí)驗(yàn)室 (DATE)。他們研究的特定應(yīng)用是這些技術(shù)如何支持癡呆癥患者。通常在開發(fā)技術(shù)時(shí),可以讓用戶填寫問卷,反饋技術(shù)是否滿足他們的需求。然而,癡呆癥患者并不總是能夠做到這一點(diǎn),因此需要使用觀察方法。
觀察的基礎(chǔ)是 The Observer XT,他們還使用眼動(dòng)追蹤眼鏡測(cè)量注視和瞳孔數(shù)據(jù),使用 FaceReader 測(cè)量面部表情,還測(cè)量大腦神經(jīng)過程的腦電圖。此外,還創(chuàng)建了一個(gè)任務(wù)評(píng)估工具,以量化參與者在使用和不使用 MR 工具的情況下能夠在多大程度上執(zhí)行任務(wù)。 最后,使用 The Observer XT 將所有數(shù)據(jù)匯集、同步和集成。
研究 [7] 的結(jié)論是 MR 設(shè)備確實(shí)有用,而且由 The Observer XT 提供支持的多模式設(shè)置是研究參與者與技術(shù)交互的有用方法。如果要以滿足這些人需求的方式開發(fā)技術(shù),那么讓技術(shù)的最終用戶參與開發(fā)新技術(shù)至關(guān)重要。對(duì)使用這些技術(shù)的人進(jìn)行良好的研究是確定這一點(diǎn)的最佳方法。
結(jié)論
來自許多不同模式的數(shù)據(jù)的使用正在真正成為主流,與單一模式相比的優(yōu)勢(shì)在于它揭示了更深刻的見解,而且如果一種模式失敗,數(shù)據(jù)中可能有足夠的冗余,仍然可以發(fā)表好的文章。 幾年前,處理多模式數(shù)據(jù)非常復(fù)雜,尤其是涉及到集成和同步時(shí)。 The Observer XT和NoldusHub 等現(xiàn)代技術(shù)使它變得越來越容易和實(shí)用。
參考文獻(xiàn)
[1] Milica Nikoli?, Mirjana Majdand?i?, Cristina Colonnesi, Wieke de Vente, Eline M?ller, and Susan B?gels (2020). The unique contribution of blushing to the development of social anxiety disorder symptoms: results from a longitudinal study. J. Child Psychology & Psychiatry 61, 1339-1348.
[2]learningeeg./normal-asleep
[3] Drinkenburg WH, Ruigt GS, Ahnaou A. Pharmaco-EEG Studies in Animals: An Overview of Contemporary Translational Applications. Neuropsychobiology. 2015;72(3-4):151-64.
[4] Iturra-Mena AM, Aguilar-Rivera M, Arriagada-Solimano M, Pérez-Valenzuela C, Fuentealba P and Dagnino-Subiabre A (2019) Impact of Stress on Gamma Oscillations in the Rat Nucleus Accumbens During Spontaneous Social Interaction. Front. Behav. Neurosci. 13:151.
[5] P Charland, PM Léger, S Sénécal, F Courtemanche…(2015) - Assessing the multiple dimensions of engagement to characterize learning: A neurophysiological perspective. JoVE, 101, e52627.
[6] Schütz, K. E., ?gren, E., Amundin, M., R?ken, B., Palme, R., & M?rner, T. (2006). Behavioral and physiological responses of trap-induced stress in European badgers. The Journal of Wildlife Management, 884-891.
[7] Desai, S., & Astell, A. (2021). Mixed reality technologies for people with dementia: Participatory evaluation methods. arXiv preprint arXiv:2107.07336.Don't miss out on the latest blog posts.
關(guān)注諾達(dá)思公眾號(hào),獲取更多產(chǎn)品信息及學(xué)術(shù)文章!