醫(yī)用機器可用來玩讀心術(shù)，能輕易破解你腦袋里想的圖

　　在2003年秋天，舊金山藝術(shù)館展出了我的藝術(shù)作品，一張我大腦的核磁共振圖。作為一名概念藝術(shù)家，我的主要工作是提供想法，而不是直接作畫，因此有些人會認為我創(chuàng)造的東西是虛的，是根本沒有人經(jīng)歷過的東西。為了更清晰和直接地展示我內(nèi)心的想法，我一直在和加利福尼亞大學(xué)舊金山分校進行合作。該大學(xué)的神經(jīng)科學(xué)家Bruce Miller曾讓我躺在醫(yī)用儀器下，掃描并制作了我大腦的圖像。

　　這項技術(shù)被稱作功能性核磁共振成像(fMRI)，于上世紀九十年代創(chuàng)造出來用于非侵入性地檢測病人的神經(jīng)活動。大腦血流中血紅蛋白上的鐵元素會被強大的磁場跟蹤。由于血液循環(huán)會在神經(jīng)元放電后增加，因此醫(yī)生通過觀測血流就能知道我們的腦活動，或者知道我們思考的過程。當然，后面這點只是我的猜想。

　　不過，我在2003年測試了這一想法。當時我在舊金山主義畫廊展示了我大腦fMRI的結(jié)果，只是大多數(shù)觀眾都是一臉迷惑地看著紅色的血流重疊在我的灰質(zhì)上，搖搖頭，晃晃杯子中的葡萄酒就走過去了。

　　展覽展出的16年后，Miller也有著同樣的反應(yīng)。我們一同坐在他位于大學(xué)的辦公室中，他用手不斷指著電腦屏幕上的圖片，就是那張我在思考真理時的fMRI圖。“這張圖分辨率太低了，我認為從圖里能判斷出你在沉思，”他說，“但是這張圖真的有點過時了。”

　　他說的沒錯。fMRI技術(shù)從2003年至今已經(jīng)發(fā)展了很多年，就連醫(yī)院里用的機器功能也比之前的強大了四倍。而就我這些年的經(jīng)歷來說，我始終堅信人類大腦的思想是可以被觀察到的，并且這些觀察圖能夠告訴我們思考是怎樣運作的。現(xiàn)在，我想的是，fMRI發(fā)展得如此迅速，是不是能成為一種全新的觀測工具，甚至用于我之前想過的藝術(shù)創(chuàng)造。為此，我拿著2003年的掃描圖，開始和相關(guān)領(lǐng)域的科學(xué)家探討可能性。

　　用圖片展示想象力

　　“我能看見哪一塊區(qū)域活動最強，”京都大學(xué)的神經(jīng)科學(xué)家Yukiyasu Kamitani邊看著我的掃描圖邊說，“但是我們不再看著圖中的這些熱點，”所謂的熱點是指那些代表我血流的紅點，“我們現(xiàn)在更加專注于腦活動的整體模式，這是不能用眼睛看出來的，”他表示。

　　Kamitani是世界上著名的視覺皮層研究專家，他開發(fā)出了一套方法，可以用于解碼這些大腦掃描圖，就像讀心術(shù)一樣。這項技術(shù)發(fā)表在了2017年的《自然-通訊》上，他可以根據(jù)志愿者在fMRI機器中觀測到圖片時的腦活動，重新在機器外部重建圖片。更令人震驚的是，他甚至能夠重建別人想象的圖片。

　　為了實現(xiàn)這一目標，Kamitani使用了深度神經(jīng)網(wǎng)絡(luò)算法，該算法會在志愿者觀看熟悉物體圖片時分析他們的大腦活動，比如雨傘和飛機。而觀看這些圖片時由視覺皮層引起的大腦血流變化都會被記錄下來，計算機能夠根據(jù)血流樣式生成不同的圖片模式來對應(yīng)飛機的特征，甚至是飛機在天空留下的機尾云。

　　當這些實驗循環(huán)進行很多次，算法得到充分訓(xùn)練后，研究者開始嘗試讓AI模擬一些圖片模式自己構(gòu)建一些圖像。結(jié)果，AI偽造的許多圖像大多數(shù)都能被辨別出來。另外，那些讓志愿者想象出來的圖片也能被AI破解，盡管畫面會有點模糊，但整體上還是比較智能，能看出來你在想什么圖。

　　在這一系列的研究中，Kamitani 不僅讓AI獲得了構(gòu)建圖片的能力，他還發(fā)現(xiàn)我們處理圖像的過程是一層一層疊加的。當你看向一樣物體時，你首先接收的就是它的一些基本屬性，比如顏色。但如果你不是直接用眼睛看物體，而是想象，那么圖像的處理過程就不一樣了。想象通常會從通用分類開始，比如這個物體是桌子，然后你再賦予它別的細節(jié)，比如桌子是用什么材料做成的。因此，Kamitani 的研究在展示想象圖的同時，也探索了視覺是怎樣運作的。

　　讀出你的情緒

　　能向別人展示我在思考真理和美時的圖像確實很神奇，但如果這些圖片不能顯示我對這些物體的情感，那總是不完整的。杜克大學(xué)的神經(jīng)科學(xué)家Kevin LaBar告訴我，這也不是不能做到。

　　LaBar已經(jīng)創(chuàng)建出可以利用fMRI數(shù)據(jù)分析出人類情緒的計算機模型。相關(guān)研究在2016年就發(fā)表在PLoS 子刊上。他的研究原理和Kamitani相同，也是利用AI來分析和學(xué)習(xí)大腦不同情感下的腦活動。

　　在實驗中，他用音樂和電影來訓(xùn)練AI。“實驗挑選的這些藝術(shù)品能夠引起不同的情緒，”LaBar解釋道。當志愿者處于機器中時會觀看或者收聽這些藝術(shù)作品，而AI也會根據(jù)大腦血流來給不同情緒進行分組。

　　現(xiàn)在，AI已經(jīng)能夠預(yù)測一些它從來沒有遇到過的人類情緒，而不僅僅是了解看到實驗中那些電影或者聽到那些音樂時的情緒反應(yīng)。舉個最簡單的例子，AI 能夠分辨出志愿者第一次躺進fMRI機器時的害怕情緒。它甚至還能發(fā)現(xiàn)一些情緒紊亂，比如抑郁癥。

　　在LaBar的觀念中，fMRI甚至能當做交流工具，而不僅僅是給概念藝術(shù)家來畫畫。我們可以根據(jù)掃描結(jié)果來診斷一些患焦慮癥的人，這些人往往不能表達自己的情感。而在一些場景中，它還能幫助患者進行憤怒情緒管理。

　　當然，LaBar也指出AI能展示出的圖片是有限和片段化的。還有一些沒有測試的情緒會摻雜在現(xiàn)實中。如果AI被分散中多個小片段，那么就很難知道一個模型是不是適用于所有場景。對于我想展示大腦中思想和美的愿望，LaBar給了我一個建議：你可以用上Jack Gallant全新的語義網(wǎng)絡(luò)分析。

　　真理是什么顏色?

　　Gallant是加利福尼亞大學(xué)伯克利分校的神經(jīng)科學(xué)家，他發(fā)表過幾張大腦的圖冊。其中一項是2016發(fā)表在《自然》上的研究，展示了不同意義的詞匯都儲存在大腦皮層的什么位置。在這份語義地圖中，包含了各種各樣的單詞，從身體部位到數(shù)字再到一些原理相關(guān)的詞語。“我們的方法展示了fMRI可以提供的最精準的細節(jié)東西，”Gallant告訴我。這個圖冊展示了各種語義儲存在大腦中的地方，比如“狗”這個單詞引起的活動會出現(xiàn)前額葉、頂葉和顳葉皮質(zhì)。

　　在志愿者躺在MRI機器中時，會傾聽一些故事敘述。Galllant會記錄1000個常用英語單詞和哪些神經(jīng)元放電有關(guān)，而與此同時，計算機也會生成相應(yīng)的模型。他發(fā)現(xiàn)，每一個單詞都會和多個腦區(qū)相關(guān)，他認為，這就意味著不同的腦區(qū)會處理一個單詞不同方面的意思。

　　在他將“真理”和“美麗”輸入到計算機模型中后，他告訴我，“美麗這個詞所在腦區(qū)與視覺和感覺有關(guān)，而真理這個詞和社交區(qū)域有關(guān)。”他隨后向我展示了這張語義圖，“真理”顯示著紅色，而“美麗”顯示著藍色。如果真是這樣的話，那么這些詞匯的不同樣式就足夠我用于藝術(shù)表達了。

　　或許我再進行一次fMRI掃描，就能夠展示我大腦中的“真理”和“美麗”是什么樣子的，而我對它們的感受又是怎樣的，甚至是這兩個詞匯會對應(yīng)著怎樣的圖像。雖然距離上一次展出已經(jīng)過了16年，但我再也不怕不知道如何作畫了。