中風(fēng)、脊髓損傷癱瘓、肌萎縮側索硬化(ALS)等患者，是腦機接口(BCI)領(lǐng)域的重要研究切入口，科學(xué)家們利用先進(jìn)的技術(shù)試圖重建這部分人的正常生活。此前的腦機接口已經(jīng)不同程度上解鎖了伸手、抓握或移動(dòng)電腦光標這樣的大動(dòng)作技能，但更復雜和對靈敏度要求更高的技能才是腦機接口最終的證明。

　　北京時(shí)間5月12日晚間，頂級學(xué)術(shù)期刊《自然》(Nature)以封面文章的形式刊發(fā)了由斯坦福大學(xué)、布朗大學(xué)、哈佛醫學(xué)院等團隊的研究人員聯(lián)合完成的一項里程碑式研究，題為“High-performance brain-to-text communication via handwriting”。該研究回歸到古老的表達自方式——手寫(xiě)，首次解碼了與書(shū)寫(xiě)有關(guān)的神經(jīng)信號，并實(shí)時(shí)顯示它們。

　　
 

　　研究團隊將人工智能軟件與一款腦機接口設備結合起來(lái)，與一名大腦中植入腦機接口設備的癱瘓患者合作，讓該患者想象他拿著(zhù)一支筆，在一張橫線(xiàn)紙上“嘗試”寫(xiě)字，就像他的手沒(méi)有癱瘓一樣。并將該男子手寫(xiě)意圖快速轉換為電腦屏幕上的文本。

　　“這種腦機接口是為那些患有‘閉鎖綜合征’(Locked-in Syndrome)的人設計的，這些人群幾乎所有的隨意肌都癱瘓，無(wú)法說(shuō)話(huà)或交流。”該項研究的通訊作者同時(shí)也是第一作者的Francis R. Willett博士在接受澎湃新聞(www.thepaper.cn)記者專(zhuān)訪(fǎng)時(shí)表示，“想象一下,如果你只能上下移動(dòng)你的眼睛卻動(dòng)彈不得，這樣的設備可以讓輸入你想法的速度與正常的手寫(xiě)或在智能手機上打字相媲美。”

　　Willett是斯坦福大學(xué)神經(jīng)修復轉化實(shí)驗室的研究科學(xué)家，由霍華德·休斯醫學(xué)研究所任命。他的研究工作主要圍繞改善腦機接口、理解大腦是如何表現和控制運動(dòng)的。除Willett之外，該項研究主要由斯坦福大學(xué)神經(jīng)外科醫生Henderson，斯坦福大學(xué)霍華德·休斯醫學(xué)研究所研究員Krishna Shenoy共同指導，Willett即是Shenoy團隊中的一員。Shenoy和Henderson則從2005年就開(kāi)始合作腦機接口研究。

　　《自然》還同期刊發(fā)了華盛頓大學(xué)Pavithra Rajeswaran、Amy Orsborn兩位研究人員對該項研究的觀(guān)點(diǎn)文章。“盡管還有很多工作要做， Willett及其同事的這項研究是一個(gè)里程碑，拓寬了侵入式腦機接口應用的視野。”他們評價(jià)道，這項研究中的方法“使允許快速交流的神經(jīng)接口更接近現實(shí)。”

　　加州大學(xué)伯克利分校的神經(jīng)工程師Jose Carmena沒(méi)有參與這項研究。他說(shuō)，這項技術(shù)以及其他類(lèi)似技術(shù)有潛力幫助各種殘疾人士。雖然這些發(fā)現只是初步的，“但這是該領(lǐng)域的一大進(jìn)步。”Carmena說(shuō)，腦機接口將思想轉化為行動(dòng)，“這篇論文就是一個(gè)很好的例子，解碼了書(shū)寫(xiě)的意圖，并產(chǎn)生了動(dòng)作。”

　　這項研究中使用的腦機接口僅用于研究，尚未批準用于商業(yè)用途。斯坦福大學(xué)技術(shù)許可辦公室已經(jīng)申請了與Willett、Henderson和Shenoy的工作有關(guān)的知識產(chǎn)權專(zhuān)利。

　　研究人員第一次破解了關(guān)于字母書(shū)寫(xiě)的神經(jīng)信號，使這些字母可以實(shí)時(shí)顯示出來(lái)。(01:40)

　　“找到讓人們交流更快的新方法”

　　這項研究開(kāi)發(fā)的腦機接口對無(wú)法正常說(shuō)話(huà)的人群有多重要?“如果是腦機接口，Jean-Dominique Bauby可能每分鐘能寫(xiě)18個(gè)單詞。”Willett對澎湃新聞?dòng)浾呷缡潜硎尽?/p>

　　Jean-Dominique Bauby為原法國時(shí)尚雜志ELLE總編輯，其突然中風(fēng)，隨后全身癱瘓，只剩下眼睛能眨動(dòng)?！稘撍娕c蝴蝶》是他罹患閉鎖綜合征后所作的傳記，為了寫(xiě)這本書(shū)，一位輔助者將法語(yǔ)字母表中的所有字母一一列出，然后Bauby眨一下左眼才能選擇他想要的字母，寫(xiě)一個(gè)單詞可能需要幾分鐘。

　　Henderson 也同樣談到這一例子。“他能夠寫(xiě)出這本動(dòng)人而美麗的書(shū)，是因為他竭盡所能地選擇字母，一次一個(gè)，并使用了眼球運動(dòng)。想象一下，如果有了Willett的手寫(xiě)腦機接口，他能做什么!”

　　實(shí)際上，因不同原因導致行動(dòng)或說(shuō)話(huà)能力喪失的人對腦機接口的需求不一。失去手功能的人仍然可以使用帶有語(yǔ)音識別和其他軟件的設備，而對于那些說(shuō)話(huà)有困難的人，科學(xué)家們則一直在開(kāi)發(fā)其他方式來(lái)幫助人們交流。

　　目前商用的輔助打字設備主要依賴(lài)于使用者能夠進(jìn)行眼球運動(dòng)或發(fā)出語(yǔ)音命令。例如，眼球追蹤鍵盤(pán)可以讓癱瘓者每分鐘輸入約47.5個(gè)字符，比沒(méi)有損傷的人每分鐘輸入115個(gè)字符的速度要慢。然而，這些技術(shù)不適用于癱瘓同時(shí)損害了眼球運動(dòng)或發(fā)聲的人。

　　而到目前為止，用于打字輸入的腦機接口還無(wú)法與眼球追蹤器等更簡(jiǎn)單的輔助技術(shù)競爭。Rajeswaran等人在觀(guān)點(diǎn)文章中指出，原因之一是打字是一項復雜的任務(wù)，在英語(yǔ)中，我們就需要從26個(gè)字母中選擇。根據用戶(hù)的神經(jīng)活動(dòng)來(lái)預測他們想選擇哪個(gè)字母，以此構建一個(gè)分類(lèi)算法，這也是一項具有挑戰性的工作。

　　目前最成功的侵入式腦機接口也是Shenoy團隊于2017年在eLife雜志發(fā)表的一項研究。在那項研究中，包括T5(此項最新研究中的參與者)在內的三個(gè)肢體癱瘓的參與者，都在運動(dòng)皮層植入了腦機接口，他們被要求全神貫注將光標從電腦屏幕上的一個(gè)鍵移動(dòng)到另一個(gè)鍵，然后集中精力點(diǎn)擊那個(gè)鍵。

　　在那項研究中，T5創(chuàng )造了迄今為止的最高記錄：以每分鐘40個(gè)字符的速度抄寫(xiě)顯示出來(lái)的句子。但這些侵入式腦機接口，和非侵入性的眼球追蹤器一樣，占用了用戶(hù)的視覺(jué)注意力，并且不能提供明顯更快的輸入速度。

　　如果說(shuō)2017年研究的模式類(lèi)似于打字，那么此次這項新研究則類(lèi)似于手寫(xiě)，而此前沒(méi)人想過(guò)直接手寫(xiě)。Willett想知道，是否有可能利用書(shū)寫(xiě)時(shí)引發(fā)的大腦信號，“我們想找到讓人們交流更快的新方法。”研究團隊因此與T5繼續合作。T5當時(shí)65歲，其在2007年因為脊髓損傷癱瘓，幾乎喪失了頸部以下的所有活動(dòng)能力。

　　
 

　　“腦轉文”腦機接口

　　Willett等人的新方法需要一種分類(lèi)算法，能夠預測癱瘓用戶(hù)試圖書(shū)寫(xiě)的26個(gè)字母或5個(gè)標點(diǎn)符號，這是具有挑戰性的技術(shù)，因為科學(xué)家們無(wú)法觀(guān)察到這些意圖。

　　為克服這一挑戰，Willett等人基于一種最初為語(yǔ)音識別開(kāi)發(fā)的機器學(xué)習算法，重新設計了另一種算法。這使得他們能夠僅根據神經(jīng)活動(dòng)來(lái)估計參與者何時(shí)開(kāi)始嘗試書(shū)寫(xiě)一個(gè)字符。根據這些信息，研究團隊生成了一個(gè)帶有標簽的數據集，其中包含每個(gè)字符對應的神經(jīng)活動(dòng)模式。他們用這個(gè)數據集來(lái)訓練分類(lèi)算法。

　　“當我們第一次開(kāi)始探索手寫(xiě)腦機接口的概念時(shí)，我們不知道在癱瘓多年后，嘗試的手寫(xiě)動(dòng)作是否仍能喚起強烈和可重復的神經(jīng)活動(dòng)模式。”

　　Willett對澎湃新聞?dòng)浾弑硎荆?ldquo;令人興奮的是，當我們要求參與者來(lái)手寫(xiě)不同的字母時(shí),盡管他的手已經(jīng)癱瘓十多年,我們仍然可以看到明顯的神經(jīng)活動(dòng)模式，甚至足以重現他想象中的那支筆的動(dòng)作，并展現出他想寫(xiě)的字母。”

　　研究參與者想象書(shū)寫(xiě)一個(gè)字母或符號時(shí)，他腦中的傳感器可以感知到電活動(dòng)的模式并轉化為書(shū)寫(xiě)痕跡。(00:12)

　　為了實(shí)現準確的分類(lèi)，Willett等人的分類(lèi)算法還使用了現有的機器學(xué)習方法，以及一種叫做遞歸神經(jīng)網(wǎng)絡(luò )(RNN)的人工神經(jīng)網(wǎng)絡(luò )，這種神經(jīng)網(wǎng)絡(luò )特別擅長(cháng)預測順序數據。Rajeswaran等人在觀(guān)點(diǎn)文章中提到，利用RNN的能力前提是需要大量的訓練數據，但這些數據在神經(jīng)接口中是有限的，因為很少有用戶(hù)愿意想象連續寫(xiě)作數小時(shí)。

　　研究團隊則用一種被稱(chēng)為數據增強的方法解決了該問(wèn)題。在這種方法中，參與者先前產(chǎn)生的神經(jīng)活動(dòng)模式被用來(lái)產(chǎn)生句子，在這些句子上訓練RNN。他們還通過(guò)在神經(jīng)活動(dòng)模式中引入人為的變化來(lái)擴展他們的訓練數據，以模仿人類(lèi)大腦中自然發(fā)生的變化。

　　
 

　　在這項研究中，T5同樣需要集中精力，試圖用一支假想的筆在假想的本子上寫(xiě)出單個(gè)字母。他把每個(gè)字母重復10次，讓軟件“學(xué)習”識別與他嘗試寫(xiě)那個(gè)特定字母相關(guān)的神經(jīng)信號。

　　在接下來(lái)數小時(shí)的測試中，T5被展示了幾組句子，并被要求在心里嘗試“手寫(xiě)”每一個(gè)句子，沒(méi)有使用大寫(xiě)字母。這些句子比如，“i interrupted, unable to keep silent,”和“within thirty seconds the army had landed.”。

　　隨著(zhù)時(shí)間的推移，這些算法提高了它們區分代表不同字母或符號的神經(jīng)放電模式的能力。算法對T5意圖寫(xiě)的任何字母的解讀在大約半秒的延遲后出現在電腦屏幕上。

　　T5還被要求復制算法從未接觸過(guò)的句子。他最終能夠每分鐘生成90個(gè)字符，大約18個(gè)單詞。之后，他被要求回答開(kāi)放性的問(wèn)題(需要一些停頓來(lái)思考)，他每分鐘寫(xiě)了73.8個(gè)字符(平均接近15個(gè)單詞)，是2017年研究中自由書(shū)寫(xiě)記錄速度的三倍。

　　Willett等人的算法提供了令人印象深刻的準確分類(lèi)。復制錯誤率大約是每18或19個(gè)字符中有一個(gè)錯誤;自由書(shū)寫(xiě)錯誤率約為每11或12個(gè)字符中有一個(gè)。當研究人員通過(guò)包括預測語(yǔ)言模型(類(lèi)似于智能手機上的自動(dòng)糾錯功能)后，錯誤率明顯較低：復制的錯誤率低于1%，自由書(shū)寫(xiě)的錯誤率略高于2%。

　　“與其他腦機接口相比，這些錯誤率相當低。”Shenoy說(shuō)。

　　兩個(gè)微小的植入電極矩陣可以將控制手和手臂的腦區信息轉化為算法，再翻譯成屏幕上的字母。(00:10)

　　何時(shí)轉化為真正的產(chǎn)品?

　　值得注意的是，此次研究中，Willett等人得出另一重要結論。Willett對澎湃新聞?dòng)浾弑硎荆?ldquo;這款腦機接口的速度比之前更快，這是由像書(shū)寫(xiě)不同的字母這樣的復雜運動(dòng)喚起的神經(jīng)活動(dòng)模式，更容易區分。我們發(fā)現，要求參與者手寫(xiě)不同的字母，在他的大腦中喚起了非常獨特的神經(jīng)活動(dòng)模式。”

　　Willett等人認為，這使得他們能夠在更快的速度下同時(shí)達到比以前更高的準確性。

　　“當你只能記錄傳感器采集到的少量神經(jīng)元時(shí)(與運動(dòng)腦區的數百萬(wàn)神經(jīng)元相比)，有非常不同的神經(jīng)模式是有幫助的，意外混淆它們的幾率就會(huì )很低。這就是為什么復雜的運動(dòng)，比如寫(xiě)不同的字母，可能更容易解碼，復雜性使它們更獨特，彼此不同。”Willett進(jìn)一步解釋道，相比之下，之前最先進(jìn)的打字方式，“沿著(zhù)直線(xiàn)移動(dòng)到不同的鍵上，會(huì )喚起非常相似的神經(jīng)活動(dòng)模式，因為所涉及的只是一個(gè)有著(zhù)不同角度或不同距離的直線(xiàn)運動(dòng)。”

　　這也意味著(zhù)，也許與我們直覺(jué)的認為相反，解碼復雜的行為比簡(jiǎn)單的行為更有利，特別是在分類(lèi)任務(wù)中。這些信息對未來(lái)的腦機接口研究將有重要的借鑒意義。

　　當然，這項研究也并非完美。在投入大規模臨床應用前，仍需進(jìn)一步驗證該技術(shù)的使用壽命、安全性和效果。Rajeswaran等人在觀(guān)點(diǎn)文章中即寫(xiě)道，該技術(shù)“需要擁有極佳的效果和使用益處，才能證明在患者腦部植入電極所產(chǎn)生的費用和風(fēng)險是值得的。”

　　輸入速度并不是決定是否采用該技術(shù)的唯一因素。Rajeswaran等人認為，要使該設備能在整個(gè)生命周期內保持性能，比如遇到神經(jīng)活動(dòng)模式改變時(shí)表現如何，這可能還需要進(jìn)一步的研究。繼續研究以測試該方法是否能推廣到其他用戶(hù)和實(shí)驗室之外的設置，這也將是至關(guān)重要的。

　　Rajeswaran等人還關(guān)注到另一個(gè)問(wèn)題，即該方法將如何擴展并轉化為其他語(yǔ)言?Willett等人的研究也表明，有幾個(gè)字符寫(xiě)起來(lái)會(huì )類(lèi)似，比如r、v和u，因此比其他字符更難分類(lèi)。“我們中的一個(gè)人(Rajeswaran)說(shuō)泰米爾語(yǔ)，泰米爾語(yǔ)有247個(gè)字母，通常是密切相關(guān)的，所以可能很難分類(lèi)。”他們在文章中寫(xiě)道。

　　Willett則對澎湃新聞?dòng)浾弑硎?，要將這項技術(shù)轉化為真正的產(chǎn)品，就需要簡(jiǎn)化它，用戶(hù)應該不需要花費太多時(shí)間來(lái)培訓它就能夠使用這款腦機接口。此外，它應該足夠智能，能夠自動(dòng)跟蹤神經(jīng)活動(dòng)的實(shí)時(shí)變化，這樣用戶(hù)就不必每天停下來(lái)重新訓練系統。最后，微電極裝置應是無(wú)線(xiàn)且完全植入。

　　“這是一個(gè)公司創(chuàng )造一個(gè)真實(shí)世界的產(chǎn)品必須要完成的工作。”他表示，在這項研究中，他們只是進(jìn)行了一個(gè)概念驗證的演示，“手寫(xiě)腦機接口是一個(gè)令人興奮和潛在的可行方法，使得我們可以恢復與嚴重癱瘓的人的交流。”

　　一個(gè)新的更全面的系統

　　值得注意的是，Shenoy的團隊在設想，將手寫(xiě)文本輸入作為一個(gè)更全面系統中的一部分，該系統還包括指向點(diǎn)擊，就像目前智能手機上使用的那樣，甚至還包括語(yǔ)音解碼。Shenoy說(shuō)道，“擁有這兩種或三種模式并在它們之間切換是我們必然要做的。”

　　Shenoy說(shuō)，接下來(lái)，研究團隊打算與無(wú)法說(shuō)話(huà)的參與者合作，比如患有肌萎縮性脊髓側索硬化癥的人，這是一種退行性神經(jīng)疾病，會(huì )導致運動(dòng)和語(yǔ)言能力喪失。

　　“雖然現在手寫(xiě)每分鐘可以接近20個(gè)單詞，但我們的語(yǔ)速往往在每分鐘125個(gè)單詞左右，這是補充手寫(xiě)的另一個(gè)令人興奮的方向。如果將這些系統結合起來(lái)，可以為患者提供更多有效溝通的選擇。”Shenoy說(shuō)。

　　Willett在接受澎湃新聞?dòng)浾卟稍L(fǎng)時(shí)也類(lèi)似提到，目前腦機接口的另一個(gè)令人興奮的方向是“語(yǔ)音解碼”。語(yǔ)音解碼腦機接口的工作原理是解碼不能說(shuō)話(huà)的人試圖說(shuō)話(huà)的動(dòng)作，并將其翻譯成合成語(yǔ)音或文本。

　　“這種可能性令人興奮，因為語(yǔ)言是一種非?？焖俚慕涣鞣绞?，但目前的語(yǔ)音腦接機口既缺乏準確性，也缺乏恢復通用會(huì )話(huà)所需的‘詞匯量’。”

　　他強調，解碼語(yǔ)音可能比解碼手寫(xiě)更難，因為它更快，因此需要更高保真度的神經(jīng)記錄和更好的算法來(lái)確保每個(gè)音節都能被準確識別。“因此，就目前而言，我們的手寫(xiě)腦機接口是最快的工作腦機接口，足夠準確，可以恢復普遍的交流，因為用戶(hù)可以用它輸入任何單詞。”

　　盡管如此，Willett仍在努力改進(jìn)語(yǔ)音解碼腦機接口。“我們認為，為手寫(xiě)腦機接口開(kāi)發(fā)的算法也可能對語(yǔ)音解碼非常有用，因為手寫(xiě)和語(yǔ)音都是由語(yǔ)言構成的快速行為序列，它們有很多共同之處。”