眺望新NLP模型：利用人類眼動來提升性能

（本文轉載自公眾號「腦極體」，未經授權不允許二次轉載）

前不久，Facebook一口氣刪除783個「水軍」帳號，原因是存在虛假宣傳和輿論攻擊行為。其中356個Facebook帳戶和162個Instagram帳戶，早在2010年就開始在網絡任性活動了。但由於他們很容易偽裝自己，導致系統根本無法自動清理，最後還是靠手動審查才發現了蛛絲馬跡。

看來，想要讓機器像人一樣精準識別網絡行為背後的意圖，以當前NLP的閱讀理解能力，真的是想太多。

也因此，去年一篇利用人類眼動來提升NLP模型性能的論文，一經問世，就迅速受到關注，為與網絡暴力鬥智鬥勇的程序員們打開了一扇新的技術之窗。

我們不妨就以這個最新研究成果為契機，來猜想一下，技術如何才能打贏這場爭奪網絡話語權的無聲戰爭。

機器之殤：遠不夠完美的RNN

在了解這個新的RNN模型做了哪些創新之前，我想有必要先簡單介紹一下，NLP的世界裡一般是如何使用注意力機制來完成任務的。

以最為常用的序列對序列（sequence to sequence）模型為例，比如說我們要將中文翻譯成英文，如果我們擁有大量的雙語語料，就可以得到兩個知識豐富而結構相似的編碼和解碼網絡，從而訓練出很有效的模型，來實現很好的機器翻譯效果。

但序列模型對機器的記憶力提出了比較殘酷的要求，需要先背誦全文再翻譯，如果是長篇大論，機器就放飛自我了。

於是，注意力模型出現了。

試想一下，人類是如何翻譯的（此處致敬高考英語老師）：先完整地讀完整個句子，結合上下文理解大概含義，然後對關鍵單詞和短語重點思索，再着手進行翻譯。

而注意力模型試圖模仿的正是人類這種理解能力。它被設計成一個雙向的RNN網絡，每個單元由LSTM或GRU組成，能夠向前和向後獲取信息，通俗點說就是「聯繫上下文」。

每次翻譯時，注意力模型會根據待翻譯部分以及上下文，給予不一樣的注意力（權重參數），接着循序漸進地翻譯出整段話。

注意力機制解決了傳統神經機器翻譯中基於短語的生搬硬套，但並不意味着毫無缺陷。

它的不完美主要體現在三個方面：

1.需要大規模標註數據。

原始RNN在解碼過程中，機器的焦點是分散在整個序列當中的，需要先對序列上的每個元素進行標記，再進行對齊操作。裡面就包含了詞性標註、CHUNK識別、句法分析、語義角色識別，甚至包括關鍵詞抽取等很多子任務，顯然不是一個小工程。

2.增加額外運算負擔。

人類在閱讀時，並不關注所有的字，往往會自動忽略掉不想關注或無意義的部分，只重點處理關注需要注意的那一部分。比如「Courage is like a muscle」中，「Courage」和「muscle」就會讓人多看兩眼。這樣做不僅能夠降低任務的複雜度，還能避免腦負荷過載。

而NLP的注意力機制雖然是在模仿人類行為，但機器必須對所有對象進行處理和計算，還要用一個矩陣去存儲不同字節的權重，這些都增加了額外的運算壓力和成本。

3.容易出現歸納偏置。

通俗點說，就是機器在遇到某種沒有見過的東西時，會傾向於給出一個簡單的預測或判斷，以此來決定輸出規則。

比如通過分析，它認為出現「but」「不」等單詞，就說明對方會開始釋放負面甚至攻擊性的語言了。但要是遇上「我跳起來反手就是一個麼麼噠」之類玩梗的騷操作，可能就會誤傷友軍。

了解了注意力機制的基本工作方式，我們就趕緊來看看這項新的研究成果，究竟是憑什麼驚艷了整個學界吧。

NLP希望之鑰，還掌握在人類手中

一句話概括，就是論文作者Maria Barrett和她的同事們，將人類在閱讀時的眼部動作引入了RNN網絡的訓練中，使其能夠在標註型文本和人類注意力信息之間來回切換，以此獲得性能更好的循環神經網絡。

具體是怎麼實現的呢？

首先，研究人員利用兩個公開的眼動追蹤語料庫：Dundee Corpus和ZuCo Corpus來研究人類的注意力機制。

其中，Dundee Corpus包含了20篇報紙文章，共2368個句子，閱讀屏幕可以感知眼部動作。ZuCo Corpus則包含了1000個單獨的英語句子，有一部分來自斯坦福情感樹庫，通過紅外染色儀來記錄眼睛運動和面部情緒分析。

根據這些人類閱讀語料時的眼睛動作追蹤數據（比如注視持續時間MEAN FIX DUR），得到了一個「人類注意力」的數據集。

第二步，使用人類眼動數據集與標註好的序列數據集，來共同訓練RNN模型。

從兩個數據集中隨機選擇一個數據，讓機器判斷屬於哪一個數據集。

如果屬於序列數據集，則進一步判斷該句子的類別，計算並預測標籤blabla；如果屬於人類眼動數據集，則計算每個單詞的權重（即attention值），再進行歸一化（最小平方差）處理。

那麼，經受了人機雙重挑戰的新RNN網絡效果如何呢？接下來，研究人員通過三個任務對其性能進行了測試：

任務一：句子情感分析。使用新RNN來檢測機器是否能識別出數據集（SEMEVAL TWITTER POS | NEG）中的負面句子和非負面句子；

任務二：語法錯誤檢測。讓新的RNN閱讀經專家注釋的英語論文（數據集FCF），並找出其中的語法錯誤，與正確的句子區分開；

任務三：暴力語言檢測。研究人員安排了20940條設計性別歧視和種族主義等辱罵型語言的推特（數據集Waseem和Hovy），來對新的RNN進行測試。

最終的實驗結果顯示，加入了人類注意力訓練之後的RNN，找重點的能力，以及預測的精準程度，要遠高於原本的序列模型。

這項研究成果很快就引起了反響，並獲得了NLP頂會CoNLL 2018年度最佳研究論文特別獎。

那麼，接下來請回答一道送分題：這項成果有何特別之處？

RNN的一小步，NLP的一大步

將人類注意力引入機器學習算法的訓練，究竟有何意義？我來搶答一下：

首先，降低了對序列分類標註語料的依賴，讓NLP模型的訓練有了更多可能性。

讓機器學習注意力函數需要非常大規模的數據，結果就是讓開發者不得不陷入爭奪計算資源的「金錢戰爭」。該項研究為 NLP 中的許多注意力函數提供一個不錯的歸納偏置性能，同時還不要求目標任務數據帶有眼睛跟蹤信息，直接減少了數據需求量。

其次，是從語義到推理的性能跨越。

傳統的序列到序列模型和RNN網絡，只能解決語義理解問題，而該論文證明，使用人眼注意力來規範機器的注意力功能，可以讓一系列NLP任務實現顯著改善，甚至觸及了常識、推理等認知能力。

機器能從「凝視」信息中獲取對多重表達、情緒分析的精準判斷，某種程度上已經學會了模擬人類的注意力。

以後機器也許就能夠輕鬆挑戰女朋友說「我沒有不高興」這樣雙重否定表否定的高難度閱讀理解了。是不是很期待呢？

而最重要也最接地氣的，則是新模型帶來的網絡衝浪體驗革命了。

研究團隊認為，該模型很快就能夠在一些比較關鍵的實際應用中，判斷網絡文本的犯罪意圖、評論信息和情感傾向。

比如通過帖子或推文的訓練，幫助微博/推特/臉書等社交媒體精準識別出惡意評論的槓精和廢話連篇的水軍，並予以精準過濾和清楚，營造一個更美好的社區氛圍；

再比如通過淘寶/亞馬遜/Yelp，以及各種應用商店中不同類別的反饋，對特殊屬性（衣服的尺寸、使用感受）和商品評價的不同反饋進行分類和提取，幫助商家優化經營，並精準打擊刷單等欺騙行為。

除此之外，該模型還能根據意圖對文本進行分類，比如在遇到緊急問題或檢測到請求幫助的需求（發出帶有自殺或發社會傾向的推文或聊天記錄）時，能夠及時通知執法人員，從而避免災難性事件的發生。

這樣一對比，是不是感覺一個「機器懂我、天下無槓」的美麗新世界在向你招手呢？

再說一點

由此延展到整個AI領域，或許可以發現，人類和智能機器，本質上在做着同樣的事情，只不過AI的功能是將其抽象化並用新的邏輯演繹出來，然後人類給它投餵數據，它消化之後返還給我們或理想或智障的結果……

而機器的內化過程，一直遭遇着黑箱性的詬病，越來越龐大的神經網絡層和數據需求量，也已經讓研究者不堪重負。

前路在哪裡？或許那張大家快看吐了的人類與機器人指尖對指尖的圖，正印證着機器學習的未來，那就是：人機協同。

越來越多的研究者開始將人類推理和決策行為引入到機器訓練之中，比如MIT和微軟在訓練無人駕駛汽車時，開始讓它們從人類反饋中找到認知盲點，以此應對那些模糊決策情境。

DeepMind和OpenAI讓沒有技術經驗的人類控制員來選擇預期目標，並以此訓練激勵預期側，讓智能體根據人類的偏好改進自己的行為，最終完成複雜的任務目標，比如後空翻；基於人眼注意力的新RNN網絡也是如此。

這種改變，可以被歸結為深度學習的階段性技術瓶頸，只能靠向人類借力來攻破。

但從某種意義上來說，與人類攜手，將人類的抽象能力與計算機系統邏輯進行更高耦合度的融合，可能才是機器智能更現實也更有效的解決方案。

肯尼迪的那句話放在AI的世界裡依然無比適合——不要問機器為你做了什麼，要問你能為機器做些什麼。相比於等待機器自我迭代到成熟的那一天來服務我們，參與「智能養成遊戲」不是更令人期待嗎？