天然說話處置，簡稱NLP（Natural language processing），就是用機械來處置人類賴以交換的謄寫筆墨和口頭說話。它應用說話學和統計學，加上機械進修，以便在主動化辦事中對說話舉行建模。

好吧，這是一個幹巴巴的界說。

現實上，NLP是（大概說險些是）全部信息麋集型處置進程的焦點。NLP驅動瞭搜刮引擎、假造小我助理、體系推舉、當代生物醫藥研討、智能和貿易查詢拜訪、花費者洞察

天下上在NLP上投資最多的公司，無出其右，就是谷歌瞭。

我比來訪問瞭谷歌公司的Enrique Alfonseca，請他答復瞭我提出的一些題目。

接下來請看這位技巧大牛的不雅點：

Seth Grimes：你的事情觸及到NLP范疇的多個偏向。那末，請先談一下你今朝的研討主題是甚麼？

Enrique Alfonseca：如今，我的團隊正在研討谷歌搜刮中的問答體系，這許可我和我的同事在我們富有履歷的分歧范疇內配合立異。以我為例，我在信息提取、事宜抽取、文本擇要和信息檢索等方面事情瞭很多年，而這些組合起來，就是問答體系信息檢索用來在收集上探求和排名相幹的段落，信息提取用來辨認詳細工具和搜刮的現實謎底，文本擇要將它以一種簡練的方法出現給用戶。

Seth：那末您谷歌蘇黎世研討院的同事們在研討甚麼課題呢？

Enrique：蘇黎世團隊的事情與谷歌其他辦公團隊及相幹互助產物接洽異常慎密，以是很難為谷歌蘇黎世研討組與谷歌其他部門找出明白的界線。這就是說，蘇黎世的同事們介入到瞭說話處置（文天職析、天生、對話等）、視頻處置、手寫辨認等范疇。

Seth：你們隻做「純」學術研討，照樣你們已在必定水平上影響瞭谷歌的產物門路圖？

Enrique：Alfred Spector、Peter Norvig和Slav Petrov在2012年揭櫫的一篇論文很好地歸納綜合瞭我們的研討思緒。一方面，我們以為做研討須要在產物團隊中舉行，現實上也確切如斯。我們大部門的軟件工程師都有碩士或博士學位和在所研討課題上先前的事情履歷。他們把這份專業常識運用在瞭產物開辟的各個方面，如搜刮質量、告白質量、渣滓檢測等等。與此同時，我們有很多歷久項目，努力於辦理全部谷歌公司應當在將來幾年內辦理的題目。對付大多半的這些題目，我們把龐雜的挑釁細分紅可處置的更小的題目，以便快速提高，同時我們有一起走來影響谷歌產物的目的，這鼓勵著我們向歷久目的邁進。

舉個例子，當我們開端研討文本領件模子時，我們還沒有斟酌到詳細的產物，隻管我們推測懂得消息報導的寄義應當會有許多運用場景。研討瞭一段時光以後，我們意想到，這對付確保收集搜刮中表現的常識圖譜信息與最新報導堅持同步更新是非常有用的。固然我們還沒有獲得精度高、消息籠罩面廣、懂得深刻的模子，但這項技巧已被證實對我們的用戶異常有效。

Seth：你們涉足研討立異結果產物化嗎？在谷歌，是不是有從研討到產物的典范途徑？

Enrique：是的，我們賣力把我們開辟的技巧轉化為產物。假如研討和臨盆是離開處置的，就會有以下這兩個致使掉敗的常見緣故原由。

假如研討團隊沒有切近臨盆須要的話，他們的評價和數據集就有大概沒法充足代表全部產物的現實須要。這在研討團隊攻關賡續更新的產物時特別成題目。除非是間接研討產物自己，不然極可能團隊正在研討的設置將很快被鐫汰，主動結果也沒有會轉化為產物的晉升。

同時，假如把研討的立異結果運用在產物上的人其實不是研討者本身的話，他們極可能不敷懂得新技巧，也就沒法做出準確的決議計劃，好比在產物需求請求你衡量下降一些精確性來削減盤算本錢的時刻。

Seth：在谷歌說話技巧大會上，僅僅Your LT-Accelerate 的展現就占領瞭兩天的集會議程。然則，你籌劃重要商量信息提取和一些別的的主題。你已寫到信息提取長短常艱苦的。你提到的挑釁包含常識庫的實體剖析和同等性題目。那末，起首，「實體剖析」和「常識庫」的界說是甚麼？

Enrique：我們把給定主題筆墨的查訊問題稱為「實體剖析」，常識庫的進口代表誰人主題。比方，假如你的常識庫是維基百科，人們能夠把這個進口用英訂婚義為「Barack Obama」，「Barack」，「Obama」，「美國總統」等等。同時，「Obama」也大概指的是任何有雷同名字的的人，以是這裡存在一個隱約性題目。在字面上，人們也把這個題目稱作實體銜接大概實體消歧。兩年前，谷歌的一些員工宣佈瞭一個實體剖析解釋的超大文集，這個大的收集文集包含對Freebase主題的110億次援用，它是由天下上研討信息提取的研討職員開辟的。

當我們談到常識集，我們指的是實在天下（大概假造天下）的構造化信息，在很多其他運用中，人們可以或許對筆墨舉行說話剖析。這些一樣平常包含主題（觀點和實體）、屬性、幹系、范例條理、推理規矩常識表征和野生、主動常識獵取的研討舉行瞭很多年，然則這些都是遠未辦理的困難。

Seth：那末隱約性、名字婚配、代詞、回指等等各類百般的指代都是挑釁的一部門。整體上，實體剖析的技巧成長狀態若何？

Enrique：指代確切是一個相幹的困難，我以為它應當和實體剖析一路被辦理。

應用分歧的數據集和測試集，成果會變更，然則表述式解釋今朝已到達瞭8-9成的準確率。大多半的數據集，像維基百科和Freebase，大部門是野生構建的，並沒有詳細的運用，而且當用戶應用讓它們舉行實體消岐時，老是湧現題目。

Seth：常識層面的聯貫性題目一樣平常都邑湧現在那裡？是在表達差別當中，界說沒有兼容之間，某個剎時的捕捉，或僅僅就是對究竟的分歧意？（以上就是我以為人類認知上最大大概發生紛歧致的緣故原由。）從用戶的角度來看，紛歧致性是若何影響谷歌這方面表示的？

Enrique：各主題的分歧報導深度，和在分歧的范疇中分歧條理的細節描寫，是常見的題目。依據分歧運用，人們大概想要調劑分辯率體系更傾向辦理提到作為頭部實體或尾實體，和某些實體能夠工資晉升的僅僅是由於它們是在一個更麋集的，收集的更具體的部門中的 常識庫。在此之上，形式被以為進來是本體論準確的，但破例情形產生一樣平常；很多常識基地已建成經由過程歸並數據集分歧的粒度級別，從而激發息爭題目；和維基百科包括未明白與其他縱然他們明顯與他們的話題多「孤兒節點」。

Seth：比方，數據的綜合處置（curation）是一種辦理計劃嗎？就像IBM沃森和 Wolfram Alpha（一個可以或許依據題目間接給出謎底的新一代搜刮引擎）所應用的那種，大概這些挑釁可以或許以算法辦理嗎？除谷歌隻來，另有哪些學術界大概傢當界的公司在這方面做瞭風趣的研討？

Enrique：毫無疑問，手動數據處置manual curation能夠供給部門辦理計劃辦理計劃。同時，假如我們願望能夠事無大小地記載那些冗雜的究竟數據，將全部信息都手動增加出來並讓其堅持永遠更新，這是沒有實際的。主動調和現有的構造化起源，就像數據庫、圖書、體育競賽成果，等等，也是辦理計劃的一部門。我信任它將終極有大概運用在信息提取技巧方面，不論是構造化數據源照樣非構造化數據源，但這也面對著沒有小的挑釁。我之條件到過，「實體剖析」體系的精確率在80%至90%之間。這意味著，對付隨意率性主動提取的實例集，它們中有最少10%會被聯系關系到毛病的實體中這類毛病意味實在例提取模子中的任何毛病都邑在頂部積聚。聚合功效可以或許有用的下降毛病率，但這對付長尾來講就沒那末有用瞭。

工作也有好的一面，那就是這個范疇正在繁華成長在ACL、EMNLP和其他集會上的內容，充足證實這個范疇的飛速成長。經由過程對查詢的語義剖析往返答Freebase（一個相似維基百科的創作同享類網站）上貌同實異的題目，若何將深度進修整合至KB表征和推理義務，更好的將目的和運用於實體剖析的部分模子聯合起來，等等，這些都是在曩昔的十幾年中已獲得主要沖破的幾個題目。

Seth：末瞭，天然說話處置范疇內有甚麼消息和使人高興的工作？

Enrique：一方面，全部行業在小我助理功效上正在快速立異一個能夠經由過程天然對話與人類互動的對象，懂得人們的統統，包含他們的好處和需求等，答復他們的信息需求，在計劃和影象義務不和供給贊助，並能幫忙掌握他們的裝備，以使他們的生涯更舒服。天然說話處置等很多范疇須要改良來使前面提到的歷久願景成為實際，但我們已開端看到它是若何轉變我們的生涯。

在另外一方面，說話和實體之間的幹系將有進一步的成長作為成長產生在機械人范疇，我們將不但是可以或許接地我們的說話剖析瞭假造的常識基本，但在現實的體驗。