文章作者：潘路 美團(tuán)點(diǎn)評(píng) 資深算法專家

編輯整理：凌銘

內(nèi)容來(lái)源：2019知識(shí)圖譜前沿技術(shù)論壇

出品社區(qū)：DataFunTalk

注：歡迎轉(zhuǎn)載，轉(zhuǎn)載請(qǐng)?jiān)诹粞詤^(qū)內(nèi)留言。

導(dǎo)讀：目前為止 IT 產(chǎn)業(yè)經(jīng)歷了六次浪潮，分別為：大型機(jī)時(shí)代，小型機(jī)時(shí)代，個(gè)人電腦時(shí)代，桌面互聯(lián)網(wǎng)時(shí)代，移動(dòng)互聯(lián)網(wǎng)時(shí)代和 AIOT 時(shí)代。在這些時(shí)代背后可以發(fā)現(xiàn)是人機(jī)交互方式的變化：從鼠鍵交互，到觸控交互，再到語(yǔ)音智能交互，可以看到人機(jī)交互的方式在向更自然更直接化的方式演進(jìn)。今天會(huì)和大家分享基于知識(shí)圖譜的問答在美團(tuán)智能交互場(chǎng)景中的應(yīng)用和演進(jìn)。

今天的介紹會(huì)圍繞下面三點(diǎn)展開：

• 智能交互背景介紹
• 受限場(chǎng)景問答應(yīng)用和演進(jìn)
• 復(fù)雜場(chǎng)景問答應(yīng)用和演進(jìn)

——智能交互背景介紹——

1. 智能交互的劃分

智能交互的劃分基本上是根據(jù)人類需求拆分：

• 檢索式交互—信息獲取，比較經(jīng)典的方法 FAQ：QA 匹配，QQ 匹配；
• 任務(wù)式交互—執(zhí)行任務(wù)，比如訂機(jī)票 ( 酒店 ) 的特定任務(wù)；
• 閑聊式交互—娛樂與休閑，基于深度學(xué)習(xí)的端到端的學(xué)習(xí)系統(tǒng)。

2. 美團(tuán)生活服務(wù)交互

美團(tuán)是做生活服務(wù)的公司，覆蓋了餐飲、娛樂、酒店和旅游等各個(gè)生活領(lǐng)域，以上這么多種領(lǐng)域更適合哪種智能交互方式，以及智能交互方式是如何在場(chǎng)景中落地的，下文中都會(huì)進(jìn)行說(shuō)明。

3. 美團(tuán) APP 中的交互

下面先舉個(gè)例子，首先在商超場(chǎng)景下我們分析使用路徑發(fā)現(xiàn)，接近4成的用戶在商品 A 加入購(gòu)物車后，會(huì)去查看其他商家與商品 A 相似的商品。這個(gè)行為很明顯是一個(gè)商品比較的訴求，而該訴求通過目前的功能交互方式很難完成。

再舉個(gè)例子，在打車場(chǎng)景下我們打車需要在 app 中進(jìn)行12-14次頁(yè)面交互，app 交互比較瑣碎。而語(yǔ)言智能交互只需要簡(jiǎn)單的一句話就能完成，比如"幫我叫個(gè)快車，今天下午三點(diǎn)從天安門到北京西站"。

以上交互的場(chǎng)景對(duì)知識(shí)有重要的依賴，需要使用知識(shí)幫助人們完成選擇：

• 餐飲：熱門商家，人均價(jià)格，推薦菜，適合人群，食材等；
• 商超：附近商家，距離，促銷商品，配送費(fèi)，價(jià)格等；
• 電影：上映日期，導(dǎo)演，影片類型，影院，票價(jià)等；
• 酒店：房型，評(píng)價(jià)，星級(jí)，空調(diào)，早餐，價(jià)格等。

由于交互對(duì)知識(shí)有重要依賴，于是我們引入了基于知識(shí)圖譜的問答 KBQA。

4. KBQA 特點(diǎn)

由上表可以看到，KBQA 相對(duì)于其它技術(shù)的特點(diǎn)：

• 數(shù)據(jù)準(zhǔn)備：KBQA 處于劣勢(shì)，需要建構(gòu)知識(shí)圖譜，專業(yè)領(lǐng)域人參與并且較為復(fù)雜。
• 數(shù)據(jù)管理：KBQA 為知識(shí)結(jié)構(gòu)易于管理和維護(hù)。
• 意圖判斷：KBQA 需要判斷意圖，定位到意圖下面的子圖，從而對(duì)子圖進(jìn)行檢索，這樣精度比較高。
• 問題類型：可支持多跳，帶有約束的計(jì)算和推理，較為靈活。
• 結(jié)果精準(zhǔn)性：由于知識(shí)結(jié)構(gòu)，回答的精確性會(huì)比較高。
• 輪次：對(duì)于多輪問答能夠很好完成。

——受限場(chǎng)景問答——

1. 什么是受限場(chǎng)景

受限場(chǎng)景有以下兩個(gè)特征：

• 交互意圖和需求在確定性范圍
• 知識(shí)與資源處于封閉、收斂空間

例如到店點(diǎn)餐，點(diǎn)餐的意圖確定，并且資源也是有限的，商家和菜品都是確定的；同樣，機(jī)票預(yù)訂起落地點(diǎn)、倉(cāng)位、價(jià)格、人數(shù)也是有限的；打車意圖是明確的，而地點(diǎn)可以任意選擇不是受限的，但是可通過高頻的地標(biāo)建立受限的地點(diǎn)。

下面，會(huì)介紹一些受限場(chǎng)景具體實(shí)現(xiàn)方案。

2. 傳統(tǒng)基于知識(shí)圖譜的問答

首先介紹的是傳統(tǒng)基于知識(shí)圖譜的問答，該類問答主要分成兩大流派：

• Semantic Parsing-based KB-QA把用戶的問題轉(zhuǎn)換為機(jī)器的查詢語(yǔ)句，直接查詢知識(shí)圖譜獲取答案。
• Information Retrieval-based KB-QA使用端到端的方式解決問題。先抽取用戶問題中核心信息，然后根據(jù)核心信息定位到圖譜中確定子圖 ( 子集 )，最后生成答案。生成答案有兩種方式：① 子圖的候選答案形成三元組逆向推導(dǎo)生成自然語(yǔ)言的問題和用戶原始問題做匹配② 子圖候選答案和周圍的信息做 embedding 與原始問題 embedding 做匹配。

3. Semantic Parsing

通過《Semantic Parsing on Freebase from Question-Answer Pairs, EMNLP 2013》這篇論文介紹 Semantic Parsing 的幾個(gè)步驟：

• 把問句的詞語(yǔ)或者單詞與知識(shí)庫(kù)的實(shí)體或者關(guān)系進(jìn)行映射，映射構(gòu)成葉子節(jié)點(diǎn)。
• 直接對(duì)葉子節(jié)點(diǎn)使用鏈接、求交和聚合三種操作自下向上構(gòu)建語(yǔ)法樹。
• 這三種操作中會(huì)存在多顆語(yǔ)法樹，需要構(gòu)建一個(gè)分類器把正確的語(yǔ)法樹區(qū)分出來(lái)。最終語(yǔ)法樹的根節(jié)點(diǎn)則為輸出的查詢語(yǔ)句。

Semantic Parsing 會(huì)有一些局限，需要大量的自然語(yǔ)言邏輯表達(dá)式的標(biāo)注，并且只能滿足有限的場(chǎng)景和邏輯表達(dá)。而 Information Retrieval 可以改進(jìn) Semantic Parsing 的限制。

4. Information Retrieval

同樣，通過《Question Answering over Knowledge Base with Neural Attention Combining Global Knowledge Information, arxiv 2016》闡述 Information Retrieval 的幾個(gè)步驟：

• 問題編碼，問題使用雙向 lstm 并加入答案的 attention 編碼；
• 答案編碼，把所有答案分成四塊進(jìn)行編碼，分別為答案本身編碼，答案到實(shí)體邊的關(guān)系編碼，答案類型編碼和答案上下文編碼；
• 匹配，使用問題編碼和答案編碼進(jìn)行匹配，最終輸出排名最高的作為匹配答案。

5. 效果比較

在 WebQuestion 數(shù)據(jù)集可以看到，Semantic Parsing+DeepLeanring 效果表現(xiàn)最好 f1 值在45-55之間。Information Retrieval 的端到端在復(fù)雜問題處理上表現(xiàn)不太好。

6. 面向美團(tuán)場(chǎng)景

針對(duì)美團(tuán)的場(chǎng)景技術(shù)如何選型呢？首先美團(tuán)領(lǐng)域比較多，但是每個(gè)領(lǐng)域之間的關(guān)聯(lián)不是很強(qiáng)，其次模型的訓(xùn)練樣本也比較少，希望能快速實(shí)現(xiàn)領(lǐng)域之間遷移。Semantic Parsing 需要大量的自然語(yǔ)言標(biāo)注樣本，而 Information Retrieval 的可解釋性在目前工業(yè)界稍微差些。

我們做法將這兩者技術(shù)流派優(yōu)點(diǎn)結(jié)合起來(lái)，通過 Information Retrieval 精確定位到有限空間的子圖中，Semantic Parsing 生成可解釋性的查詢語(yǔ)句。那么技術(shù)步驟為首先做實(shí)體識(shí)別和鏈接，其次確定子圖，之后做關(guān)系識(shí)別，最后 SparQL 查詢輸出結(jié)果。這樣的優(yōu)點(diǎn)為可通過規(guī)則和無(wú)監(jiān)督冷啟動(dòng)快速進(jìn)行遷移。

7. 小結(jié)

在受限場(chǎng)景的問答，其特征為資源內(nèi)容、交互輪次、知識(shí)外延和意圖都是有限的；它可以實(shí)現(xiàn)基礎(chǔ)屬性問答、帶約束的資源查詢、動(dòng)態(tài)屬性值計(jì)算和資源信息比較。

——復(fù)雜場(chǎng)景問答——

1. 復(fù)雜場(chǎng)景定義

在美團(tuán)，絕大多數(shù)都是復(fù)雜場(chǎng)景的問答。與簡(jiǎn)單場(chǎng)景相比，其交互意圖與需求從確定的空間到模糊的空間，資源從封閉的數(shù)量到開放的數(shù)量。

這里舉三個(gè)例子：

"百威啤酒有沒有便宜的？"，在商家點(diǎn)餐的受限場(chǎng)景下，百威啤酒指代就是商家所賣的幾款百威啤酒；但是在智能音箱的復(fù)雜場(chǎng)景，百威啤酒指代的是家旁邊的超市所賣的百威啤酒還是旁邊酒吧做活動(dòng)的百威啤酒呢？

"下午四點(diǎn)鐘的復(fù)聯(lián)四還有沒有 IMAX 票了？"，假設(shè)已經(jīng)識(shí)別復(fù)聯(lián)四為一個(gè)電影，下午四點(diǎn)的時(shí)間如何與電影關(guān)聯(lián)起來(lái)，另外 IMAX 票為影廳的一個(gè)屬性如何與電影關(guān)聯(lián)起來(lái)呢？

"第一個(gè)銷量多少？"，很明顯用戶在多輪問題所問的，那么第一個(gè)指代的是什么呢？

2. 方案概述

以上三個(gè)例子，我們可以歸納成三大問題：實(shí)體爆炸、非連通查詢和融合上下文。

3. 知識(shí)建設(shè)面臨的挑戰(zhàn)

我們先介紹實(shí)體爆炸的問題。傳統(tǒng)的開放域知識(shí)圖譜是根據(jù)實(shí)體上層的概念節(jié)點(diǎn) ( 抽象物理空間 ) 去建設(shè)的。比如：宮保雞丁、青島啤酒、復(fù)聯(lián)四，它們不是商家賣的商品，就是一個(gè)抽象的概念。但是美團(tuán)場(chǎng)景下，面臨了挑戰(zhàn)，比如：青島啤酒原漿 5L 桶裝 ( xxx超市，條形碼:yy… )，青島啤酒10度 500ml ( xxx超市，條形碼:yy… ) 等這些都是實(shí)實(shí)在在商家賣的商品。這些實(shí)體如何與用戶資源關(guān)聯(lián)起來(lái)，并且把這些實(shí)體匯聚起來(lái)？

4. 三層概念節(jié)點(diǎn)

我們提出三層概念節(jié)點(diǎn)：產(chǎn)品/標(biāo)品、同構(gòu)非標(biāo)品和異構(gòu)純概念

• 產(chǎn)品/標(biāo)品

能區(qū)別不同商品類別的屬性稱為標(biāo)品類概念，比如條形碼可對(duì)商品做明確的區(qū)分，除此之外還有名稱、尺寸和規(guī)格等等屬性，這些屬性一致就稱為同類商品。

• 同構(gòu)非標(biāo)品

其定義為相同本體下，要求某些特殊屬性相同。沒有明確的屬性做商品類別的區(qū)分，但是特殊的屬性可以做區(qū)分，比如青島啤酒、車?yán)遄?JJ 級(jí)等，他們的品牌相同，等級(jí)相同、類型相同。這些概念可以作為商品檢索詞。

• 異構(gòu)純概念

異構(gòu)純概念脫離了本體的概念，是由人類自行組織構(gòu)建，形成的認(rèn)知。比如消費(fèi)的人群、消費(fèi)的商圈，稱之為異構(gòu)純概念。其給予場(chǎng)景化問答提供非常大的幫助。

5. 概念存儲(chǔ)

我們借鑒了 Freebase CVT 的存儲(chǔ)，將概念節(jié)點(diǎn)當(dāng)作節(jié)點(diǎn)，真實(shí)售賣的商品為概念節(jié)點(diǎn)的 CVT 子節(jié)點(diǎn)，把 CVT 相似的屬性比如名稱和品牌等抽取出來(lái)作為概念的屬性。

6. 概念引入效果

① 實(shí)體鏈接的優(yōu)化

舉個(gè)例子，咖啡在沒有概念的情況下，我想要咖啡會(huì)鏈接到很多資源 ( 咖啡類、咖啡店和超市賣的速溶咖啡等 )；當(dāng)概念引入后，會(huì)鏈接到概念節(jié)點(diǎn)上，再基于概念做鏈接和消歧，那么就能直接鏈接到商家、品類和商品上，并且若用戶沒有召回資源的真實(shí)訴求，不會(huì)進(jìn)入下一個(gè)實(shí)體層去查詢。

② 優(yōu)化信息查詢和對(duì)比類查詢能力

假設(shè)用戶查詢"青島啤酒和百威啤酒哪個(gè)便宜"在沒有概念的情況下，要查詢成千上萬(wàn)個(gè)商品去做比較，但是概念的引入，只需要在概念層進(jìn)行比較。

③ 缺失屬性補(bǔ)全

用戶在金百萬(wàn) ( 中關(guān)村店 )，問番茄炒蛋味道如何？假設(shè)知識(shí)圖譜不存在番茄炒蛋在這家店的味道，該如何回答呢？

有兩種方式：

第一，若存在番茄炒蛋概念且這個(gè)概念有味道屬性，可使用這個(gè)概念的味道屬性填充該問題；

第二，更好的方式：找到用戶問題最相似的子節(jié)點(diǎn)，即金百萬(wàn) ( 中關(guān)村店 ) 的子節(jié)點(diǎn)，發(fā)現(xiàn)其定義了番茄炒蛋和其味道屬性，可拿該味道進(jìn)行填充。

7. 非連通查詢

在非連通查詢中會(huì)存在屬性傳遞 ( 傳遞約束 ) 的問題，舉幾個(gè)例子：

• "我想吃簋街的小龍蝦"，簋街為一個(gè)商圈其不能與小龍蝦直接相連接；
• "幫我找個(gè)辣的餐廳"，辣為菜的口味不能與餐廳直接相連接；
• "幫我看一下下午4點(diǎn)復(fù)聯(lián)四還有沒有票"，復(fù)聯(lián)四與排片時(shí)間也不能直接關(guān)聯(lián)。

① 屬性傳遞

路徑游走有兩種方式：

• 一是實(shí)體關(guān)系路徑游走，例如"簋街 -> 胡大飯店簋街總店 -> 麻辣小龍蝦 -> 小龍蝦"。
• 二是本體的路徑發(fā)現(xiàn)，游走方式為"簋街 -> 地址(本體)-> 訂單(本體)-> 菜品(本體)-> 小龍蝦"。

② 在線路徑查詢

基于上面路徑發(fā)現(xiàn)之后，融入到現(xiàn)有的流程中，當(dāng)用戶輸入"幫我找個(gè)辣的餐廳"，首先做路徑的發(fā)現(xiàn)，"餐廳->類型->眉州東坡->推薦菜->毛血旺->口味->辣"，再形成 SparQL 查詢語(yǔ)句，得到結(jié)果就能回答用戶的問題。

③ 離線關(guān)系發(fā)現(xiàn)

既然眉州東坡大多數(shù)推薦菜的口味是辣的，那么可以構(gòu)建眉州東坡口味的邊為辣。同樣發(fā)現(xiàn)簋街多跳之后特色菜為小龍蝦，那么也可以構(gòu)建簋街的特色菜為小龍蝦.....由此可見，在離線把邊補(bǔ)充足夠成分，那么在線路徑查詢的壓力要小很多。

8. 融合上下文

用戶在外賣點(diǎn)餐的真實(shí)場(chǎng)景中，首先通過任務(wù)型交互給到用戶的商家列表，用戶可選擇商家以及對(duì)應(yīng)的菜譜，然后從購(gòu)物車?yán)锖Y選內(nèi)容，最后下單。這個(gè)場(chǎng)景為狀態(tài)遷移的多輪交互任務(wù)。我們想在該場(chǎng)景中融合問答，那么用戶在商家狀態(tài)下問該商家的推薦菜品，在菜品狀態(tài)問菜品口味，在購(gòu)物車狀態(tài)問優(yōu)惠券，也可以在下單后問訂單的狀態(tài)。那么可以將任務(wù)型多元交互系統(tǒng)和問答系統(tǒng)融合起來(lái)。

我們提出了兩點(diǎn)改造：

• 理解層、生成層和輸出層適配多輪交互模塊。
• 解耦 KBQA 內(nèi)部組件，可獨(dú)立被外部模塊調(diào)用。

在改造過程中遇到兩個(gè)難點(diǎn)：

• 理解復(fù)雜性提升，需要理解上下文的傳入槽位、id 與意圖。
• 執(zhí)行復(fù)雜性提升，融合了問答之后任務(wù)狀態(tài)可隨時(shí)打斷或者變更。

具體的架構(gòu)改造為：

• 理解層，加入了意圖重定向、指代消解、ID Schema 提取和槽位復(fù)用等。
• 生成層，Session 槽位對(duì)齊、Session Function 構(gòu)造等。
• 輸出層，不會(huì)輸出答案本身，而是輸出查詢 Function 和意圖。

7. 小結(jié)

在復(fù)雜場(chǎng)景問答中，表述與意圖空間、資源內(nèi)容、交互輪數(shù)、知識(shí)外延都是寬泛的。在該場(chǎng)景下不僅僅只有優(yōu)化算法本身，還需要知識(shí)建設(shè)和多輪交互系統(tǒng)做一個(gè)聯(lián)動(dòng)的優(yōu)化。

分享嘉賓

?

潘路

美團(tuán)點(diǎn)評(píng) | 資深算法專家

——END——