[發明專利]使用AI引導操縱的視頻優化交互結果

在審

• 申請號: 202010788167.4
• 申請日: 2020-08-07
• 公開（公告）號: CN112348734A
• 公開（公告）日: 2021-02-09
• 發明（設計）人: V·C·馬圖拉;P·Y·德奧勒;S·喬普德卡;S·V·德沙姆卡
• 申請（專利權）人: 阿瓦亞公司
• 主分類號: G06T3/00
• 分類號: G06T3/00;G06K9/00;G06N20/00;H04L12/58
• 代理公司: 中國貿促會專利商標事務所有限公司 11038
• 代理人: 劉前紅

本發明涉及使用AI引導操縱的視頻優化交互結果。對人類的視頻圖像的實時修改允許對視頻進行修改，使得可以改變主體人的表情。如果客戶服務代理顯示適當的面部表情，例如提供特定的情緒狀態，則客戶服務代理可以具有與客戶更成功的交互。通過確定適當的面部表情以及與客戶服務代理當的前表情的任何偏差，可以確定并應用對客戶服務代理的視頻圖像的修改。結果，代理可以沒有最適合成功解決交互目的的面部表情，以向客戶呈現最適合的面部表情。

版權聲明

本專利文件的公開內容的一部分包含受版權保護的材料。版權所有者不反對任何人傳真復制在專利商標局專利文件或記錄中出現的該專利文件或專利公開內容，但以其他方式保留所有版權。

技術領域

本發明總體上涉及用于視頻圖像處理的系統和方法，尤其涉及更改視頻圖像中的人類的表情。

背景技術

客戶服務代理的視頻圖像提供了讓客戶看到代理的能力，并且可以促進他們之間的更好交互以解決特定問題。已經知道的是，人類的舉止(包括面部表情)會積極或消極地影響交互的結果。當前，對代理進行輔導和培訓以提供適當的面部表情，從而驅動交互的可能最佳結果——他們是否知道要做什么，以及他們是否心情良好。培訓、通話之前的輔導以及“通話中”的實時提示/輔導可能會有所幫助，但它們仍然依賴于代理將這些指示轉換為適當的面部表情的能力。雖然可以使用可被編程為提供期望的準確面部表情的頭像(avatar)，但是頭像不傳達真人的個人形象。當客戶與代理的頭像交互時，交互可能無法提供客戶看到代理的期望益處。

發明內容

人們利用視覺來接收關于我們與之交互的其他人的非語音信息。如果一個人的話語與他們的表情不匹配，則此人可能會被認為是不值得信任的或不真誠的。由于不幸的事件錯過了航班的旅行者可能會與代理聯系以重新預訂他們的旅行。如果代理盡管提供了安慰和理解的話，但仍在微笑或表情中性，則客戶可能會得出結論：這些話僅僅是說說而已，這些話背后沒有任何的誠意。相反，如果代理的表情是驚訝或擔憂之一，所說的話可能會被賦予更多的誠意。然而，如果合適，相沖突的說話內容和表情可能并不總是導致負面的看法，例如，微笑著說“對不起，但請別擔心，我會讓您登上下一趟航班”的代理可能獲得被感覺為友好和支持性的益處，以及消除非常有可能對旅行者造成壓力的情景。但是，表情可能只是程度的問題。咧嘴大笑可能被感覺為被旅行者的困境逗樂，或者被相機未捕捉到的有趣事物分散了注意力，但稍微微笑可能被更好地感覺為讓人感到放心和友好。然而，如果表情最初是驚喜/擔憂之一，然后是輕輕微笑，那么這將提供最佳效果，因為客戶會了解到代理對客戶陷入的這個情況感到同情。

通過本發明的各種實施例和配置滿足了這些和其他需求。取決于特定配置，本發明可以提供許多優點。這些和其他優點將從本文包含的本發明的公開內容顯而易見。

在一個實施例中，提供了面部變換技術(FTT)以操縱呈現給觀看視頻的客戶或其他方的代理面部的視頻圖像，從而改善客戶感知并改善交互的結果。

在另一個實施例中，提供了人類標記和/或機器觀察，以在交互期間進行觀察，從而注意代理何時使用特定表情(例如，微笑、眉弓、關心的注視等)，以及通話的狀態和情景(例如，主題、交互時間、語音中的情感、情感軌跡、已交換或將要交換的信息)和交互或交互的子階段的結果，以創建/修改培訓數據庫。然后，使用機器學習來識別在通話的狀態和/或情景下最好的結果和相關聯的表情，以確定表情的最佳實踐，以便優化未來的交互。在另一個實施例中，提供了一種實時的系統，該系統使用機器學習確定的最佳實踐和/或其他輸入來在交互期間操縱視頻流中的代理面部，以便更改或進一步確保交互的結果。

在另一個實施例中，可以將交互配對并提供不同的視頻修改，并且對交互的結果進行評估以進一步優化交互并識別哪些修改是成功的和/或某些修改在什么時候是成功的。