[發(fā)明專利]數(shù)據(jù)處理方法、裝置、設(shè)備及可讀存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202111058746.4
• 申請(qǐng)日: 2021-09-09
• 公開(kāi)（公告）號(hào): CN113780993A
• 公開(kāi)（公告）日: 2021-12-10
• 發(fā)明（設(shè)計(jì)）人: 俞翼飛
• 申請(qǐng)（專利權(quán)）人: 平安科技（深圳）有限公司
• 主分類號(hào): G06Q10/10
• 分類號(hào): G06Q10/10;G06K9/62;G06K9/00;G06F16/332
• 代理公司: 廣州三環(huán)專利商標(biāo)代理有限公司 44202
• 代理人: 熊永強(qiáng)

本申請(qǐng)實(shí)施例公開(kāi)了一種數(shù)據(jù)處理方法、裝置、設(shè)備及可讀存儲(chǔ)介質(zhì)，涉及人工智能技術(shù)，其中，方法包括：獲取用戶在面試過(guò)程中的多媒體數(shù)據(jù)；提取語(yǔ)音數(shù)據(jù)中的N個(gè)關(guān)鍵信息并基于N個(gè)關(guān)鍵信息對(duì)語(yǔ)音數(shù)據(jù)進(jìn)行劃分，得到N個(gè)語(yǔ)音片段；分別獲取N個(gè)語(yǔ)音片段的時(shí)間信息，基于N個(gè)語(yǔ)音片段的時(shí)間信息對(duì)視頻數(shù)據(jù)進(jìn)行劃分，得到N個(gè)視頻片段；分別對(duì)N個(gè)視頻片段進(jìn)行識(shí)別，確定N個(gè)視頻片段中每個(gè)視頻片段對(duì)應(yīng)的類別信息，類別信息包括第一類別或第二類別；基于N個(gè)視頻片段中每個(gè)視頻片段對(duì)應(yīng)的類別信息與預(yù)設(shè)面試規(guī)則確定用戶的面試結(jié)果。采用本申請(qǐng)實(shí)施例，可以提高數(shù)據(jù)處理的準(zhǔn)確性。

技術(shù)領(lǐng)域

本申請(qǐng)涉及人工智能技術(shù)領(lǐng)域，尤其涉及一種數(shù)據(jù)處理方法、裝置、設(shè)備及可讀存儲(chǔ)介質(zhì)。

背景技術(shù)

在使用智能面試系統(tǒng)進(jìn)行面試的場(chǎng)景中，或者，在基于遠(yuǎn)程面試的場(chǎng)景中，由于面試官不能面對(duì)面觀察到面試者的表情，或者，由于面試官經(jīng)驗(yàn)不足等因素，導(dǎo)致面試官不能準(zhǔn)確地判斷面試者回答問(wèn)題的真實(shí)性。從而導(dǎo)致招聘到的求職者不能很好的適應(yīng)該工作崗位，浪費(fèi)人力物力成本。因此，如何提高視頻識(shí)別的準(zhǔn)確性，進(jìn)而判斷面試者在面試過(guò)程中回答問(wèn)題的真實(shí)性，提高數(shù)據(jù)處理的準(zhǔn)確性是亟待解決的問(wèn)題。

發(fā)明內(nèi)容

本申請(qǐng)實(shí)施例提供一種數(shù)據(jù)處理方法、裝置、設(shè)備及可讀存儲(chǔ)介質(zhì)，可以提高數(shù)據(jù)處理的準(zhǔn)確性。

第一方面，本申請(qǐng)?zhí)峁┮环N數(shù)據(jù)處理方法，包括：

獲取用戶在面試過(guò)程中的多媒體數(shù)據(jù)，該多媒體數(shù)據(jù)包括語(yǔ)音數(shù)據(jù)和視頻數(shù)據(jù)；

提取該語(yǔ)音數(shù)據(jù)中的N個(gè)關(guān)鍵信息，基于該N個(gè)關(guān)鍵信息對(duì)該語(yǔ)音數(shù)據(jù)進(jìn)行劃分，得到N個(gè)語(yǔ)音片段，一個(gè)關(guān)鍵信息對(duì)應(yīng)一個(gè)語(yǔ)音片段，該一個(gè)關(guān)鍵信息為該用戶針對(duì)一個(gè)預(yù)設(shè)問(wèn)題的回答信息；

分別獲取該N個(gè)語(yǔ)音片段的時(shí)間信息，基于該N個(gè)語(yǔ)音片段的時(shí)間信息對(duì)該視頻數(shù)據(jù)進(jìn)行劃分，得到N個(gè)視頻片段，一個(gè)語(yǔ)音片段對(duì)應(yīng)一個(gè)視頻片段，一個(gè)語(yǔ)音片段的時(shí)間信息與該語(yǔ)音片段對(duì)應(yīng)的視頻片段的時(shí)間信息相同；

分別對(duì)該N個(gè)視頻片段進(jìn)行識(shí)別，確定該N個(gè)視頻片段中每個(gè)視頻片段對(duì)應(yīng)的類別信息，該類別信息包括第一類別或第二類別，該第一類別用于反映該用戶針對(duì)預(yù)設(shè)問(wèn)題的回答為真，該第二類別用于反映該用戶針對(duì)預(yù)設(shè)問(wèn)題的回答為假；

基于該N個(gè)視頻片段中每個(gè)視頻片段對(duì)應(yīng)的類別信息與預(yù)設(shè)面試規(guī)則確定該用戶的面試結(jié)果。

結(jié)合第一方面，在一種可能的實(shí)現(xiàn)方式中，該提取該語(yǔ)音數(shù)據(jù)中的N個(gè)關(guān)鍵信息，包括：

對(duì)該語(yǔ)音數(shù)據(jù)進(jìn)行語(yǔ)音識(shí)別，得到該語(yǔ)音數(shù)據(jù)對(duì)應(yīng)的文本數(shù)據(jù)；

對(duì)該文本數(shù)據(jù)進(jìn)行文本識(shí)別，將該文本數(shù)據(jù)中與預(yù)設(shè)關(guān)鍵詞匹配的詞語(yǔ)確定為該文本數(shù)據(jù)中的關(guān)鍵詞，基于該關(guān)鍵詞提取該語(yǔ)音數(shù)據(jù)中的N個(gè)關(guān)鍵信息。

結(jié)合第一方面，在一種可能的實(shí)現(xiàn)方式中，該N個(gè)視頻片段包括第i個(gè)視頻片段，i為正整數(shù)；

該分別對(duì)該N個(gè)視頻片段進(jìn)行識(shí)別，確定該N個(gè)視頻片段中每個(gè)視頻片段對(duì)應(yīng)的類別信息，包括：

對(duì)該第i個(gè)視頻片段中的M幀視頻圖像進(jìn)行人臉識(shí)別，確定該第i個(gè)視頻片段對(duì)應(yīng)的M幀人臉圖像，M為正整數(shù)；

基于微表情識(shí)別模型對(duì)該M幀人臉圖像進(jìn)行識(shí)別，確定該M幀人臉圖像中每幀人臉圖像的微表情特征信息；

基于該M幀人臉圖像中每幀人臉圖像的微表情特征信息與預(yù)設(shè)微表情特征信息庫(kù)進(jìn)行匹配，確定該第i個(gè)視頻片段對(duì)應(yīng)的類別信息，直至確定出該N個(gè)視頻片段中每個(gè)視頻片段對(duì)應(yīng)的類別信息，該預(yù)設(shè)微表情特征信息庫(kù)用于存儲(chǔ)微表情特征信息與類別信息之間的對(duì)應(yīng)關(guān)系。

結(jié)合第一方面，在一種可能的實(shí)現(xiàn)方式中，該方法還包括：

獲取訓(xùn)練樣本視頻片段，以及該訓(xùn)練樣本視頻片段的訓(xùn)練標(biāo)簽；