[發(fā)明專利]模型穩(wěn)定性解釋方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202110393973.6
• 申請(qǐng)日: 2021-04-12
• 公開（公告）號(hào): CN113076901A
• 公開（公告）日: 2021-07-06
• 發(fā)明（設(shè)計(jì)）人: 張?zhí)煸?/a>;范力欣;吳錦和
• 申請(qǐng)（專利權(quán)）人: 深圳前海微眾銀行股份有限公司
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/62
• 代理公司: 深圳市世紀(jì)恒程知識(shí)產(chǎn)權(quán)代理事務(wù)所 44287
• 代理人: 張志江

本申請(qǐng)公開了一種模型穩(wěn)定性解釋方法、裝置、設(shè)備和存儲(chǔ)介質(zhì)，該方法包括：在接收到模型穩(wěn)定性解釋指令時(shí)，確定待解釋模型，確定與所述待解釋模型各層矩陣關(guān)聯(lián)的條件數(shù)；確定所述待解釋模型的輸入數(shù)據(jù)，并確定對(duì)所述輸入數(shù)據(jù)進(jìn)行擾動(dòng)的擾動(dòng)數(shù)據(jù)；基于待解釋模型的條件數(shù)和所述擾動(dòng)數(shù)據(jù)，確定所述待解釋模型的穩(wěn)定性解釋結(jié)果，以基于所述穩(wěn)定性解釋結(jié)果優(yōu)化所述待解釋模型。本申請(qǐng)?jiān)诓渴鹑斯ぶ悄芩惴Ｐ椭埃瑢?duì)人工智能算法模型的應(yīng)用可靠性進(jìn)行準(zhǔn)確驗(yàn)證以及校驗(yàn)，避免直接部署穩(wěn)定性低的模型而造成的安全隱患，以避免人工智能算法模型的應(yīng)用風(fēng)險(xiǎn)，解決了現(xiàn)有技術(shù)中都是直接部署人工智能算法模型，造成人工智能算法模型的應(yīng)用風(fēng)險(xiǎn)的技術(shù)問題。

技術(shù)領(lǐng)域

本申請(qǐng)涉及金融科技(Fintech)的人工智能技術(shù)領(lǐng)域，尤其涉及一種模型穩(wěn)定性解釋方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)

隨著金融科技，尤其是互聯(lián)網(wǎng)科技金融的不斷發(fā)展，越來越多的技術(shù)應(yīng)用在金融領(lǐng)域，但金融業(yè)也對(duì)技術(shù)提出了更高的要求，如金融業(yè)對(duì)模型穩(wěn)定性解釋也有更高的要求。

人工智能算法模型在對(duì)抗攻擊樣本(對(duì)抗樣本指的是樣本參入特定噪聲數(shù)據(jù))時(shí)，極容易發(fā)生誤判，例如，人臉識(shí)別程序?qū)⒓佑性胍魯?shù)據(jù)的A判別成為C，而現(xiàn)有人工智能算法模型都是直接部署而忽視由于誤判造成的安全隱患，很顯然，這會(huì)對(duì)人工智能算法模型的應(yīng)用可靠性帶來風(fēng)險(xiǎn)。

發(fā)明內(nèi)容

本申請(qǐng)的主要目的在于提供一種模型穩(wěn)定性解釋方法、裝置、設(shè)備和存儲(chǔ)介質(zhì)，旨在解決現(xiàn)有技術(shù)中都是直接部署人工智能算法模型，造成人工智能算法模型的應(yīng)用風(fēng)險(xiǎn)的技術(shù)問題。

為實(shí)現(xiàn)上述目的，本申請(qǐng)?zhí)峁┮环N模型穩(wěn)定性解釋方法，所述模型穩(wěn)定性解釋方法包括：

在接收到模型穩(wěn)定性解釋指令時(shí)，確定待解釋模型，并確定與所述待解釋模型各層矩陣關(guān)聯(lián)的條件數(shù)；

確定所述待解釋模型的輸入數(shù)據(jù)，并確定對(duì)所述輸入數(shù)據(jù)進(jìn)行擾動(dòng)的擾動(dòng)數(shù)據(jù)；

基于所述待解釋模型的條件數(shù)和所述擾動(dòng)數(shù)據(jù)，確定所述待解釋模型的穩(wěn)定性解釋結(jié)果，以基于所述穩(wěn)定性解釋結(jié)果優(yōu)化所述待解釋模型。

可選地，所述在接收到模型穩(wěn)定性解釋指令時(shí)，確定待解釋模型，并確定與所述待解釋模型各層矩陣關(guān)聯(lián)的條件數(shù)的步驟，包括：

在接收到模型穩(wěn)定性解釋指令時(shí)，確定待解釋模型，并確定與所述待解釋模型各層矩陣關(guān)聯(lián)的條件數(shù)；

其中，所述條件數(shù)通過待解釋模型中各層矩陣的最大特征值確定。

可選地，所述確定所述待解釋模型的輸入數(shù)據(jù)，并確定對(duì)所述輸入數(shù)據(jù)進(jìn)行擾動(dòng)的擾動(dòng)數(shù)據(jù)的步驟，包括：

確定所述待解釋模型的輸入數(shù)據(jù)，并從所述模型穩(wěn)定性解釋指令中提取擾動(dòng)關(guān)聯(lián)信息；

基于所述擾動(dòng)關(guān)聯(lián)信息和所述輸入數(shù)據(jù)，確定所述待解釋模型的擾動(dòng)數(shù)據(jù)。

可選地，所述基于所述擾動(dòng)關(guān)聯(lián)信息和所述輸入數(shù)據(jù)，確定所述待解釋模型的擾動(dòng)數(shù)據(jù)的步驟，包括：

從所述擾動(dòng)關(guān)聯(lián)信息中提取擾動(dòng)幅度信息；

基于所述擾動(dòng)幅度信息，所述輸入數(shù)據(jù)以及預(yù)設(shè)噪聲數(shù)據(jù)生成規(guī)則，生成所述待解釋模型的擾動(dòng)數(shù)據(jù)。

可選地，所述基于所述擾動(dòng)關(guān)聯(lián)信息和所述輸入數(shù)據(jù)，確定所述待解釋模型的擾動(dòng)數(shù)據(jù)的步驟，包括：

從所述擾動(dòng)關(guān)聯(lián)信息中提取擾動(dòng)方向信息；

基于所述擾動(dòng)方向信息，所述輸入數(shù)據(jù)以及預(yù)設(shè)噪聲數(shù)據(jù)生成規(guī)則，生成所述待解釋模型的擾動(dòng)數(shù)據(jù)。

可選地，所述基于所述待解釋模型的條件數(shù)和所述擾動(dòng)數(shù)據(jù)，確定所述待解釋模型的穩(wěn)定性解釋結(jié)果，以基于所述穩(wěn)定性解釋結(jié)果優(yōu)化所述待解釋模型的步驟，包括：