[發(fā)明專利]一種APP語音控制方法、系統(tǒng)和計(jì)算機(jī)設(shè)備

在審

• 申請?zhí)枺?/td>: 202110426130.1
• 申請日: 2021-04-20
• 公開（公告）號: CN113053384A
• 公開（公告）日: 2021-06-29
• 發(fā)明（設(shè)計(jì)）人: 瞿辯
• 申請（專利權(quán)）人: 五八到家有限公司
• 主分類號: G10L15/22
• 分類號: G10L15/22;G10L15/26
• 代理公司: 北京清誠知識(shí)產(chǎn)權(quán)代理有限公司 11691
• 代理人: 何懷燕

1.一種APP語音控制方法，其用于通過語音控制客戶端APP完成操作，其特征在于，所述方法包括：

建立用戶操作數(shù)據(jù)庫，該用戶操作數(shù)據(jù)庫用于記錄用戶通過手指操作使用APP期間的歷史操作數(shù)據(jù)；

在用戶打開客戶端APP時(shí)，APP自動(dòng)開啟語音輸入功能；

通過APP接收用戶的語音輸入，并對該輸入的語音進(jìn)行識(shí)別，以轉(zhuǎn)換成當(dāng)前操作指令；

判斷該當(dāng)前操作指令所要執(zhí)行的操作是否是特定操作；

在判斷所述要執(zhí)行的操作是特定操作時(shí)，根據(jù)所述用戶操作數(shù)據(jù)庫記錄的歷史操作數(shù)據(jù)計(jì)算當(dāng)前操作指令的參數(shù)，并自動(dòng)根據(jù)該當(dāng)前操作指令及其參數(shù)執(zhí)行相應(yīng)的操作。

2.根據(jù)權(quán)利要求1所述的APP語音控制方法，其特征在于，所述操作包括點(diǎn)擊、雙擊、滑動(dòng)、輸入和長按，所述特定操作包括向左滑動(dòng)、向右滑動(dòng)、向上滑動(dòng)和向下滑動(dòng)。

3.根據(jù)權(quán)利要求2所述的APP語音控制方法，其特征在于，

所述歷史操作數(shù)據(jù)包括歷史滑動(dòng)操作數(shù)據(jù)；

當(dāng)所述當(dāng)前操作指令為向左滑動(dòng)、向右滑動(dòng)、向上滑動(dòng)或向下滑動(dòng)時(shí)，該當(dāng)前操作指令的參數(shù)包括滑動(dòng)起點(diǎn)位置和滑動(dòng)終點(diǎn)位置。

4.根據(jù)權(quán)利要求3所述的APP語音控制方法，其特征在于，當(dāng)所述當(dāng)前操作指令為向左滑動(dòng)、向右滑動(dòng)、向上滑動(dòng)或向下滑動(dòng)時(shí)，根據(jù)多個(gè)歷史滑動(dòng)操作數(shù)據(jù)計(jì)算當(dāng)前操作指令的所述滑動(dòng)起點(diǎn)位置和所述滑動(dòng)終點(diǎn)位置的平均值，作為當(dāng)前操作指令的參數(shù)。

5.根據(jù)權(quán)利要求1所述的APP語音控制方法，其特征在于，

當(dāng)所述用戶操作數(shù)據(jù)庫沒有記錄特定操作的歷史操作數(shù)據(jù)時(shí)，將預(yù)定的缺省參數(shù)作為當(dāng)前操作指令的參數(shù)，并自動(dòng)根據(jù)該當(dāng)前操作指令及其參數(shù)執(zhí)行相應(yīng)的操作。

6.根據(jù)權(quán)利要求5所述的APP語音控制方法，其特征在于：

當(dāng)所述要執(zhí)行的操作是向左滑動(dòng)或向右滑動(dòng)時(shí)，所述缺省參數(shù)是屏幕寬度；

當(dāng)所述要執(zhí)行的操作是向上滑動(dòng)或向下滑動(dòng)時(shí)，所述缺省參數(shù)是屏幕高度。

7.根據(jù)權(quán)利要求1所述的APP語音控制方法，其特征在于，根據(jù)所述用戶操作數(shù)據(jù)庫記錄的歷史操作數(shù)據(jù)計(jì)算當(dāng)前操作指令的參數(shù)包括：

使用所述歷史操作數(shù)據(jù)訓(xùn)練機(jī)器學(xué)習(xí)模型，使用該訓(xùn)練好的機(jī)器學(xué)習(xí)模型計(jì)算當(dāng)前操作指令的參數(shù)，其中，

所述歷史操作數(shù)據(jù)還包括操作環(huán)境數(shù)據(jù)；

所述機(jī)器學(xué)習(xí)模型計(jì)算當(dāng)前操作指令的參數(shù)時(shí)還根據(jù)當(dāng)前的操作環(huán)境數(shù)據(jù)進(jìn)行計(jì)算。

8.根據(jù)權(quán)利要求7所述的APP語音控制方法，其特征在于，操作環(huán)境數(shù)據(jù)包括操作的時(shí)間、地理位置、前后操作指令中的至少一項(xiàng)。

9.根據(jù)權(quán)利要求1所述的APP語音控制方法，其特征在于，所述對該語音輸入進(jìn)行識(shí)別包括：

從語音輸入中識(shí)別出行為信息和目標(biāo)信息，該行為信息包括點(diǎn)擊行為、雙擊行為、滑動(dòng)行為、輸入行為和長按行為，該目標(biāo)信息包括與操作行為相對應(yīng)的按鈕、選項(xiàng)、輸入框。

10.根據(jù)權(quán)利要求1所述的APP語音控制方法，其特征在于，還包括：

在判斷當(dāng)前操作指令所要執(zhí)行的操作不是特定操作時(shí)，直接自動(dòng)執(zhí)行所述操作。

11.根據(jù)權(quán)利要求1所述的APP語音控制方法，其特征在于，還包括：

所述語音輸入功能是通過配合使用Android無障礙輔助功能而實(shí)現(xiàn)的。