[發明專利]一種Android應用之間的通過截圖和錄音獲取數據的方法及系統

在審

• 申請號: 202011464333.1
• 申請日: 2020-12-14
• 公開（公告）號: CN112565512A
• 公開（公告）日: 2021-03-26
• 發明（設計）人: 王江濤;韓淞;陳彪;肖宇
• 申請（專利權）人: 華東師范大學
• 主分類號: H04M1/72403
• 分類號: H04M1/72403;H04M1/72442;H04M1/72448;G10L15/22;G11B20/10;G06F3/0484
• 代理公司: 上海德禾翰通律師事務所 31319
• 代理人: 夏思秋

本發明公開了一種Android應用之間的通過截圖和錄音獲取數據的方法。利用Android5.0開發開放的MediaProjection和Android自帶的截屏和錄音功能，以獲取前臺應用的數據。利用圖像識別，音頻識別等人工智能算法作為工具處理上述獲取的數據并傳給后臺應用。以往后臺應用獲取前臺應用的數據要么需要廣播機制或者文件存儲，使用范圍受到很大的限制。或者應用要獲取root權限，這樣既不安全也很麻煩。不過借助于越來越成熟且大眾化的人工智能圖像處理和音頻處理算法，本發明提出了這種不需要root權限就可以獲取前臺應用數據的方法。本發明還公開了一種Android應用之間的通過截圖和錄音獲取數據的系統。

技術領域

本發明涉及一種Android開發技術，具體提供一種Android應用之間獲取數據的方法。

背景技術

Android自誕生以來，憑借其特有的優勢和特點吸引了大量用戶。在優勢方面，Android平臺首先就是其開放性。顯著的開放性可以使其擁有更多的開發者，隨著用戶和應用的日益豐富，手機對開發者開放的功能也越來越多。開發者可以利用Android開放的豐富的接口。創建出各種實用又方便的應用。以往一個后臺程序想要獲取前臺應用的數據，需要后臺應用獲得root權限，這樣即費時費力而且不安全。隨著人工智能的發展和成熟，本發明提出了一種依賴人工智能的新的Android應用之間獲取數據的方法。

發明內容

本發明旨在針對上述情況，發明一種針對Android設備前后臺應用的獲取數據的方法。本發明利用Android開放的獲取音視頻的接口類，來實現兩個應用之間的一種新的交換數據的方式。前臺應用能夠進行圖像的顯示和音頻的播放，后臺應用能夠通過錄音和截屏的方式獲取前臺應用的音頻和圖像顯示。后臺應用在獲取上述數據后，將上述數據傳給語音識別模塊或視頻識別模塊。語音識別模塊或視頻識別模塊從上述數據中提取所需數據，并將所需數據返回給后臺應用。

為實現上述目的，本發明提供了如下技術方案：

信息獲取方應用(后臺應用，信息獲取方應用)在獲得用戶授權后，可以通過調用MediaProjection接口，截取應用二(前臺應用，信息被獲取方)顯示在Android設備上的內容。信息獲取方應用獲取上述數據后，利用人工智能通過圖像識別提取需要用到的信息。信息獲取方應用還可以通過MediaRecorder和AudioRecorder來實時的錄音，錄音音源可以是麥克風和手機發出的聲音。獲取音頻數據后，利用人工智能通過音頻識別提取上述音頻中有用的信息。從而使應用之間能夠通過這個方式更方便的獲取更多種類的信息和數據。

一種Android應用之間的通過截圖和錄音獲取數據的方法，包括以下步驟：

步驟1：音頻獲取，信息獲取方應用通過實時的錄音，錄音音源可以是麥克風和手機發出的聲音。

步驟2：音頻狀態獲取，信息獲取方應用通過Android的AudioManager.isMusicActive()方法獲取有沒有音頻正在播放，如果信息被獲取方正在播放音頻則必然有音頻正在播放。

步驟3：語音識別，將錄音內容通過語音聽寫接口轉換成文字信息或其他信息。

本發明步驟1中，通過調用MediaRecorder和AudioRecorder方法來實時的錄音。

本發明進一步包括：

步驟4：信息獲取方應用通過調用截屏相關的接口，直接獲取前臺應用的截屏，或者由用戶去截屏，然后信息獲取方應用查找出用戶的截屏文件以備使用；

步驟5：信息獲取方應用通過Android提供的讀取文件的接口，讀取截屏文件，并將其中的信息數據通過圖像識別讀取出來，返回給信息獲取方應用。