[發明專利]一種基于圖像識別的編程游戲方法及裝置

在審

• 申請號: 202111167002.6
• 申請日: 2021-10-01
• 公開（公告）號: CN114051069A
• 公開（公告）日: 2022-02-15
• 發明（設計）人: 黃錦誠
• 申請（專利權）人: 科瑞創多科技（深圳）有限公司
• 主分類號: H04M1/72427
• 分類號: H04M1/72427;H04M1/72406;H04M1/04
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明公開了一種基于圖像識別的編程游戲方法及裝置，所述方法包括以下步驟：步驟S1，手機安裝并與托盤粗定位；步驟S2，打開手機APP，選擇關數，設置游戲闖關問題；步驟S3，根據游戲問題在托盤中擺放出指令塊并拍照獲取所述擺放指令塊的托盤圖像；步驟S4，根據所述圖像識別出所述擺放指令塊的信息；步驟S5，根據所述信息核算出所擺指令塊是否能解決游戲設置問題，并對游戲過程及結果做出相應的顯示。本方法通過利用家家都有的手機來做核心處理，既降低了游戲裝置的生產成本，讓中低收入的家庭都能買得起，方便更大范圍的推廣，普惠更多兒童，且結合APP及可變指令塊，又方便游戲的升級，增加游戲的多樣性。

技術領域

本發明涉及益智游戲領域，尤其涉及一種基于圖像識別的編程游戲方法及裝置。

背景技術

編程是人工智能技術的基本技能，少兒編程教學可以大致分為兩類：一類是Scratch或是仿Scratch的圖形化編程教學，另一類是基于Python/C++等高級編程語言的計算機編程教學，但這些編程教學需要少兒必備帶屏幕電子設備，以顯示程序圖形或代碼，且需要少兒一直盯著電子屏幕來完成編程過程，影響視力發育，另外這些設備對于部分家庭來說除了少兒學習外，很難有其他用途，給這些家庭造成了一定的經濟壓力和資源浪費。

網絡游戲過度投入對我國未成年人生理和心理帶來雙重負面影響，網絡游戲的危害越來越得到社會的共識。

鑒于此，怎樣在低成本的情況下把人工智能教育/編程教育與游戲結合起來，讓孩子們既能健康的游戲，又能學習有用的知識，助力教育公平性，是人們亟待解決的一個社會問題。

發明內容

本發明的目的是提供一種基于圖像識別的編程游戲方法及裝置，所述方法利用家家都有的手機來做主要處理，極大降低了硬件生產成本，且使用者又不用一直盯著手機，既讓使用者享受游戲的樂趣，又可以從中學習編程方法。

為實現上述目的，本發明的技術方案為提供一種基于圖像識別的編程游戲的方法，包括以下步驟：

步驟S1，手機安裝并與托盤粗定位；

步驟S2，打開手機APP，選擇關數，設置游戲闖關問題；

步驟S3，根據游戲問題在托盤中擺放出指令塊并拍照獲取所述擺放指令塊托盤圖像；

步驟S4，根據所述圖像識別出所述擺放指令塊的信息；

步驟S5，根據所述信息核算出所擺指令塊是否能解決游戲設置問題，并對游戲過程及結果做出相應的顯示。

優選地，所述步驟S1的具體實現方式包括：

步驟S11，將手機放置在裝置的手機夾中，托盤放置于支撐臺上；

步驟S12，打開手機APP，進入相機畫面頁，調整調節部位，使得托盤圖像盡可能多的占據相機畫面且不超出，調整后固定托盤和手機并關閉手機APP。

優選地，所述步驟S12在APP相機畫面設置定位框，托盤上設置定位標記，調整使得托盤定位標記落入對應相機畫面的定位框中，調整部位包括手機位置、支架高度、托盤位置。

所述步驟S1執行完之后只要手機和托盤的相對位置不改變，就不需要再次執行。

優選地，所述步驟S4的具體實現方式包括：

步驟S41，將所述圖像輸入神經網絡進行目標檢測，一次性獲取托盤中所有指令塊的信息，信息包括位置信息、分類信息、語義分割信息、實例分割信息、OCR信息；

步驟S42，根據所述指令塊的信息轉換得到相應的指令信息。

優選地，所述基于圖像識別的編程游戲方法可以通過APP在線升級來增加游戲內容，且不需要增加額外裝置。

一種基于圖像識別的編程游戲裝置，包括：

手機及APP，用于包括設置游戲關數、在線升級、獲取圖像及處理圖像、游戲執行過程顯示；