[應用] OCR 光學字元辨識的開發 (以百度 Paddle Inference 推理模型為核心)

-
        OCR 圖形轉文字的識別技術也是架構在深度學習的理論之上，是人工智慧的應用之一。OCR 技術的辨識過程分成三部分：文本偵測、文本識別、文字分類，每一部分都用到神經網路模型來訓練。本文不打算講模型訓練的過程，而是介紹訓練後的網路模型如何部署到應用端，在 Windows 上的 OCR 軟體如何開發。就核心基礎來說，神經網路的模型是基於百度的 PaddleOCR 所訓練得來，它在 Github 上有開放原始碼，除了用百度內建的模型之外，也可以自建模型來訓練。訓練後的模型，百度提供一套推理模型部署的方法，根據其技術文件的步驟操作，我們可以在 Windows 環境下編譯出 OCR 的應用程式，不過文件操作內容多半還是以 Linux 環境為主。底下我把在 Windows 的編譯過程寫下來。

代碼函數庫下載

        (1) OpenCV：到官網上面下載 Windows 版本，裡面包含程式碼和編譯後的函數庫。
        (2) PaddleOCR 原始碼：到 Github 上面下載，至少 v2.5 版本以上的代碼。
        (3) Paddle Inference 推理預測庫：這是模型的函數庫，可在百度官網下載 https://paddleinference.paddlepaddle.org.cn/user_guides/download_lib.html#windows，裡面分CPU 和 GPU (CUDA) 的版本，本文是下載 CPU 版本進行編譯。
        (4) 模型架構：OCR 需要下載三個模型架構，分別是偵測、辨識、和分類。在 Github 上面可以下載各種模型架構，https://github.com/PaddlePaddle/PaddleOCR/blob/release/2.6/doc/doc_ch/models_list.md。
將上述的資料準備好後，如下圖所示，依序放到資料夾裡。接著，我們用 Visual Studio 2019 來開始編譯 OCR 應用程式。
圖一：開發前需要準備的資料庫

        編譯前，先確定 VS2019 有沒有安裝 CMake 元件，系統還要安裝 Git for Windows，沒有 Git 的話，在執行 CMake 過程會出錯。一切就緒後，上圖的目錄中\Paddle\PaddleOCR-2.5.0\deploy\cpp_infer 有一個 CMakeLists.txt 檔案，從 VS2019 IDE 環境下開啟這個 CMake 檔案，會出現如下圖二所示。點選步驟一的 CMake 設定後，便會產生出步驟二的設定檔，然後出現下圖三的配置畫面。
圖二：執行 CMake 檔案

        設定檔方面有幾點要注意，編譯模式是 Release 或 Debug，如果打算一步步除錯檢視程式碼的話，底下的欄位要選擇 RelWithDebInfo，這樣編譯後會產出 .pdb 檔。再來，三個函數庫的目錄定義要設定(下圖黃框標示)，把 OpenCV 函數庫和 Paddle Inference 推理預測庫的目錄填好。最後，就是把 CMake 產生器選好，儲存這個配置檔案後，CMake 便自動開始產出編譯的 makefile，我們再執行 VS2019 選單上面 build 建置這個 ppocr 項目，看看編譯過程有沒有錯誤？成功後會產出 ppocr.exe 執行檔。

圖三：CMakeLists 的設定

執行 OCR

        當編譯產出 ppocr.exe 之後，我們在 CMD-line 運行看看，應該會彈出錯誤視窗說缺少甚麼 DLL，這是因為 CMake 沒有把 Paddle Inference 第三方支援的函數庫複製過來。將 paddle_inference.dll、paddle2onnx.dll、onnxruntime.dll 放到與執行檔同一目錄，再執行看看。另外，試著從 VS 2019 IDE 設置斷點，如上圖二，看看能否除錯的方式運行 ppocr，這對我們熟悉程式碼有幫助。

        OCR 它有不少參數可以設定，試著輸入 "ppocr --help" 會列出所有參數的簡單說明。 底下指令是執行 OCR 完整的指令輸入，如一開始提到的分成三部分：檢測、辨識、分類，分別給定推理預測的模型架構，執行後就能看到結果。
ppocr --det_model_dir=D:\Paddle\ch_PP-OCRv3_det_infer --rec_model_dir=D:\Paddle\ch_PP-OCRv3_rec_infer --cls_model_dir=D:\Paddle\ch_ppocr_mobile_v2.0_cls_infer --image_dir=D:\yijen\source\repos\python\ppocr_img\imgs\12.jpg --rec_char_dict_path=.\ppocr_keys_v1.txt --use_angle_cls=true --det=true --rec=true --cls=true


以上述為例，程式會將檢測到圖片上的文本框出來，如上圖所示，左邊是原圖，右邊是檢測後的圖。
圖四：執行 OCR 的結果

位置： 807台灣高雄市三民區

留言

發佈留言

此網誌的熱門文章

[筆記] Raspberry Pi 樹莓派的軟體開發

-
圖片
前言         本文的實驗過程是以樹莓派 3B+ 為主，Python是樹莓派板子上的操作系統所提供的程式語言，並且板子上的I/O介面控制官方建議用Python語法開發。因此，在樹莓派上寫程式的第一首選當然是Python，我們可以使用系統上內建的 Python 3 IDLE 或 Thonny Python IDE 的整合開發套件。雖然它是推薦的語法，不過樹莓派系統也可以使用 C/C++ 語言來開發程式，而且也內建一套IDE套件。底下就用簡單的程式碼來試試看這些開發套件。 C/C++開發         樹莓派官方的系統提供一套IDE軟體開發套件，稱為 Geany 。它可以編輯C/C++/Java/Python...等語法，並且編譯組建成執行檔，在樹莓派這樣的操作環境下，這已經算不錯的官方IDE套件了。         首先，打開Geany之後，先在工具列上選擇"專案"，並創建一個新專案。舉例來說，我想要測試C++輸出功能，於是創建一個名為TestCpp的專案。接下來，在工具列上選擇"檔案"，並創建一個"開新檔案"，它會讓我們選個範本，此時選Main.cxx。系統幫我們在專案目錄下建立一個C++檔案，有main function的範本，如下圖一所示。         第二步，在這個檔案裡開始寫些簡單的code，寫個Hello World吧！順便編譯與組建一下，看看有沒有成功。不過，我的專業裏頭總不能只有一個Main檔案走遍天下吧？還是需要有些其他檔案來組建。新增一個加法函數的檔案，名為myadd.cxx，存放在專案的目錄下，這時就可以從main函數調用這個外部加法函數，試試看！一開始編譯，發現會產生編譯失敗，這是因為組建的命令沒設定妥當，預設的命令是編譯單一檔案，這會兒需要編譯一堆檔案，所以要調整命令，如圖二所示。再次編譯後，成功了，可以執行看看結果。 圖一：Geany IDE C++ 軟體開發環境 圖二：修改組建的命令 Python開發         樹莓派官方的系統內建兩套IDE軟體開發套件，一套稱為 Python 3 IDLE ，另一套為 Thonny Python 。我分別用print簡單的程式測試兩個IDE開發環境，如下圖三所示為Python
Read more »

[應用] 在 ESP32 Audio 開發板的 VoIP 範例

-
圖片
開發板介紹         安信可 公司(Ai-Thinker)基於 ESP32 晶片推出一塊具有語音功能的 ESP32 Audio Kit 開發板，簡稱 ESP32-A1S，它與原廠的 ESP32 Lyrat 開發板都使用同一套 ESP-ADF SDK 軟體，但是開發板的電路有些差異，底層的驅動程式需要替換才能順利開發。         首先，最大的差異在 ESP32-A1S 語音編碼晶片採用 AC101 ，不過晶片被封裝在 ESP32 模組上，所以我們在開發板上面看不到這顆晶片，然而 ESP32 Lyrat 板採用 ES8388 晶片，因此在 ESP-ADF 中語音編碼的驅動程式需要更替。另外，其他不一樣的地方都在 GPIO 接腳的連接上，整理後，如下表所示，我們需要調整 ADF 底層的 HAL 和 Board 的配置，SDK 才能正常使用。 表一：ESP32-Lyrat 與 Audio Kit 開發板的差異         第一步，下載 ESP-ADF。在 VS Code 開發環境下[1]，按 F1 後，選取 "Install ESP-ADF"，VS Code 會自動從 GitHub 下載，並安裝 ADF 開發套件。如果是使用 ESP32-Lyrat 板子，可以直接跳到第四步，創建範例開始開發了。使用 ESP32-A1S 板子前，需要調整一下底層代碼，接續前面動作，我們從 GitHub 下載 A1S 的驅動程式， ESP32-A1S-AudioKit  程式碼，其目錄結構與 ADF 一樣，方便我們相互比對兩者差異。         第二步，到  \esp-adf\components\ audio_hal \driver 目錄下，將下載 A1S 裡的 AC101 驅動程式放進來。接著，要將 ac101 目錄和 ac101.c 加到  CMakeLists.txt 文件，同樣也要加到  component.mk 文件裡 ，這樣編譯過程就會把 AC101 驅動程式加進來編譯了。         第三步，我們再到  \esp-adf\components\ audio_board \lyrat_v4_3 目錄下(因為我們沒想要在 menuconfig 裡新增 A1S 配置，打算借用 lyrat 原配置)，將 board.c、board
Read more »

[筆記] ESP32 在 VS Code 開發環境的編譯與除錯

-
圖片
#  ESP32 評比與教學推薦 NodeMCU-32s 的理由 準備工作 1) 安裝 Visual Studio Code (VS Code)，並安裝其他 C/C++ 插件。 2) 安裝 Python 套件 3) 下載並執行 Setup ESP-IDF Tools：檢查電腦系統的環境，並幫我們把編譯的工具鏈 tool chain 安裝起來。 4) 在 VS Code 安裝 ESP-IDF 插件，點選插件後，看到下圖一並設定路徑後，點擊安裝 ESP-IDF。安裝 v4.2 版本後，會詢問是否下載安裝工具鏈，如果系統已經有安裝，那就設好路徑即可。最後，再安裝 python 虛擬環境給 ESP-IDF，便完成整個環境設定。 圖一：ESP-IDF 擴充插件 建立專案 1) 從 ESP-IDF 選範例專案：按 F1 後，上方的選單輸入 " ESP-IDF: Show Examples Projects "，出現下圖二的範例專案列表，我們可以從中選一個範例來創建，例如我從當中選了 blink 或 hello_word。按下右上方的創建，就會在左半邊出現專案。 圖二：ESP-IDF 範例專案的列表 2) 編譯專案：按 F1 後，上方的選單輸入 " ESP-IDF: Build your project "，VS Code 環境就會開發進行編譯的工作，在下方的欄位會顯示編譯的過程。 3)  設定模組型號：按 F1 後，上方的選單輸入 " ESP-IDF: Device configuration "，彈出選項後，我們選擇 EPS32 為裝置的型號。 4) 電腦接上 ESP32 模組：按 F1 後，上方的選單輸入 " ESP-IDF: Select port to use "，在 VS Code 會自動彈出 COM port 讓我們選擇，點選 EPS32 連接的 COM 即可。 5)  燒錄程式碼到 ESP32：按 F1 後，上方的選單輸入 " ESP-IDF: Select Flash Method and Flash "，彈出選項 JTAG 或 UART，我們選擇 UART 為下載燒錄的方式 (前面我們已經設定 COM 了)。下載燒錄的方式設好了，下次只要
Read more »

[筆記] Visual Studio 遠端偵錯的設定步驟

-
圖片
        通常我們用微軟Visual Studio IDE開發程式並且在本機上運行與除錯，但隨著開發系統越來越複雜，程式運行在某台服務器上而不是自己的機器，這時候需要進行遠端程式的除錯，架構如下圖一所示。自己的主機要安裝微軟的Visual Studio 2017 IDE，待測的機器上面要有Remote Debugger工具，雙方透過網路的連線進行除錯。 圖一：遠端除錯與待測機器 [步驟]： 1) 在自己主機上的Visual Studio目錄下面找Remote Debugger這個工具目錄，然後把Remote Debugger工具複製到待測機器上。 2) 程式的除錯屬性要設定正確，屬性頁的遠端Windows偵測工具，如下圖二所示。我們必須設定遠端命令 、 工作目錄 、 遠端機器IP 、連接是否驗證...等等，連線的權限要配合遠端機器的設定。 3) 在遠端機器上的Remote Debugger目錄，開啟 msvsmon.exe，這時只要到工具選單設定連線的權限，如下圖三所示。圖中是設為無權限的方式，不需要驗證使用者。 4) 在VS IDE環境運行遠端Windows偵錯工具，如果發現遠端機器上出現錯誤，錯誤的原因是缺少某些 dll 檔案，如：msvcp140D.dll 、ucrtbased.dll... 。我們在本地主機上找找看這些缺少的檔案，應該能找到，然後再複製到遠端機器的 \Windows\System32 目錄底下。 5) 最後，編譯我們的程式後，要再把exe 、 pdb檔案複製到遠端機器的工作目錄上。接著，運行我們的程式遠端 debug，這樣就可以一步步看著遠端機器上的程式怎麼執行了。 C++遠程偵錯 圖二：C++程式的遠端屬性設定 圖三：遠端機器的連線權限設定 C#遠程偵錯 圖四：C# 程式的遠端偵錯設定
Read more »

[筆記] Android APP 藍芽範例說明 -- BluetoothChat

-
圖片
準備工作         第一次寫 Android 藍牙連線程式還不知該如何開始 (新手上路)，於是先找一本 APP 開發的書吧！也許從書中能獲得一些訊息。之前筆者主要使用的程式語言是 C/C++，所以初次看到 APP 的每個範例都不是很面熟。經過幾周的研讀後，給後進初學者的建議是先準備下列的書和開發環境： Java 8.0 程式語言 ，如果對 Java 語法不熟悉，最好有一本工具書能快速查詢。 Android APP 程式設計，學習 UI 如何設計的概念。 開發 IDE 環境 Android Studio 1.4 以上         Android  官方的開發網站提供不少範例程式，由於先前開發藍牙相關的設備，因此我們從網站下載一個 BluetoothChat 程式來研究，藉此熟悉 Android SDK 來了解如何使用藍牙介面。首先了解一下這個範例有什麼功能，它的功能其實很簡單 (範例就是要簡單才夠力)，即透過藍牙通訊在手機或平板上互傳訊息的程式。圖一是範例程式的專案打開後列出相關的檔案，包含設定檔 、java程式檔 、資源檔。然而主要的程式檔為MainActivity 、 BluetoothChatFragment 、 BluetoothChatService 、 DeviceActivity 這四個，另外還有一些程式檔案是 debug log 的用途，方便我們在 debug 模式下顯示於 IDE 的訊息。不過，初學者可以直接從上述的四個檔案來研究，log 以後有興趣再說。 圖一：範例 BluetoothChat 專案         下圖二是範例 BluetoothChat 的流程圖，主要是由上述的四個 java 檔案組成的類別。APP 程式一開始先呼叫 MainActivity，這是初學者必須懂的常識，如果不清楚的話，趕緊找本書K一K。當系統呼叫 MainActivity 類別時，該類別會生成一個新的 BluetoothChatFragment，這是一個 Android Fragment 所衍生的類別，關於 fragment 是甚麼？它跟 UI 畫面有關，請參考官方網站的詳細解說。此外，生成 BluetoothChatFragment 的同時也會新生成 BluetoothChatService 類別，這個類
Read more »

[模組] LD3320 離線語音辨識晶片與 ESP32 無線傳輸

-
圖片
#  ESP8266 WiFi to RS485 (MODBUS TCP to RS232) #  環境品質監控系統 實驗說明         使用離線語音辨識晶片 LD3320 ，獲得辨識結果後透過 ESP32S 無線模組傳輸到另一塊無線模組上顯示出結果，如下圖一所示。 無線模組 ESP32         無線模組 ESP 系列是上海樂鑫所開發，經由安信可二次開發後推廣，模組提供 AT command (UART) 的方式進行控制，但這種方式使用起來總是覺得隔了一層紗，有層距離感，操控上反應或速度不夠即時。幸運的是，隨著這塊模組的生態系越來越成熟，使用者也越多了，ESP 模組已經能像 Arduino 一樣，可以在 Arduino IDE 環境下開發編譯並下載，同時不少開發者也分享各類無線模組的案例，方便我們拿來參考 [1][2]。         研究過程中，發現 ESP32S 上面的 FLASH 所屬的接腳不能直接拿來當作 GPIO 使用，因為這樣會影響到 IDE 燒錄，FLASH D0-D3 + CMD + SCK 正好對應到 GPIO 6-11，電路規劃時得避開使用這幾根 I/O。另外，這塊 ESP32S 模組有提供 3.3V 和 5V 輸出，正好 LCD_I2C 模組需要吃 5V 電壓，而語音辨識晶片吃 3.3V 電壓，能同時滿足開發的需求。 圖一：以無線傳輸語音辨識的結果         ESP32S 是同時具有 WiFi 和藍芽功能的模組，實驗中，我們使用模組的藍芽傳輸功能，並參考範例中的 BluetoothSerial 程式，通訊的一端代碼是 Bluetooth Master，另一端為 Bluetooth Slave，下圖二是兩邊代碼的說明。將 Slave 端設定藍芽名稱 (ESP32-ASR) 後，等待 Master 來連接，在 Master 端則對名稱 (ESP32-ASR) 發出連線請求，接著雙方就會自動連接成功。 圖二：藍芽通訊雙方的原始碼 離線語音辨識         LD3320 是十年前的語音辨識晶片 [3]，主要辨識中文，已不是新鮮貨。它不需要連上雲端，只要設定好辨識的字句儲存到晶片的暫存器內，它就能進行離線辨識。優點是辨識過程很快，而且是不特定人的辨識方式，對於設定後的字句，其辨識準確率算不錯的 (在無噪音干擾環境下)。
Read more »

[應用] 藍芽 BLE client/server 架構：BLE remote controller

-
圖片
實作目的         本文要實現一個藍芽 BLE client/server 的架構，以 Filogic 130A 開發板做為智慧音箱的 BLE server 端，另外 ESP32 的藍芽遙控器做為 BLE client 端，架構圖如下所示。在先前的文章 https://han-ya.blogspot.com/2022/04/smart-speaker-on-filogic-130a-kit.html  已經實現智慧音箱的功能，不只是聲控方式，我們還希望能再增加無線遙控的功能。然而， MT7933 晶片(Cortex-M33)本身有語音運算且具有藍芽連接的能力，所以採用 BLE 來達到這項目的。本文的最後一段，有影片呈現實現的結果。         架構中，做為 BLE server 的設備，就是等待其他周邊設備的連接請求，所以連線之前需要發出廣播與配對 (advertising) 的訊號到空中。另一方面，做為 BLE client 的設備，本身要進入掃描模式，查看空中有哪些 server 設備，然後再對特定的 server 提出連線的請求。等連線成功後，client 便可以取得 server 端的 GATT 各種屬性。 圖一：BLE client / server 架構圖 ESP32 client         在 Arduino IDE 開發環境中，ESP32 提供不少範例程式，其中打開範例 ESP32 BLE Arduino\BLE_client，這是一個 client 端的應用，它會開啟 scan 模式，掃描周圍能提供服務的藍芽設備，並將名稱顯示在 COM port 上，如下圖所示，這個範例能掃描到藍芽位址，設備名稱，以及服務的 UUID。一般來說，client 設備上會有顯示資訊，讓我們選擇連線哪一個藍芽設備，在 ESP32 BLE 模組就先用 COM port 充當顯示囉！ 圖二：BLE client 掃描設備的結果         如果 client 端要連線某一指定的設備，要先知道設備名稱，比如我們這個實驗打算連線的是 Filogic 130A 開發板，它廣播的名稱為 " BLE_SMTCN "，那 client 端的程式被我改寫成，只要一掃瞄到這個名稱後，便向這設備進行連線的請求。連線成功後，我們看到 COM por
Read more »