[模組] LD3320 離線語音辨識晶片與 ESP32 無線傳輸

-

實驗說明

        使用離線語音辨識晶片 LD3320，獲得辨識結果後透過 ESP32S 無線模組傳輸到另一塊無線模組上顯示出結果，如下圖一所示。

無線模組 ESP32

        無線模組 ESP 系列是上海樂鑫所開發，經由安信可二次開發後推廣，模組提供 AT command (UART) 的方式進行控制，但這種方式使用起來總是覺得隔了一層紗，有層距離感，操控上反應或速度不夠即時。幸運的是，隨著這塊模組的生態系越來越成熟，使用者也越多了，ESP 模組已經能像 Arduino 一樣，可以在 Arduino IDE 環境下開發編譯並下載，同時不少開發者也分享各類無線模組的案例，方便我們拿來參考 [1][2]。
        研究過程中，發現 ESP32S 上面的 FLASH 所屬的接腳不能直接拿來當作 GPIO 使用，因為這樣會影響到 IDE 燒錄，FLASH D0-D3 + CMD + SCK 正好對應到 GPIO 6-11，電路規劃時得避開使用這幾根 I/O。另外，這塊 ESP32S 模組有提供 3.3V 和 5V 輸出，正好 LCD_I2C 模組需要吃 5V 電壓，而語音辨識晶片吃 3.3V 電壓，能同時滿足開發的需求。
圖一：以無線傳輸語音辨識的結果

        ESP32S 是同時具有 WiFi 和藍芽功能的模組，實驗中，我們使用模組的藍芽傳輸功能，並參考範例中的 BluetoothSerial 程式，通訊的一端代碼是 Bluetooth Master，另一端為 Bluetooth Slave，下圖二是兩邊代碼的說明。將 Slave 端設定藍芽名稱 (ESP32-ASR) 後，等待 Master 來連接，在 Master 端則對名稱 (ESP32-ASR) 發出連線請求，接著雙方就會自動連接成功。

圖二：藍芽通訊雙方的原始碼

離線語音辨識

        LD3320 是十年前的語音辨識晶片 [3]，主要辨識中文，已不是新鮮貨。它不需要連上雲端，只要設定好辨識的字句儲存到晶片的暫存器內，它就能進行離線辨識。優點是辨識過程很快，而且是不特定人的辨識方式，對於設定後的字句，其辨識準確率算不錯的 (在無噪音干擾環境下)。然而，其缺點是針對不特定語句的辨識，如果講了一段不是一開始設定給晶片的字句，晶片辨識後，通常會給出不正確的結果。比如，我們設定給晶片的字句是 "打開" "關閉"...之類，但是我們講了一句 "你好" 這類無關的字句，它可能會給出 "打開" 的結果，這可能會造成嚴重的操作。當然，現在已經有不少雲端的語音辨識服務，也許借助大公司的服務是更好的選擇。
        開發 LD3320 時，我們要把欲辨識的中文語句建立成表，再寫入晶片內，如下圖所示。C++ 語法的編譯過程不可能接受中文字，所以程式碼的中文語句是以漢語拼音為基準，每個語句則對應一個 ID 編號，晶片將辨識出的結果以編號方式告知我們，例如："二十五" 和 "二五" 都代表數值 25，那我們就會將這兩個語句定義同一個 ID 編號。
圖三：建立辨識的語句表

        將 LD3320 驅動程式寫在 ESP32S 模組上，測試的結果錄製成底下影片，請參考。說完一句話後，辨識的結果很快地顯示在 LCD 模組上。

        在 Arduino IDE 環境，我自己移植原廠提供的範例程式碼 (給51晶片使用的)，先把源代碼移植到 STM32 晶片上，驗證功能都可以正常運作後，才興起移植到 ESP32 的念頭。不過有個小問題，要把源代碼的 C 語言改寫成 C++ class 的方式 [6]，這樣才能方便在 Arduino IDE 下調用函數。

參考資料

位置： 807台灣高雄市三民區

留言

匿名說…
請問大大您是如何將ESP32S 與LD3320 連接在一起的?
我個人在測試的時候使用Nodemcu-32s編譯，但卻編譯錯誤，
可以的話，我想參考大大您的電路接線圖
2021年6月21日 上午11:23
漢亞科技說…
雙方都採用SPI介面相連接，購買具有SPI介面的LD3320模組。
2021年6月21日 下午1:25
匿名說…
您好
我是使用Nodemcu-32s在IDE編譯，請問是使用參考資料6裡的兩個檔案壓縮，然後安裝zip程式庫嗎？
2023年2月15日 上午11:03
漢亞科技說…
zip 裡面的 .C 和 .h 放到 Arduino IDE 環境下編譯
2023年2月15日 上午11:27
匿名說…
您好
感謝您的回覆；
還再跟您請教，指令可以繼續使用原廠微雪範例的指令嗎？
因為編譯後，好像變成是裡面一些指令的問題。
誠摯希望您再次的回覆。
謝謝您～
2023年2月15日 上午11:53
漢亞科技說…
透過 SPI 方式控制模組的各個暫存器
然後將辨識的關鍵字透過 SPI 傳入到模組裡面，屬於新增關鍵字(指令)的動作
這個指令必須用漢語拼音定義在一個 struct 裡面。當模組開始辨識時，
便會比對關鍵字的指令是在 struct array 的第幾個，這就是辨識結果。
2023年2月15日 下午12:10
匿名說…
感謝您的回覆
2023年2月15日 下午1:48
發佈留言

此網誌的熱門文章

[筆記] ESP32 在 VS Code 開發環境的編譯與除錯

-
圖片
#  ESP32 評比與教學推薦 NodeMCU-32s 的理由 準備工作 1) 安裝 Visual Studio Code (VS Code)，並安裝其他 C/C++ 插件。 2) 安裝 Python 套件 3) 下載並執行 Setup ESP-IDF Tools：檢查電腦系統的環境，並幫我們把編譯的工具鏈 tool chain 安裝起來。 4) 在 VS Code 安裝 ESP-IDF 插件，點選插件後，看到下圖一並設定路徑後，點擊安裝 ESP-IDF。安裝 v4.2 版本後，會詢問是否下載安裝工具鏈，如果系統已經有安裝，那就設好路徑即可。最後，再安裝 python 虛擬環境給 ESP-IDF，便完成整個環境設定。 圖一：ESP-IDF 擴充插件 建立專案 1) 從 ESP-IDF 選範例專案：按 F1 後，上方的選單輸入 " ESP-IDF: Show Examples Projects "，出現下圖二的範例專案列表，我們可以從中選一個範例來創建，例如我從當中選了 blink 或 hello_word。按下右上方的創建，就會在左半邊出現專案。 圖二：ESP-IDF 範例專案的列表 2) 編譯專案：按 F1 後，上方的選單輸入 " ESP-IDF: Build your project "，VS Code 環境就會開發進行編譯的工作，在下方的欄位會顯示編譯的過程。 3)  設定模組型號：按 F1 後，上方的選單輸入 " ESP-IDF: Device configuration "，彈出選項後，我們選擇 EPS32 為裝置的型號。 4) 電腦接上 ESP32 模組：按 F1 後，上方的選單輸入 " ESP-IDF: Select port to use "，在 VS Code 會自動彈出 COM port 讓我們選擇，點選 EPS32 連接的 COM 即可。 5)  燒錄程式碼到 ESP32：按 F1 後，上方的選單輸入 " ESP-IDF: Select Flash Method and Flash "，彈出選項 JTAG 或 UART，我們選擇 UART 為下載燒錄的方式 (前面我們已經設定 COM 了)。下載燒錄的方式設好了，下次只要
Read more »

[筆記] Raspberry Pi 樹莓派的軟體開發

-
圖片
前言         本文的實驗過程是以樹莓派 3B+ 為主，Python是樹莓派板子上的操作系統所提供的程式語言，並且板子上的I/O介面控制官方建議用Python語法開發。因此，在樹莓派上寫程式的第一首選當然是Python，我們可以使用系統上內建的 Python 3 IDLE 或 Thonny Python IDE 的整合開發套件。雖然它是推薦的語法，不過樹莓派系統也可以使用 C/C++ 語言來開發程式，而且也內建一套IDE套件。底下就用簡單的程式碼來試試看這些開發套件。 C/C++開發         樹莓派官方的系統提供一套IDE軟體開發套件，稱為 Geany 。它可以編輯C/C++/Java/Python...等語法，並且編譯組建成執行檔，在樹莓派這樣的操作環境下，這已經算不錯的官方IDE套件了。         首先，打開Geany之後，先在工具列上選擇"專案"，並創建一個新專案。舉例來說，我想要測試C++輸出功能，於是創建一個名為TestCpp的專案。接下來，在工具列上選擇"檔案"，並創建一個"開新檔案"，它會讓我們選個範本，此時選Main.cxx。系統幫我們在專案目錄下建立一個C++檔案，有main function的範本，如下圖一所示。         第二步，在這個檔案裡開始寫些簡單的code，寫個Hello World吧！順便編譯與組建一下，看看有沒有成功。不過，我的專業裏頭總不能只有一個Main檔案走遍天下吧？還是需要有些其他檔案來組建。新增一個加法函數的檔案，名為myadd.cxx，存放在專案的目錄下，這時就可以從main函數調用這個外部加法函數，試試看！一開始編譯，發現會產生編譯失敗，這是因為組建的命令沒設定妥當，預設的命令是編譯單一檔案，這會兒需要編譯一堆檔案，所以要調整命令，如圖二所示。再次編譯後，成功了，可以執行看看結果。 圖一：Geany IDE C++ 軟體開發環境 圖二：修改組建的命令 Python開發         樹莓派官方的系統內建兩套IDE軟體開發套件，一套稱為 Python 3 IDLE ，另一套為 Thonny Python 。我分別用print簡單的程式測試兩個IDE開發環境，如下圖三所示為Python
Read more »

[應用] 在 ESP32 Audio 開發板的 VoIP 範例

-
圖片
開發板介紹         安信可 公司(Ai-Thinker)基於 ESP32 晶片推出一塊具有語音功能的 ESP32 Audio Kit 開發板，簡稱 ESP32-A1S，它與原廠的 ESP32 Lyrat 開發板都使用同一套 ESP-ADF SDK 軟體，但是開發板的電路有些差異，底層的驅動程式需要替換才能順利開發。         首先，最大的差異在 ESP32-A1S 語音編碼晶片採用 AC101 ，不過晶片被封裝在 ESP32 模組上，所以我們在開發板上面看不到這顆晶片，然而 ESP32 Lyrat 板採用 ES8388 晶片，因此在 ESP-ADF 中語音編碼的驅動程式需要更替。另外，其他不一樣的地方都在 GPIO 接腳的連接上，整理後，如下表所示，我們需要調整 ADF 底層的 HAL 和 Board 的配置，SDK 才能正常使用。 表一：ESP32-Lyrat 與 Audio Kit 開發板的差異         第一步，下載 ESP-ADF。在 VS Code 開發環境下[1]，按 F1 後，選取 "Install ESP-ADF"，VS Code 會自動從 GitHub 下載，並安裝 ADF 開發套件。如果是使用 ESP32-Lyrat 板子，可以直接跳到第四步，創建範例開始開發了。使用 ESP32-A1S 板子前，需要調整一下底層代碼，接續前面動作，我們從 GitHub 下載 A1S 的驅動程式， ESP32-A1S-AudioKit  程式碼，其目錄結構與 ADF 一樣，方便我們相互比對兩者差異。         第二步，到  \esp-adf\components\ audio_hal \driver 目錄下，將下載 A1S 裡的 AC101 驅動程式放進來。接著，要將 ac101 目錄和 ac101.c 加到  CMakeLists.txt 文件，同樣也要加到  component.mk 文件裡 ，這樣編譯過程就會把 AC101 驅動程式加進來編譯了。         第三步，我們再到  \esp-adf\components\ audio_board \lyrat_v4_3 目錄下(因為我們沒想要在 menuconfig 裡新增 A1S 配置，打算借用 lyrat 原配置)，將 board.c、board
Read more »

[應用] 藍芽 BLE client/server 架構：BLE remote controller

-
圖片
實作目的         本文要實現一個藍芽 BLE client/server 的架構，以 Filogic 130A 開發板做為智慧音箱的 BLE server 端，另外 ESP32 的藍芽遙控器做為 BLE client 端，架構圖如下所示。在先前的文章 https://han-ya.blogspot.com/2022/04/smart-speaker-on-filogic-130a-kit.html  已經實現智慧音箱的功能，不只是聲控方式，我們還希望能再增加無線遙控的功能。然而， MT7933 晶片(Cortex-M33)本身有語音運算且具有藍芽連接的能力，所以採用 BLE 來達到這項目的。本文的最後一段，有影片呈現實現的結果。         架構中，做為 BLE server 的設備，就是等待其他周邊設備的連接請求，所以連線之前需要發出廣播與配對 (advertising) 的訊號到空中。另一方面，做為 BLE client 的設備，本身要進入掃描模式，查看空中有哪些 server 設備，然後再對特定的 server 提出連線的請求。等連線成功後，client 便可以取得 server 端的 GATT 各種屬性。 圖一：BLE client / server 架構圖 ESP32 client         在 Arduino IDE 開發環境中，ESP32 提供不少範例程式，其中打開範例 ESP32 BLE Arduino\BLE_client，這是一個 client 端的應用，它會開啟 scan 模式，掃描周圍能提供服務的藍芽設備，並將名稱顯示在 COM port 上，如下圖所示，這個範例能掃描到藍芽位址，設備名稱，以及服務的 UUID。一般來說，client 設備上會有顯示資訊，讓我們選擇連線哪一個藍芽設備，在 ESP32 BLE 模組就先用 COM port 充當顯示囉！ 圖二：BLE client 掃描設備的結果         如果 client 端要連線某一指定的設備，要先知道設備名稱，比如我們這個實驗打算連線的是 Filogic 130A 開發板，它廣播的名稱為 " BLE_SMTCN "，那 client 端的程式被我改寫成，只要一掃瞄到這個名稱後，便向這設備進行連線的請求。連線成功後，我們看到 COM por
Read more »

[筆記] Visual Studio 遠端偵錯的設定步驟

-
圖片
        通常我們用微軟Visual Studio IDE開發程式並且在本機上運行與除錯，但隨著開發系統越來越複雜，程式運行在某台服務器上而不是自己的機器，這時候需要進行遠端程式的除錯，架構如下圖一所示。自己的主機要安裝微軟的Visual Studio 2017 IDE，待測的機器上面要有Remote Debugger工具，雙方透過網路的連線進行除錯。 圖一：遠端除錯與待測機器 [步驟]： 1) 在自己主機上的Visual Studio目錄下面找Remote Debugger這個工具目錄，然後把Remote Debugger工具複製到待測機器上。 2) 程式的除錯屬性要設定正確，屬性頁的遠端Windows偵測工具，如下圖二所示。我們必須設定遠端命令 、 工作目錄 、 遠端機器IP 、連接是否驗證...等等，連線的權限要配合遠端機器的設定。 3) 在遠端機器上的Remote Debugger目錄，開啟 msvsmon.exe，這時只要到工具選單設定連線的權限，如下圖三所示。圖中是設為無權限的方式，不需要驗證使用者。 4) 在VS IDE環境運行遠端Windows偵錯工具，如果發現遠端機器上出現錯誤，錯誤的原因是缺少某些 dll 檔案，如：msvcp140D.dll 、ucrtbased.dll... 。我們在本地主機上找找看這些缺少的檔案，應該能找到，然後再複製到遠端機器的 \Windows\System32 目錄底下。 5) 最後，編譯我們的程式後，要再把exe 、 pdb檔案複製到遠端機器的工作目錄上。接著，運行我們的程式遠端 debug，這樣就可以一步步看著遠端機器上的程式怎麼執行了。 C++遠程偵錯 圖二：C++程式的遠端屬性設定 圖三：遠端機器的連線權限設定 C#遠程偵錯 圖四：C# 程式的遠端偵錯設定
Read more »

[應用] STM32 DFU (Device Firmware Upgrade)

-
圖片
DFU 說明         DFU (Device Firmware Upgrade) 顧名思義是升級晶片的韌體程式，這相當於嵌入式系統中的 bootloader 程式。一般來說，我們所開發設計的韌體程式會存放在晶片內建的 flash 或者外部的 flash、 NOR、NAND，而 DFU 程式就是為了更新放在那些 flash 裡的韌體。另外，更新的方式可以透過 RS-232、Ethernet、USB...等，從這些媒介收到更新的程式碼，再燒錄到所存放的對應位址。         對於 STM32 晶片來說，當電源啟動後，晶片第一執行的位址就是 0x8000000，所以我們把這一小段 DFU 程式安排在這個位址，此時 DFU 內部程式執行後，我們會設計成做個判斷「是否做韌體升級」，如果沒有的話，DFU 會將執行位址跳到 APP 定義的位址，如下圖所示。圖一中，APP 程式碼安排在 0x8003000 位址，這個位址可以自己定義，假如 DFU 程式碼比較大，勢必要將 APP 位址往後移，如果 DFU 程式碼較小，就可以將位址往前移。         如果判斷為更新韌體，這時 DFU 要啟動輸入媒介(RS-232、Ethernet、USB)的驅動，同時也要啟動寫入 flash 的驅動。將收到的韌體程式碼，逐步寫入 flash 裡面。接下來本文的例子是以 STM32 USB 的更新方式來說明，STM32 網站有提供 DFU USB 的範例程式。 圖一：STM 內部記憶體配置 位址安排         當我們用 KEIL IDE 開發環境編譯時，需要先配置程式碼儲存的地方，圖二和圖三分別是 DFU 和 APP 程式碼定義的位址，DFU 放置在 0x8000000，大小為 0x3000 ，然後 APP 程式碼則要放在 0x8003000 ，這就是程式碼配置的關鍵步驟。         此外，還要留意一點，由於 APP 程式碼起始位址已經偏移了，它的中斷向量表 Vector 位址也已經偏移了，所以我們必須要 APP 程式裡把新的中斷向量表做重新的 map，指向新位址。請參考底下這個函數                             NVIC_SetVectorTable ( NVIC_VectTab_FLASH, 0x3000 ); 圖二：設置 DFU 的
Read more »

[模組] 無線資料傳輸：nRF905 和 nRF24L01 (以 Arduino 為控制器)

-
圖片
# [模組] LoRa 模組範例測試通訊距離 # [模組] LoRa - Arduino MKRWAN 1300 通訊模組 模組說明          過去挪威公司 Nordic 開發兩款無線通訊傳輸模組，一種用在中低頻段 (433/868/915 MHz)，稱為 nRF905 ；另一種用在高頻段 (2.4 GHz)，稱為  n RF24L01 。以 RF 特性來看這兩款模組，低頻傳輸距離較高頻遠，低頻訊號具有繞射特性，高頻訊號穿透性較差，不過高頻的資料傳輸率比較高，NRF24L01 傳輸率 > 250kbps，NRF905傳輸率 < 50kbps。因此，我們可以依據應用的需求，選擇適合的無線模組。        圖一所示為 Nordic 公司的 NRF 模組的內部方塊圖，圖右邊有 SPI 控制介面可以讀寫晶片內的暫存器，這些暫存器組算是晶片基頻的數位資料，已經被解調後的資料了。另外，控制接腳用來切換 TX/RX 模式，RF 模組的傳輸可視為 半雙工 方式，因為不可能同時發送又接收。圖左邊是天線，內有一機制是模式切換，就是技術文件裡說的 BurstTX 和 BurstRX。接收端，後面接一個 LNA 放大器，將接收下來的小訊號放大以便讓後端解調處理。發射端，接一個 PA 放大器，將調變訊號再增強以便發射出去，PA 增益越大，發射的距離越遠，但是以這模組上的 PA 放大功率有所限制，主因還是使用無線頻譜資源必須得遵守， 不可干擾其他設備 。 圖一：NRF 無線模組的內部方塊圖 資料傳輸測試         NRF 模組內部有兩大機制，一個是位址，一個是 CRC 檢測，必須位址正確了，加上 CRC 檢測無誤，這樣才算完整接收成功。為了驗證資料丟失率，我們用兩塊 Arduino 開發板和 NRF905 模組，當做資料乒乓傳輸測試，一邊當發射端，一邊當接收端。發射端送出資料後，接收端收到後必須再回傳，發射端確認回傳資料無誤後，紀錄一次正確傳輸，如果一段時間沒有收到，代表資料丟失，記錄一次失敗傳輸，發射端再重新傳輸一次。         底下影片紀錄雙邊通訊的情況，在短距離的範圍內 (< 1公尺)，發送一筆 4 bytes 長度的資料，接收端再回傳資料，當做 ACK，過程中還是有丟失資料的現象。測試代碼可參考 [2][3]。 影片：兩個 NRF90
Read more »