[應用] 雲運算之語音辨識 (Speech To Text)

-

語音辨識架構

        隨著雲端運算的技術越來越成熟，各家平台提供語音方面的服務，應用開發者只要連上雲端並將語音上傳，便能取得想要的服務。為了研究如何連上各家平台的服務，筆者設計一個 Proxy 服務，如圖一所示。目前，我們實際使用過的平台有：阿里雲、百度、科大訊飛、雲知聲，每個雲端平台提供服務的連線驗證方式都不一樣，而且雲運算的語音辨識參數也不盡相同，所以設計一個 Proxy Service 將連線驗證與各項參數做成一個統一開放的介面。Proxy 服務讓其他程式、工具、或人機介面透過網路方式連到這個服務上，並上傳語音，之後返回辨識結果。過程中，各平台的驗證以及 SDK 的整合均由這個 proxy 處理掉了。

圖一：語音辨識的 Proxy 服務

設計流程

        圖二是Proxy Service 內部架構的方塊圖。服務裡有一個 TCP listening 一直等待著其他程式連線，一旦有 TCP 連線，便創建一個新 thread，專門處理這一路連線的通道。由此可知，Proxy 服務可以同時處理多個語音通道，互相獨立運算。另外，圖下方所示，這個服務的底層就是整合多家平台的 SDK，調用他們的 SDK 連上雲端獲得服務。這些 SDK 函數主要功能是封裝 WebSocket 通訊協定，方便開發者調用。當然，我們也可以根據平台的技術文件自行設計一套 WebSocket app 連線雲端，參考 [1][2] ，既然平台有提供 SDK，最好是使用 SDK 來開發，這可避免不相容的問題。
        Proxy 服務的核心是提供一個統一開放介面 SRChannel，並可以設定相關參數，如：VAD、silence偵測、silence 長度...等。設計一個存放語音的 queue，並穩定地上傳到雲端。從雲端返回的事件或結果，再傳給對應的程式。

圖二：Proxy 服務的內部方塊圖

實現展示

        這裡，我們設計一個音檔轉換工具，透過 Proxy 服務將語音轉成文字。底下影片，採用雲端的語音辨識運算，將wav音檔內的語音轉換成文字的程式。影片右邊是音檔轉換工具程式，影片的左邊是播放音檔的聲音，我們可以左右比對音檔內容與語音辨識後的文字。這個轉換工具將目錄裡面的所有音檔依序轉換成文字，並顯示在底下的表格內。

影片：[語音] 音檔的語音轉成文字 (Speech To Text)

參考資料

[1] C++ WebSocket 函式庫：WebSocket++
[2] WebSocket++ 的 Client
[3] Boost C++ Libraries 簡介
位置： 台灣高雄市

留言

發佈留言

此網誌的熱門文章

[筆記] Raspberry Pi 樹莓派的軟體開發

-
圖片
前言         本文的實驗過程是以樹莓派 3B+ 為主，Python是樹莓派板子上的操作系統所提供的程式語言，並且板子上的I/O介面控制官方建議用Python語法開發。因此，在樹莓派上寫程式的第一首選當然是Python，我們可以使用系統上內建的 Python 3 IDLE 或 Thonny Python IDE 的整合開發套件。雖然它是推薦的語法，不過樹莓派系統也可以使用 C/C++ 語言來開發程式，而且也內建一套IDE套件。底下就用簡單的程式碼來試試看這些開發套件。 C/C++開發         樹莓派官方的系統提供一套IDE軟體開發套件，稱為 Geany 。它可以編輯C/C++/Java/Python...等語法，並且編譯組建成執行檔，在樹莓派這樣的操作環境下，這已經算不錯的官方IDE套件了。         首先，打開Geany之後，先在工具列上選擇"專案"，並創建一個新專案。舉例來說，我想要測試C++輸出功能，於是創建一個名為TestCpp的專案。接下來，在工具列上選擇"檔案"，並創建一個"開新檔案"，它會讓我們選個範本，此時選Main.cxx。系統幫我們在專案目錄下建立一個C++檔案，有main function的範本，如下圖一所示。         第二步，在這個檔案裡開始寫些簡單的code，寫個Hello World吧！順便編譯與組建一下，看看有沒有成功。不過，我的專業裏頭總不能只有一個Main檔案走遍天下吧？還是需要有些其他檔案來組建。新增一個加法函數的檔案，名為myadd.cxx，存放在專案的目錄下，這時就可以從main函數調用這個外部加法函數，試試看！一開始編譯，發現會產生編譯失敗，這是因為組建的命令沒設定妥當，預設的命令是編譯單一檔案，這會兒需要編譯一堆檔案，所以要調整命令，如圖二所示。再次編譯後，成功了，可以執行看看結果。 圖一：Geany IDE C++ 軟體開發環境 圖二：修改組建的命令 Python開發         樹莓派官方的系統內建兩套IDE軟體開發套件，一套稱為 Pytho...
Read more »

[筆記] ESP32 在 VS Code 開發環境的編譯與除錯

-
圖片
#  ESP32 評比與教學推薦 NodeMCU-32s 的理由 準備工作 1) 安裝 Visual Studio Code (VS Code)，並安裝其他 C/C++ 插件。 2) 安裝 Python 套件 3) 下載並執行 Setup ESP-IDF Tools：檢查電腦系統的環境，並幫我們把編譯的工具鏈 tool chain 安裝起來。 4) 在 VS Code 安裝 ESP-IDF 插件，點選插件後，看到下圖一並設定路徑後，點擊安裝 ESP-IDF。安裝 v4.2 版本後，會詢問是否下載安裝工具鏈，如果系統已經有安裝，那就設好路徑即可。最後，再安裝 python 虛擬環境給 ESP-IDF，便完成整個環境設定。 圖一：ESP-IDF 擴充插件 建立專案 1) 從 ESP-IDF 選範例專案：按 F1 後，上方的選單輸入 " ESP-IDF: Show Examples Projects "，出現下圖二的範例專案列表，我們可以從中選一個範例來創建，例如我從當中選了 blink 或 hello_word。按下右上方的創建，就會在左半邊出現專案。 圖二：ESP-IDF 範例專案的列表 2) 編譯專案：按 F1 後，上方的選單輸入 " ESP-IDF: Build your project "，VS Code 環境就會開發進行編譯的工作，在下方的欄位會顯示編譯的過程。 3)  設定模組型號：按 F1 後，上方的選單輸入 " ESP-IDF: Device configuration "，彈出選項後，我們選擇 EPS32 為裝置的型號。 4) 電腦接上 ESP32 模組：按 F1 後，上方的選單輸入 " ESP-IDF: Select port to use "，在 VS Code 會自動彈出 COM port 讓我們選擇，點選 EPS32 連接的 COM 即可。 5)  燒錄程式碼到 ESP32：按 F1 後，上方的選單輸入 " ESP-IDF: Select Flash Method and Flash "，彈出選項 JTAG 或 UART，我們選擇 UART 為下載燒錄的方式 (前面我們已經設定 COM 了)。下載燒錄的方式設好了，下次只要...
Read more »

[模組] 三軸重力加速計 Accelerometer (GY-61 ADXL335)

-
圖片
#  ADXL335 三軸加速計的 USB 體感搖桿 #  三軸陀螺儀與加速規 Gyro & Accelerometer 模組介紹         三軸重力加速計是一種重力感測器，也稱為加速規或加速計。三軸指的是 X, Y, Z 軸，重力加速度就是我們高中理化曾學過的地心引力 (g)。由於這個重力加速度是地球的天然資源 (就像磁力線的指南針)，所以當我們身體傾斜或翻轉時，透過地心引力的影響讓身體內部機構可感受到其傾斜或翻轉。於是，將此概念應用到科技工業上，像電玩的 體感遊戲 (Wii, Kinect...) 、 飛行器 、 懸臂旋轉 、 震動感測 ...等都使用到相關元件，本文針對三軸重力加速計的晶片做測試研究，希望能獲得更多的應用靈感。首先，找一顆晶片試試吧！Arduino 開發套件常見的三軸加速計，使用的是 ADI ADXL335/345 晶片，因此我買了一個來測試玩玩看，並用 NXP LPC1114 晶片來設計系統。         三軸重力加速計晶片是 MEMS 設計工藝，能將這種感測技術設計到小晶片裡面，不得不佩服這群工程人員。由於地表的重力加速度有方向性，晶片又根據該重力為基準來測量三軸的變化，所以晶片與三軸的方向座標必須先定義好，如下面圖一所示，晶片面朝上為 Z軸。以圖一為例，晶片放置水平，量測到的重力數值為 X 軸 0g, Y 軸 0g, Z軸 1g。然後，該晶片內部再將這三軸的物理量轉換成電壓值輸出。實驗中，我手上拿到的是 ADXL335，它是輸出三軸的電壓值，所以設計系統時需要選用具有 ADC 功能的 MCU ，才能將這三個電壓值轉換回重力值。此外，ADI 還開發另一顆 ADXL345 晶片，與 ADXL335 晶片有些不一樣的地方，前者內部已有包含 ADC 功能，能將重力值直接轉換成數位值，並使用 I2C / SPI 介面和外部通訊，提供使用者不同的選擇。 圖一：晶片的三軸方向座標 規格分析         三軸重力加速計晶片在使用前先要找到 0g 的電壓值，這也是校正歸零的步驟。雖然每顆晶片出廠前都經過測試，但是每顆晶片之間的物理特性還是存在一點點差距，這種差距...
Read more »

[筆記] Visual Studio 遠端偵錯的設定步驟

-
圖片
        通常我們用微軟Visual Studio IDE開發程式並且在本機上運行與除錯，但隨著開發系統越來越複雜，程式運行在某台服務器上而不是自己的機器，這時候需要進行遠端程式的除錯，架構如下圖一所示。自己的主機要安裝微軟的Visual Studio 2017 IDE，待測的機器上面要有Remote Debugger工具，雙方透過網路的連線進行除錯。 圖一：遠端除錯與待測機器 [步驟]： 1) 在自己主機上的Visual Studio目錄下面找Remote Debugger這個工具目錄，然後把Remote Debugger工具複製到待測機器上。 2) 程式的除錯屬性要設定正確，屬性頁的遠端Windows偵測工具，如下圖二所示。我們必須設定遠端命令 、 工作目錄 、 遠端機器IP 、連接是否驗證...等等，連線的權限要配合遠端機器的設定。 3) 在遠端機器上的Remote Debugger目錄，開啟 msvsmon.exe，這時只要到工具選單設定連線的權限，如下圖三所示。圖中是設為無權限的方式，不需要驗證使用者。 4) 在VS IDE環境運行遠端Windows偵錯工具，如果發現遠端機器上出現錯誤，錯誤的原因是缺少某些 dll 檔案，如：msvcp140D.dll 、ucrtbased.dll... 。我們在本地主機上找找看這些缺少的檔案，應該能找到，然後再複製到遠端機器的 \Windows\System32 目錄底下。 5) 最後，編譯我們的程式後，要再把exe 、 pdb檔案複製到遠端機器的工作目錄上。接著，運行我們的程式遠端 debug，這樣就可以一步步看著遠端機器上的程式怎麼執行了。 C++遠程偵錯 圖二：C++程式的遠端屬性設定 圖三：遠端機器的連線權限設定 C#遠程偵錯 圖四：C# 程式的遠端偵錯設定
Read more »

[應用] 藍芽 BLE client/server 架構：BLE remote controller

-
圖片
實作目的         本文要實現一個藍芽 BLE client/server 的架構，以 Filogic 130A 開發板做為智慧音箱的 BLE server 端，另外 ESP32 的藍芽遙控器做為 BLE client 端，架構圖如下所示。在先前的文章 https://han-ya.blogspot.com/2022/04/smart-speaker-on-filogic-130a-kit.html  已經實現智慧音箱的功能，不只是聲控方式，我們還希望能再增加無線遙控的功能。然而， MT7933 晶片(Cortex-M33)本身有語音運算且具有藍芽連接的能力，所以採用 BLE 來達到這項目的。本文的最後一段，有影片呈現實現的結果。         架構中，做為 BLE server 的設備，就是等待其他周邊設備的連接請求，所以連線之前需要發出廣播與配對 (advertising) 的訊號到空中。另一方面，做為 BLE client 的設備，本身要進入掃描模式，查看空中有哪些 server 設備，然後再對特定的 server 提出連線的請求。等連線成功後，client 便可以取得 server 端的 GATT 各種屬性。 圖一：BLE client / server 架構圖 ESP32 client         在 Arduino IDE 開發環境中，ESP32 提供不少範例程式，其中打開範例 ESP32 BLE Arduino\BLE_client，這是一個 client 端的應用，它會開啟 scan 模式，掃描周圍能提供服務的藍芽設備，並將名稱顯示在 COM port 上，如下圖所示，這個範例能掃描到藍芽位址，設備名稱，以及服務的 UUID。一般來說，client 設備上會有顯示資訊，讓我們選擇連線哪一個藍芽設備，在 ESP32 BLE 模組就先用 COM port 充當顯示囉！ 圖二：BLE client 掃描設備的結果         如果 client 端要連線某一指定的設備，要先知道設備名稱，比如我們這個實驗打算連線的是 Filogic 130A 開發板，它廣播的名稱為 " ...
Read more »

[應用] App Inventor 2 之語音辨識元件

-
圖片
        過去我們研究各種平台上的語音辨識功能，像是雲端服務的一文  雲運算之語音辨識 (Speech To Text)  [1]，或者單晶片的離線辨識一文  LD3320 離線語音辨識晶片與 ESP32 無線傳輸  [2]。這次我們研究安卓系統的語音辨識，在 APP Inventor 2 的多媒體選單中提供語音辨識元件，元件屬性有 "UseLegacy"，如果勾選它，每當調用這個元件時，手機畫面會彈出一個畫面，準備運行語音辨識。這個屬性只能允許一次性的辨識過程，需要再次調用元件才能進行下次辨識，如果要連續辨識的話，我們就必須 uncheck 這個屬性。         底下的積木流程圖採用連續語音辨識的屬性所設計的，不過開發過程中遇到一個問題，系統會不斷地彈跳出錯誤訊息，然後語音辨識過程就中斷了。在網路上也有人遇到同樣的情況[3][4]， 現階段 處理的方式是把這些錯誤訊息抓出來，其中編號 3806 錯誤 (No Match) 出現時，重新呼叫語音辨識元件，讓系統再次進入辨識的狀態，但是每次出現錯誤訊息手機就會發出嗶嗶聲，有點惱人。或許，未來安卓系統會提供這個元件有更好的解決辦法，目前就先用上述的方式 work around 吧！最後一點，這個元件需要用到手機的網路，因為語音辨識的服務放在雲端上，如果沒有公眾網路，辨識是不起作用的。 圖一：APP 語音辨識積木流程圖 影片： App Inventor 語音辨識元件 參考資料 [1]  雲運算之語音辨識 (Speech To Text) [2]  LD3320 離線語音辨識晶片與 ESP32 無線傳輸 [3]  錯誤訊息 3806 [4]  App inventor : SpeechRecognizer 語音辨識
Read more »

[應用] STM32 DFU (Device Firmware Upgrade)

-
圖片
DFU 說明         DFU (Device Firmware Upgrade) 顧名思義是升級晶片的韌體程式，這相當於嵌入式系統中的 bootloader 程式。一般來說，我們所開發設計的韌體程式會存放在晶片內建的 flash 或者外部的 flash、 NOR、NAND，而 DFU 程式就是為了更新放在那些 flash 裡的韌體。另外，更新的方式可以透過 RS-232、Ethernet、USB...等，從這些媒介收到更新的程式碼，再燒錄到所存放的對應位址。         對於 STM32 晶片來說，當電源啟動後，晶片第一執行的位址就是 0x8000000，所以我們把這一小段 DFU 程式安排在這個位址，此時 DFU 內部程式執行後，我們會設計成做個判斷「是否做韌體升級」，如果沒有的話，DFU 會將執行位址跳到 APP 定義的位址，如下圖所示。圖一中，APP 程式碼安排在 0x8003000 位址，這個位址可以自己定義，假如 DFU 程式碼比較大，勢必要將 APP 位址往後移，如果 DFU 程式碼較小，就可以將位址往前移。         如果判斷為更新韌體，這時 DFU 要啟動輸入媒介(RS-232、Ethernet、USB)的驅動，同時也要啟動寫入 flash 的驅動。將收到的韌體程式碼，逐步寫入 flash 裡面。接下來本文的例子是以 STM32 USB 的更新方式來說明，STM32 網站有提供 DFU USB 的範例程式。 圖一：STM 內部記憶體配置 位址安排         當我們用 KEIL IDE 開發環境編譯時，需要先配置程式碼儲存的地方，圖二和圖三分別是 DFU 和 APP 程式碼定義的位址，DFU 放置在 0x8000000，大小為 0x3000 ，然後 APP 程式碼則要放在 0x8003000 ，這就是程式碼配置的關鍵步驟。         此外，還要留意一點，由於 APP 程式碼起始位址已經偏移了，它的中斷向量表 Vector 位址也已經偏移了，所以我們必須要 APP 程式裡把新的中斷向量表做重新的 map，指向新位址。請參...
Read more »