[應用] 雲運算之語音辨識 (Speech To Text)

-

語音辨識架構

        隨著雲端運算的技術越來越成熟，各家平台提供語音方面的服務，應用開發者只要連上雲端並將語音上傳，便能取得想要的服務。為了研究如何連上各家平台的服務，筆者設計一個 Proxy 服務，如圖一所示。目前，我們實際使用過的平台有：阿里雲、百度、科大訊飛、雲知聲，每個雲端平台提供服務的連線驗證方式都不一樣，而且雲運算的語音辨識參數也不盡相同，所以設計一個 Proxy Service 將連線驗證與各項參數做成一個統一開放的介面。Proxy 服務讓其他程式、工具、或人機介面透過網路方式連到這個服務上，並上傳語音，之後返回辨識結果。過程中，各平台的驗證以及 SDK 的整合均由這個 proxy 處理掉了。

圖一：語音辨識的 Proxy 服務

設計流程

        圖二是Proxy Service 內部架構的方塊圖。服務裡有一個 TCP listening 一直等待著其他程式連線，一旦有 TCP 連線，便創建一個新 thread，專門處理這一路連線的通道。由此可知，Proxy 服務可以同時處理多個語音通道，互相獨立運算。另外，圖下方所示，這個服務的底層就是整合多家平台的 SDK，調用他們的 SDK 連上雲端獲得服務。這些 SDK 函數主要功能是封裝 WebSocket 通訊協定，方便開發者調用。當然，我們也可以根據平台的技術文件自行設計一套 WebSocket app 連線雲端，參考 [1][2] ，既然平台有提供 SDK，最好是使用 SDK 來開發，這可避免不相容的問題。
        Proxy 服務的核心是提供一個統一開放介面 SRChannel，並可以設定相關參數，如：VAD、silence偵測、silence 長度...等。設計一個存放語音的 queue，並穩定地上傳到雲端。從雲端返回的事件或結果，再傳給對應的程式。

圖二：Proxy 服務的內部方塊圖

實現展示

        這裡，我們設計一個音檔轉換工具，透過 Proxy 服務將語音轉成文字。底下影片，採用雲端的語音辨識運算，將wav音檔內的語音轉換成文字的程式。影片右邊是音檔轉換工具程式，影片的左邊是播放音檔的聲音，我們可以左右比對音檔內容與語音辨識後的文字。這個轉換工具將目錄裡面的所有音檔依序轉換成文字，並顯示在底下的表格內。

影片：[語音] 音檔的語音轉成文字 (Speech To Text)

參考資料

[1] C++ WebSocket 函式庫：WebSocket++
[2] WebSocket++ 的 Client
[3] Boost C++ Libraries 簡介
位置： 台灣高雄市

留言

發佈留言

此網誌的熱門文章

[筆記] Raspberry Pi 樹莓派的軟體開發

-
圖片
前言         本文的實驗過程是以樹莓派 3B+ 為主，Python是樹莓派板子上的操作系統所提供的程式語言，並且板子上的I/O介面控制官方建議用Python語法開發。因此，在樹莓派上寫程式的第一首選當然是Python，我們可以使用系統上內建的 Python 3 IDLE 或 Thonny Python IDE 的整合開發套件。雖然它是推薦的語法，不過樹莓派系統也可以使用 C/C++ 語言來開發程式，而且也內建一套IDE套件。底下就用簡單的程式碼來試試看這些開發套件。 C/C++開發         樹莓派官方的系統提供一套IDE軟體開發套件，稱為 Geany 。它可以編輯C/C++/Java/Python...等語法，並且編譯組建成執行檔，在樹莓派這樣的操作環境下，這已經算不錯的官方IDE套件了。         首先，打開Geany之後，先在工具列上選擇"專案"，並創建一個新專案。舉例來說，我想要測試C++輸出功能，於是創建一個名為TestCpp的專案。接下來，在工具列上選擇"檔案"，並創建一個"開新檔案"，它會讓我們選個範本，此時選Main.cxx。系統幫我們在專案目錄下建立一個C++檔案，有main function的範本，如下圖一所示。         第二步，在這個檔案裡開始寫些簡單的code，寫個Hello World吧！順便編譯與組建一下，看看有沒有成功。不過，我的專業裏頭總不能只有一個Main檔案走遍天下吧？還是需要有些其他檔案來組建。新增一個加法函數的檔案，名為myadd.cxx，存放在專案的目錄下，這時就可以從main函數調用這個外部加法函數，試試看！一開始編譯，發現會產生編譯失敗，這是因為組建的命令沒設定妥當，預設的命令是編譯單一檔案，這會兒需要編譯一堆檔案，所以要調整命令，如圖二所示。再次編譯後，成功了，可以執行看看結果。 圖一：Geany IDE C++ 軟體開發環境 圖二：修改組建的命令 Python開發         樹莓派官方的系統內建兩套IDE軟體開發套件，一套稱為 Python 3 IDLE ，另一套為 Thonny Python 。我分別用print簡單的程式測試兩個IDE開發環境，如下圖三所示為Python
Read more »

[應用] 在 ESP32 Audio 開發板的 VoIP 範例

-
圖片
開發板介紹         安信可 公司(Ai-Thinker)基於 ESP32 晶片推出一塊具有語音功能的 ESP32 Audio Kit 開發板，簡稱 ESP32-A1S，它與原廠的 ESP32 Lyrat 開發板都使用同一套 ESP-ADF SDK 軟體，但是開發板的電路有些差異，底層的驅動程式需要替換才能順利開發。         首先，最大的差異在 ESP32-A1S 語音編碼晶片採用 AC101 ，不過晶片被封裝在 ESP32 模組上，所以我們在開發板上面看不到這顆晶片，然而 ESP32 Lyrat 板採用 ES8388 晶片，因此在 ESP-ADF 中語音編碼的驅動程式需要更替。另外，其他不一樣的地方都在 GPIO 接腳的連接上，整理後，如下表所示，我們需要調整 ADF 底層的 HAL 和 Board 的配置，SDK 才能正常使用。 表一：ESP32-Lyrat 與 Audio Kit 開發板的差異         第一步，下載 ESP-ADF。在 VS Code 開發環境下[1]，按 F1 後，選取 "Install ESP-ADF"，VS Code 會自動從 GitHub 下載，並安裝 ADF 開發套件。如果是使用 ESP32-Lyrat 板子，可以直接跳到第四步，創建範例開始開發了。使用 ESP32-A1S 板子前，需要調整一下底層代碼，接續前面動作，我們從 GitHub 下載 A1S 的驅動程式， ESP32-A1S-AudioKit  程式碼，其目錄結構與 ADF 一樣，方便我們相互比對兩者差異。         第二步，到  \esp-adf\components\ audio_hal \driver 目錄下，將下載 A1S 裡的 AC101 驅動程式放進來。接著，要將 ac101 目錄和 ac101.c 加到  CMakeLists.txt 文件，同樣也要加到  component.mk 文件裡 ，這樣編譯過程就會把 AC101 驅動程式加進來編譯了。         第三步，我們再到  \esp-adf\components\ audio_board \lyrat_v4_3 目錄下(因為我們沒想要在 menuconfig 裡新增 A1S 配置，打算借用 lyrat 原配置)，將 board.c、board
Read more »

[筆記] Android APP 藍芽範例說明 -- BluetoothChat

-
圖片
準備工作         第一次寫 Android 藍牙連線程式還不知該如何開始 (新手上路)，於是先找一本 APP 開發的書吧！也許從書中能獲得一些訊息。之前筆者主要使用的程式語言是 C/C++，所以初次看到 APP 的每個範例都不是很面熟。經過幾周的研讀後，給後進初學者的建議是先準備下列的書和開發環境： Java 8.0 程式語言 ，如果對 Java 語法不熟悉，最好有一本工具書能快速查詢。 Android APP 程式設計，學習 UI 如何設計的概念。 開發 IDE 環境 Android Studio 1.4 以上         Android  官方的開發網站提供不少範例程式，由於先前開發藍牙相關的設備，因此我們從網站下載一個 BluetoothChat 程式來研究，藉此熟悉 Android SDK 來了解如何使用藍牙介面。首先了解一下這個範例有什麼功能，它的功能其實很簡單 (範例就是要簡單才夠力)，即透過藍牙通訊在手機或平板上互傳訊息的程式。圖一是範例程式的專案打開後列出相關的檔案，包含設定檔 、java程式檔 、資源檔。然而主要的程式檔為MainActivity 、 BluetoothChatFragment 、 BluetoothChatService 、 DeviceActivity 這四個，另外還有一些程式檔案是 debug log 的用途，方便我們在 debug 模式下顯示於 IDE 的訊息。不過，初學者可以直接從上述的四個檔案來研究，log 以後有興趣再說。 圖一：範例 BluetoothChat 專案         下圖二是範例 BluetoothChat 的流程圖，主要是由上述的四個 java 檔案組成的類別。APP 程式一開始先呼叫 MainActivity，這是初學者必須懂的常識，如果不清楚的話，趕緊找本書K一K。當系統呼叫 MainActivity 類別時，該類別會生成一個新的 BluetoothChatFragment，這是一個 Android Fragment 所衍生的類別，關於 fragment 是甚麼？它跟 UI 畫面有關，請參考官方網站的詳細解說。此外，生成 BluetoothChatFragment 的同時也會新生成 BluetoothChatService 類別，這個類
Read more »

[筆記] ESP32 在 VS Code 開發環境的編譯與除錯

-
圖片
#  ESP32 評比與教學推薦 NodeMCU-32s 的理由 準備工作 1) 安裝 Visual Studio Code (VS Code)，並安裝其他 C/C++ 插件。 2) 安裝 Python 套件 3) 下載並執行 Setup ESP-IDF Tools：檢查電腦系統的環境，並幫我們把編譯的工具鏈 tool chain 安裝起來。 4) 在 VS Code 安裝 ESP-IDF 插件，點選插件後，看到下圖一並設定路徑後，點擊安裝 ESP-IDF。安裝 v4.2 版本後，會詢問是否下載安裝工具鏈，如果系統已經有安裝，那就設好路徑即可。最後，再安裝 python 虛擬環境給 ESP-IDF，便完成整個環境設定。 圖一：ESP-IDF 擴充插件 建立專案 1) 從 ESP-IDF 選範例專案：按 F1 後，上方的選單輸入 " ESP-IDF: Show Examples Projects "，出現下圖二的範例專案列表，我們可以從中選一個範例來創建，例如我從當中選了 blink 或 hello_word。按下右上方的創建，就會在左半邊出現專案。 圖二：ESP-IDF 範例專案的列表 2) 編譯專案：按 F1 後，上方的選單輸入 " ESP-IDF: Build your project "，VS Code 環境就會開發進行編譯的工作，在下方的欄位會顯示編譯的過程。 3)  設定模組型號：按 F1 後，上方的選單輸入 " ESP-IDF: Device configuration "，彈出選項後，我們選擇 EPS32 為裝置的型號。 4) 電腦接上 ESP32 模組：按 F1 後，上方的選單輸入 " ESP-IDF: Select port to use "，在 VS Code 會自動彈出 COM port 讓我們選擇，點選 EPS32 連接的 COM 即可。 5)  燒錄程式碼到 ESP32：按 F1 後，上方的選單輸入 " ESP-IDF: Select Flash Method and Flash "，彈出選項 JTAG 或 UART，我們選擇 UART 為下載燒錄的方式 (前面我們已經設定 COM 了)。下載燒錄的方式設好了，下次只要
Read more »

[筆記] Visual Studio 遠端偵錯的設定步驟

-
圖片
        通常我們用微軟Visual Studio IDE開發程式並且在本機上運行與除錯，但隨著開發系統越來越複雜，程式運行在某台服務器上而不是自己的機器，這時候需要進行遠端程式的除錯，架構如下圖一所示。自己的主機要安裝微軟的Visual Studio 2017 IDE，待測的機器上面要有Remote Debugger工具，雙方透過網路的連線進行除錯。 圖一：遠端除錯與待測機器 [步驟]： 1) 在自己主機上的Visual Studio目錄下面找Remote Debugger這個工具目錄，然後把Remote Debugger工具複製到待測機器上。 2) 程式的除錯屬性要設定正確，屬性頁的遠端Windows偵測工具，如下圖二所示。我們必須設定遠端命令 、 工作目錄 、 遠端機器IP 、連接是否驗證...等等，連線的權限要配合遠端機器的設定。 3) 在遠端機器上的Remote Debugger目錄，開啟 msvsmon.exe，這時只要到工具選單設定連線的權限，如下圖三所示。圖中是設為無權限的方式，不需要驗證使用者。 4) 在VS IDE環境運行遠端Windows偵錯工具，如果發現遠端機器上出現錯誤，錯誤的原因是缺少某些 dll 檔案，如：msvcp140D.dll 、ucrtbased.dll... 。我們在本地主機上找找看這些缺少的檔案，應該能找到，然後再複製到遠端機器的 \Windows\System32 目錄底下。 5) 最後，編譯我們的程式後，要再把exe 、 pdb檔案複製到遠端機器的工作目錄上。接著，運行我們的程式遠端 debug，這樣就可以一步步看著遠端機器上的程式怎麼執行了。 C++遠程偵錯 圖二：C++程式的遠端屬性設定 圖三：遠端機器的連線權限設定 C#遠程偵錯 圖四：C# 程式的遠端偵錯設定
Read more »

[筆記] Android APP BLE範例程式 -- BluetoothLeGatt

-
圖片
前言         在 Android 裡面的藍芽和低功耗藍芽 (Bluetooth Low Energy) 控制方式不一樣，這裡有一篇文章[ 連結 ]說明傳統藍芽與 BLE 有哪些部份不同。此外在 API 方面，很多低功耗藍芽的函式必須在 API level 18 以上才能使用，也就是 Android 4.3平台以上。上一篇介紹的 BluetoothChat 程式是採用傳統的藍芽控制方式，為了讓開發者認識 BLE 如何控制，Android 官方網站提供一個 BLE Gatt 的範例程式，圖一所示是這個範例程式的專案檔，主要的程式檔為 DeviceScanActivity 、 DeviceControlActivity 和 BluetoothLeService。 圖一：BLE範例程式專案檔         圖二所示是這個範例的系統方塊圖，從 AndroidManifest.xml 設定檔可得知操作畫面先呼叫 DeviceScanActivity 類別，它衍生自 ListActivity 類別。這 Activity 畫面的 onCreate( ) 函式裡面依舊執行傳統藍芽的檢查： 檢查本身有無藍芽裝置 (參考前一篇 BluetoothChat 的做法) 檢查有無 BLE service 打開藍芽功能 搜尋 BLE 設備        當 DeviceScanActivity 創建出來後，畫面右上方會出現選單，這對應到類別的 option 操作。這裡有兩種選擇：start scan 或 stop scan，如下圖的左邊所示。當搜尋後的結果會列在畫面上，操作者可以從中選一 BLE 設備進行連線，如下圖的右邊所示。透過 Intent 方式開啟 DeviceControlActivity 類別，生成這類別過程會開啟 BluetoothLeService 這個藍芽服務。這裡使用了一個技巧，就是 bind service 的方法，我們把這個 service 類別想像成提供在背景持續工作的服務，而且能提供訊息給 UI 畫面。 圖二：BLE範例的系統方塊圖 搜尋 BLE 設備         搜尋 BLE 設備的方式與傳統藍芽有些不同，第一步都必須取得藍芽配適器 Bluetooth Adapter，不過
Read more »

[模組] LD3320 離線語音辨識晶片與 ESP32 無線傳輸

-
圖片
#  ESP8266 WiFi to RS485 (MODBUS TCP to RS232) #  環境品質監控系統 實驗說明         使用離線語音辨識晶片 LD3320 ，獲得辨識結果後透過 ESP32S 無線模組傳輸到另一塊無線模組上顯示出結果，如下圖一所示。 無線模組 ESP32         無線模組 ESP 系列是上海樂鑫所開發，經由安信可二次開發後推廣，模組提供 AT command (UART) 的方式進行控制，但這種方式使用起來總是覺得隔了一層紗，有層距離感，操控上反應或速度不夠即時。幸運的是，隨著這塊模組的生態系越來越成熟，使用者也越多了，ESP 模組已經能像 Arduino 一樣，可以在 Arduino IDE 環境下開發編譯並下載，同時不少開發者也分享各類無線模組的案例，方便我們拿來參考 [1][2]。         研究過程中，發現 ESP32S 上面的 FLASH 所屬的接腳不能直接拿來當作 GPIO 使用，因為這樣會影響到 IDE 燒錄，FLASH D0-D3 + CMD + SCK 正好對應到 GPIO 6-11，電路規劃時得避開使用這幾根 I/O。另外，這塊 ESP32S 模組有提供 3.3V 和 5V 輸出，正好 LCD_I2C 模組需要吃 5V 電壓，而語音辨識晶片吃 3.3V 電壓，能同時滿足開發的需求。 圖一：以無線傳輸語音辨識的結果         ESP32S 是同時具有 WiFi 和藍芽功能的模組，實驗中，我們使用模組的藍芽傳輸功能，並參考範例中的 BluetoothSerial 程式，通訊的一端代碼是 Bluetooth Master，另一端為 Bluetooth Slave，下圖二是兩邊代碼的說明。將 Slave 端設定藍芽名稱 (ESP32-ASR) 後，等待 Master 來連接，在 Master 端則對名稱 (ESP32-ASR) 發出連線請求，接著雙方就會自動連接成功。 圖二：藍芽通訊雙方的原始碼 離線語音辨識         LD3320 是十年前的語音辨識晶片 [3]，主要辨識中文，已不是新鮮貨。它不需要連上雲端，只要設定好辨識的字句儲存到晶片的暫存器內，它就能進行離線辨識。優點是辨識過程很快，而且是不特定人的辨識方式，對於設定後的字句，其辨識準確率算不錯的 (在無噪音干擾環境下)。
Read more »