[筆記] WebRTC VP8 視頻封包的解析

-

WebRTC媒体流中，从RTP视频流接收到的封包，封包包含RTP header头部以及RTP payload，其中RTP的payload内含是VP8视频内容。将封包刨除RTP header后的VP8内容，其包含两部分：Payload descriptor和Payload data部分。Payload descriptor用来描述每笔收到的RTP封包中的VP8画面资料，descriptor后面就带着VP8的资料。


🔰 底下是 Payload descriptor 的部分

90代表 VP8 第一个header，栏位意义如下

X

0

N

S

0

PID

 


X：1代表后面还有option

S：1代表VP8第一个partition

PID：0~7，第一个为0

80代表option

I

L

T

K

000

 


                I：1代表后面有I行，带着picture ID

CC-B5 代表picture ID，当M=0，ID为7-bit。M=1，ID为15-bit，ID随机产生。

M

Picture ID

 

  

🔰 底下是 Payload data 的 header 部分

70 - C7 - 00 这三个byte代表意义，如下

Size0

H

Ver

P

Size1

Size2

Size = 0 * 2048 + 0xC7 * 8 + 3 = 0x63B = 1595 后面有1595 bytes

                P：0代表key frame，1代表inter frame

                H：0代表不显示，1代表显示

 

9D - 01 - 2A：是 magic number

0x80 0x02：代表宽度Width 0x0280 = 640

0xE0 0x01：代表高度Height 0x01E0 = 480

 

對於 key frame，所占用的 header 為 10 bytes 長度，而對於 inter frame，所占用的 header 長度為 3 bytes。在 RTP 传输中，一个 VP8 frame 会被切成数个封包传送，范例如下。前三个RTP封包是同一 PictureID，后面的封包则ID增加一。先要将 payload descriptor 栏位去掉后，才能丢给ffmpeg 处理。请参考连结 http://www.watersprings.org/pub/id/draft-ietf-payload-vp8-05.html


位置： 807台灣高雄市三民區大順三路366巷6號二樓

留言

發佈留言

此網誌的熱門文章

[筆記] Raspberry Pi 樹莓派的軟體開發

-
圖片
前言         本文的實驗過程是以樹莓派 3B+ 為主，Python是樹莓派板子上的操作系統所提供的程式語言，並且板子上的I/O介面控制官方建議用Python語法開發。因此，在樹莓派上寫程式的第一首選當然是Python，我們可以使用系統上內建的 Python 3 IDLE 或 Thonny Python IDE 的整合開發套件。雖然它是推薦的語法，不過樹莓派系統也可以使用 C/C++ 語言來開發程式，而且也內建一套IDE套件。底下就用簡單的程式碼來試試看這些開發套件。 C/C++開發         樹莓派官方的系統提供一套IDE軟體開發套件，稱為 Geany 。它可以編輯C/C++/Java/Python...等語法，並且編譯組建成執行檔，在樹莓派這樣的操作環境下，這已經算不錯的官方IDE套件了。         首先，打開Geany之後，先在工具列上選擇"專案"，並創建一個新專案。舉例來說，我想要測試C++輸出功能，於是創建一個名為TestCpp的專案。接下來，在工具列上選擇"檔案"，並創建一個"開新檔案"，它會讓我們選個範本，此時選Main.cxx。系統幫我們在專案目錄下建立一個C++檔案，有main function的範本，如下圖一所示。         第二步，在這個檔案裡開始寫些簡單的code，寫個Hello World吧！順便編譯與組建一下，看看有沒有成功。不過，我的專業裏頭總不能只有一個Main檔案走遍天下吧？還是需要有些其他檔案來組建。新增一個加法函數的檔案，名為myadd.cxx，存放在專案的目錄下，這時就可以從main函數調用這個外部加法函數，試試看！一開始編譯，發現會產生編譯失敗，這是因為組建的命令沒設定妥當，預設的命令是編譯單一檔案，這會兒需要編譯一堆檔案，所以要調整命令，如圖二所示。再次編譯後，成功了，可以執行看看結果。 圖一：Geany IDE C++ 軟體開發環境 圖二：修改組建的命令 Python開發         樹莓派官方的系統內建兩套IDE軟體開發套件，一套稱為 Python 3 IDLE ，另一套為 Thonny Python 。我分別用print簡單的程式測試兩個IDE開發環境，如下圖三所示為Python
Read more »

[應用] 在 ESP32 Audio 開發板的 VoIP 範例

-
圖片
開發板介紹         安信可 公司(Ai-Thinker)基於 ESP32 晶片推出一塊具有語音功能的 ESP32 Audio Kit 開發板，簡稱 ESP32-A1S，它與原廠的 ESP32 Lyrat 開發板都使用同一套 ESP-ADF SDK 軟體，但是開發板的電路有些差異，底層的驅動程式需要替換才能順利開發。         首先，最大的差異在 ESP32-A1S 語音編碼晶片採用 AC101 ，不過晶片被封裝在 ESP32 模組上，所以我們在開發板上面看不到這顆晶片，然而 ESP32 Lyrat 板採用 ES8388 晶片，因此在 ESP-ADF 中語音編碼的驅動程式需要更替。另外，其他不一樣的地方都在 GPIO 接腳的連接上，整理後，如下表所示，我們需要調整 ADF 底層的 HAL 和 Board 的配置，SDK 才能正常使用。 表一：ESP32-Lyrat 與 Audio Kit 開發板的差異         第一步，下載 ESP-ADF。在 VS Code 開發環境下[1]，按 F1 後，選取 "Install ESP-ADF"，VS Code 會自動從 GitHub 下載，並安裝 ADF 開發套件。如果是使用 ESP32-Lyrat 板子，可以直接跳到第四步，創建範例開始開發了。使用 ESP32-A1S 板子前，需要調整一下底層代碼，接續前面動作，我們從 GitHub 下載 A1S 的驅動程式， ESP32-A1S-AudioKit  程式碼，其目錄結構與 ADF 一樣，方便我們相互比對兩者差異。         第二步，到  \esp-adf\components\ audio_hal \driver 目錄下，將下載 A1S 裡的 AC101 驅動程式放進來。接著，要將 ac101 目錄和 ac101.c 加到  CMakeLists.txt 文件，同樣也要加到  component.mk 文件裡 ，這樣編譯過程就會把 AC101 驅動程式加進來編譯了。         第三步，我們再到  \esp-adf\components\ audio_board \lyrat_v4_3 目錄下(因為我們沒想要在 menuconfig 裡新增 A1S 配置，打算借用 lyrat 原配置)，將 board.c、board
Read more »

[筆記] ESP32 在 VS Code 開發環境的編譯與除錯

-
圖片
#  ESP32 評比與教學推薦 NodeMCU-32s 的理由 準備工作 1) 安裝 Visual Studio Code (VS Code)，並安裝其他 C/C++ 插件。 2) 安裝 Python 套件 3) 下載並執行 Setup ESP-IDF Tools：檢查電腦系統的環境，並幫我們把編譯的工具鏈 tool chain 安裝起來。 4) 在 VS Code 安裝 ESP-IDF 插件，點選插件後，看到下圖一並設定路徑後，點擊安裝 ESP-IDF。安裝 v4.2 版本後，會詢問是否下載安裝工具鏈，如果系統已經有安裝，那就設好路徑即可。最後，再安裝 python 虛擬環境給 ESP-IDF，便完成整個環境設定。 圖一：ESP-IDF 擴充插件 建立專案 1) 從 ESP-IDF 選範例專案：按 F1 後，上方的選單輸入 " ESP-IDF: Show Examples Projects "，出現下圖二的範例專案列表，我們可以從中選一個範例來創建，例如我從當中選了 blink 或 hello_word。按下右上方的創建，就會在左半邊出現專案。 圖二：ESP-IDF 範例專案的列表 2) 編譯專案：按 F1 後，上方的選單輸入 " ESP-IDF: Build your project "，VS Code 環境就會開發進行編譯的工作，在下方的欄位會顯示編譯的過程。 3)  設定模組型號：按 F1 後，上方的選單輸入 " ESP-IDF: Device configuration "，彈出選項後，我們選擇 EPS32 為裝置的型號。 4) 電腦接上 ESP32 模組：按 F1 後，上方的選單輸入 " ESP-IDF: Select port to use "，在 VS Code 會自動彈出 COM port 讓我們選擇，點選 EPS32 連接的 COM 即可。 5)  燒錄程式碼到 ESP32：按 F1 後，上方的選單輸入 " ESP-IDF: Select Flash Method and Flash "，彈出選項 JTAG 或 UART，我們選擇 UART 為下載燒錄的方式 (前面我們已經設定 COM 了)。下載燒錄的方式設好了，下次只要
Read more »

[筆記] Visual Studio 遠端偵錯的設定步驟

-
圖片
        通常我們用微軟Visual Studio IDE開發程式並且在本機上運行與除錯，但隨著開發系統越來越複雜，程式運行在某台服務器上而不是自己的機器，這時候需要進行遠端程式的除錯，架構如下圖一所示。自己的主機要安裝微軟的Visual Studio 2017 IDE，待測的機器上面要有Remote Debugger工具，雙方透過網路的連線進行除錯。 圖一：遠端除錯與待測機器 [步驟]： 1) 在自己主機上的Visual Studio目錄下面找Remote Debugger這個工具目錄，然後把Remote Debugger工具複製到待測機器上。 2) 程式的除錯屬性要設定正確，屬性頁的遠端Windows偵測工具，如下圖二所示。我們必須設定遠端命令 、 工作目錄 、 遠端機器IP 、連接是否驗證...等等，連線的權限要配合遠端機器的設定。 3) 在遠端機器上的Remote Debugger目錄，開啟 msvsmon.exe，這時只要到工具選單設定連線的權限，如下圖三所示。圖中是設為無權限的方式，不需要驗證使用者。 4) 在VS IDE環境運行遠端Windows偵錯工具，如果發現遠端機器上出現錯誤，錯誤的原因是缺少某些 dll 檔案，如：msvcp140D.dll 、ucrtbased.dll... 。我們在本地主機上找找看這些缺少的檔案，應該能找到，然後再複製到遠端機器的 \Windows\System32 目錄底下。 5) 最後，編譯我們的程式後，要再把exe 、 pdb檔案複製到遠端機器的工作目錄上。接著，運行我們的程式遠端 debug，這樣就可以一步步看著遠端機器上的程式怎麼執行了。 C++遠程偵錯 圖二：C++程式的遠端屬性設定 圖三：遠端機器的連線權限設定 C#遠程偵錯 圖四：C# 程式的遠端偵錯設定
Read more »

[筆記] Android APP 藍芽範例說明 -- BluetoothChat

-
圖片
準備工作         第一次寫 Android 藍牙連線程式還不知該如何開始 (新手上路)，於是先找一本 APP 開發的書吧！也許從書中能獲得一些訊息。之前筆者主要使用的程式語言是 C/C++，所以初次看到 APP 的每個範例都不是很面熟。經過幾周的研讀後，給後進初學者的建議是先準備下列的書和開發環境： Java 8.0 程式語言 ，如果對 Java 語法不熟悉，最好有一本工具書能快速查詢。 Android APP 程式設計，學習 UI 如何設計的概念。 開發 IDE 環境 Android Studio 1.4 以上         Android  官方的開發網站提供不少範例程式，由於先前開發藍牙相關的設備，因此我們從網站下載一個 BluetoothChat 程式來研究，藉此熟悉 Android SDK 來了解如何使用藍牙介面。首先了解一下這個範例有什麼功能，它的功能其實很簡單 (範例就是要簡單才夠力)，即透過藍牙通訊在手機或平板上互傳訊息的程式。圖一是範例程式的專案打開後列出相關的檔案，包含設定檔 、java程式檔 、資源檔。然而主要的程式檔為MainActivity 、 BluetoothChatFragment 、 BluetoothChatService 、 DeviceActivity 這四個，另外還有一些程式檔案是 debug log 的用途，方便我們在 debug 模式下顯示於 IDE 的訊息。不過，初學者可以直接從上述的四個檔案來研究，log 以後有興趣再說。 圖一：範例 BluetoothChat 專案         下圖二是範例 BluetoothChat 的流程圖，主要是由上述的四個 java 檔案組成的類別。APP 程式一開始先呼叫 MainActivity，這是初學者必須懂的常識，如果不清楚的話，趕緊找本書K一K。當系統呼叫 MainActivity 類別時，該類別會生成一個新的 BluetoothChatFragment，這是一個 Android Fragment 所衍生的類別，關於 fragment 是甚麼？它跟 UI 畫面有關，請參考官方網站的詳細解說。此外，生成 BluetoothChatFragment 的同時也會新生成 BluetoothChatService 類別，這個類
Read more »

[應用] 藍芽 BLE client/server 架構：BLE remote controller

-
圖片
實作目的         本文要實現一個藍芽 BLE client/server 的架構，以 Filogic 130A 開發板做為智慧音箱的 BLE server 端，另外 ESP32 的藍芽遙控器做為 BLE client 端，架構圖如下所示。在先前的文章 https://han-ya.blogspot.com/2022/04/smart-speaker-on-filogic-130a-kit.html  已經實現智慧音箱的功能，不只是聲控方式，我們還希望能再增加無線遙控的功能。然而， MT7933 晶片(Cortex-M33)本身有語音運算且具有藍芽連接的能力，所以採用 BLE 來達到這項目的。本文的最後一段，有影片呈現實現的結果。         架構中，做為 BLE server 的設備，就是等待其他周邊設備的連接請求，所以連線之前需要發出廣播與配對 (advertising) 的訊號到空中。另一方面，做為 BLE client 的設備，本身要進入掃描模式，查看空中有哪些 server 設備，然後再對特定的 server 提出連線的請求。等連線成功後，client 便可以取得 server 端的 GATT 各種屬性。 圖一：BLE client / server 架構圖 ESP32 client         在 Arduino IDE 開發環境中，ESP32 提供不少範例程式，其中打開範例 ESP32 BLE Arduino\BLE_client，這是一個 client 端的應用，它會開啟 scan 模式，掃描周圍能提供服務的藍芽設備，並將名稱顯示在 COM port 上，如下圖所示，這個範例能掃描到藍芽位址，設備名稱，以及服務的 UUID。一般來說，client 設備上會有顯示資訊，讓我們選擇連線哪一個藍芽設備，在 ESP32 BLE 模組就先用 COM port 充當顯示囉！ 圖二：BLE client 掃描設備的結果         如果 client 端要連線某一指定的設備，要先知道設備名稱，比如我們這個實驗打算連線的是 Filogic 130A 開發板，它廣播的名稱為 " BLE_SMTCN "，那 client 端的程式被我改寫成，只要一掃瞄到這個名稱後，便向這設備進行連線的請求。連線成功後，我們看到 COM por
Read more »

[模組] LD3320 離線語音辨識晶片與 ESP32 無線傳輸

-
圖片
#  ESP8266 WiFi to RS485 (MODBUS TCP to RS232) #  環境品質監控系統 實驗說明         使用離線語音辨識晶片 LD3320 ，獲得辨識結果後透過 ESP32S 無線模組傳輸到另一塊無線模組上顯示出結果，如下圖一所示。 無線模組 ESP32         無線模組 ESP 系列是上海樂鑫所開發，經由安信可二次開發後推廣，模組提供 AT command (UART) 的方式進行控制，但這種方式使用起來總是覺得隔了一層紗，有層距離感，操控上反應或速度不夠即時。幸運的是，隨著這塊模組的生態系越來越成熟，使用者也越多了，ESP 模組已經能像 Arduino 一樣，可以在 Arduino IDE 環境下開發編譯並下載，同時不少開發者也分享各類無線模組的案例，方便我們拿來參考 [1][2]。         研究過程中，發現 ESP32S 上面的 FLASH 所屬的接腳不能直接拿來當作 GPIO 使用，因為這樣會影響到 IDE 燒錄，FLASH D0-D3 + CMD + SCK 正好對應到 GPIO 6-11，電路規劃時得避開使用這幾根 I/O。另外，這塊 ESP32S 模組有提供 3.3V 和 5V 輸出，正好 LCD_I2C 模組需要吃 5V 電壓，而語音辨識晶片吃 3.3V 電壓，能同時滿足開發的需求。 圖一：以無線傳輸語音辨識的結果         ESP32S 是同時具有 WiFi 和藍芽功能的模組，實驗中，我們使用模組的藍芽傳輸功能，並參考範例中的 BluetoothSerial 程式，通訊的一端代碼是 Bluetooth Master，另一端為 Bluetooth Slave，下圖二是兩邊代碼的說明。將 Slave 端設定藍芽名稱 (ESP32-ASR) 後，等待 Master 來連接，在 Master 端則對名稱 (ESP32-ASR) 發出連線請求，接著雙方就會自動連接成功。 圖二：藍芽通訊雙方的原始碼 離線語音辨識         LD3320 是十年前的語音辨識晶片 [3]，主要辨識中文，已不是新鮮貨。它不需要連上雲端，只要設定好辨識的字句儲存到晶片的暫存器內，它就能進行離線辨識。優點是辨識過程很快，而且是不特定人的辨識方式，對於設定後的字句，其辨識準確率算不錯的 (在無噪音干擾環境下)。
Read more »