研發紀事

        STM32H750 的晶片核心是  ARM Cortex-M7，它是以  Armv7-M 架構所設計而成。內建浮點運算單元 (FPU - Floating Point Unit)，以及數位訊號處理(DSP)模組，不過需要搭配適合的函數庫才能編譯成適合機器執行的指令碼。ARM 提供一套開源的 CMSIS-DSP 函數庫，支援 Cortext-M 系列的數學運算，能提升運算的速度。在 Keil IDE 開發環境下，STM32H750 的項目中打開下圖的選單，將CMSIS Core 和 DSP 模組載入，完成第一步驟。         接下來，我們要了解 CMSIS-DSP 有支援三種 ARM 的核心架構，這將影響程式碼的定義。 ARM_MATH_NEON 是第一種定義，代表 Neon 的核心， ARM Neon 技術是一種先進單指令多資料 (SIMD) 架構延伸，應用於 Arm Cortex-A 系列及 Cortex-R 系列處理器。 ARM_MATH_HELIUM 是第二種定義 ，代表 Helium 的核心 ， ARM Helium  技術是 Arm Cortex-M 處理器系列的 M 系列向量擴充方案 (MVE)。Helium 為 Armv8.1-M 架構的延伸，可協助機器學習 (ML) 與數位訊號處理 (DSP) 應用大幅提升效能。STM32H750 並不屬於前面兩種的定義，就不用將它們放進編譯的過程裡。不過，我們要將這三個定義放進編譯，分別是 ARM_MATH_DSP ︑ ARM_MATH_MATRIX_CHECK ︑ ARM_MATH_ROUNDING 才行 。因為 STM32H750 晶片支援浮點運算，所以下圖的選單要開啟，如果不開啟的話，數學運算將會花費數倍的時間，甚至更多。         最後我們測試三角函數的運算，Cos(x)*Cos(x) + Sin(x)*Sin(x)，運算一百萬次後，比較有無採用 DSP 的兩者效能。 下圖的程式碼，上半段是採用一般數學函數的運算，沒有 DSP 優化。下半段是採用 DSP 優化的函數，然後比較兩者的效能差異。     ...

Q ：為何需要 RAG 資料檢索？ A ：光靠 LLM 大語言模型無法準確回答問題，反而出現一本正經地胡說八道，專業術語稱為 LLM 的幻覺 (Hallucination) 。為了解決這問題，有兩種方法：第一種是對 LLM 的預訓練模型進行微調訓練，第二種是加入 RAG 做資料檢索和 LLM 的語句生成。前者需要花費硬體設備進行訓練，後者採用 LLM+RAG 架構可大幅節省成本，市面上比較接受後者方案。其系統架構如下： Q ： RAG 的開發與架構？ A ：初期 RAG 開發階段，需要對資料進行多模態的處理，比如對 PDF 檔案擷取文字、表格、圖片 … 等多種模態，過程包含資料清洗，剔除一些符號、重複語句、無意義文字 … 等。然後，對清洗後的資料進行分塊和向量化，最後寫入向量資料庫。這裡的分塊和向量化會使用到現有的演算法來實現，向量資料庫也有現有的架構可使用。 前面是前期 RAG 的資料處理階段，後期是指 RAG 運行階段，需要對接到 LLM 模型，如下圖。 Q ：如何資料擷取與清洗？ A ：客戶提供技術文件，可能是 TXT 或 PDF 檔案。首先，將檔案的文字擷取下來存放成自訂格式 (JSON) ，對於 PDF 檔案而言，內容包含文字、表格、圖片都必須分別寫 python 程式處理。即使把文字從檔案取出，在這一大堆文字裡面包含換行符號，語句切割不連續，無意義的詞或標題數字 … 等問題，這些問題需要靠程式來做清洗後才能進到下階段。 Q ：如何向量化？ A ：資料清洗後，資料要進行切塊 (chunk) ，再將其向量化，這過程稱為 embedding 。有人研究中文 embedding 的檢索能力，參考 https://ihower.tw/blog/archives/12167 ，需要導入有支援多語言的 embedding model 效果最好。 切塊採用 Jieba 分詞的算法，文本會切成小的詞彙，以便之後檢索。這些詞彙換算成向量，而典型檢索的演算法為 BM25 ，優點為方法簡單效果不錯，因此使用廣泛，缺點是單純根據詞頻等統計和關鍵字檢索做判斷，無法理解語意。而 Word2Vec 使用高維向量來表示單詞，能分辨細微語意之差別。 向量化的數據要存放在向量資料庫，基礎型的有 ChromaDB 、 MilvusDB… 等可本地部署。

        STM32H750這顆晶片是 Cortex-M7 核心，內部時脈 480MHz，在同級的 STM32 系列中屬於高效能晶片。不過，它有個問題就是內部 Flash 容量太小，只有 128MB 而已，為了解決這問題，通常外部會掛一顆 Flash 晶片。此時，我們需要自製一個燒錄程式，如下圖所示，紅線標示的 On-chip Flash 是官方提供的燒錄程式，而另一紅線標示的 Ext Flash SPI 就是我們要提供給 Keil IDE 的燒錄程式。         如何自製一套燒錄程式給 Keil IDE 使用呢？放心，IDE 有提供一個範例項目，放在 \Keil_v5\ARM\Flash\_Template 目錄底下，我們工作就是將 FlashDev.c 和 FlashPrg.c 兩個檔案的函數給實現了即可。在 FlashDev.c，我們填入外掛 Flash 的屬性，比如容量大小﹑STM32 存取的位址﹑Sector size, Sector Addr...等，如下。         在 FlashPrg.c，我們必須實現底下幾個函式的驅動。由於外掛 Flash 晶片型號為 W25Q256，也就是寫一套驅動這顆晶片的程式碼。不必擔心！這部分可以從網路的開源找到相關的驅動程式碼 ( https://pan.baidu.com/s/1LuH_zhXgZMqHJcKoLcepdQ   提取码：kmbf )。         筆者下載後，還是會遇上驅動的問題，必須再進行 debug 後才能使用。這裡有一點要注意的，W25Q256 預設的 SPI 通訊指令是 3-byte Address Mode，但是整個驅動程式都採用 4-byte 模式，於是在初始化過程要先設定為 4-byte Addr Mode 才能成功使驅動程式執行，如下圖。         最後，將這個 Flash 項目編譯後，產生的 .axf  複製成 .FLM 檔案，再把這檔案放到  \Keil_v5\ARM\Flash 目錄底下，這樣就完成自製外部燒錄器的功...