今年的“理化生三諾獎” 都與復(fù)雜系統(tǒng)相關(guān)，而當(dāng)今處理復(fù)雜系統(tǒng)最有效的方法和理論之一就是神經(jīng)網(wǎng)絡(luò)類機(jī)器學(xué)習(xí)基礎(chǔ)上的深度學(xué)習(xí)，所以在Hassabis和Hinton這兩個AI方面的專家獲得化學(xué)和物理諾獎確實出人意外的同時，也展現(xiàn)了多類融合發(fā)展的必然性。

都說在MCU上跑AI會成為常態(tài)，不過實話講，很多工程師在實際工作中部署AI的場景還沒那么多，而且畢竟再學(xué)一門技術(shù)，又會增加很多時間成本。

不過，隨著全行業(yè)AI化行動加深，MCU廠商接連推出自己的AI工具，并且在開發(fā)上手難度和使用便捷性進(jìn)行了優(yōu)化。尤其在最近一段時間，不斷炫技，可謂是徹底拼了。

eIQ機(jī)器學(xué)習(xí)軟件于2018年推出，經(jīng)過不斷發(fā)展，可支持系統(tǒng)級應(yīng)用和機(jī)器學(xué)習(xí)算法實現(xiàn)。這個軟件工具集的特點是專業(yè)人士和非專業(yè)人士都很方便使用，抱著玩一玩的心態(tài)也可以跑起來應(yīng)用。用官方的話說就是實現(xiàn)“機(jī)器學(xué)習(xí)人人可用”。

整體開發(fā)流程方面，既可以只提供數(shù)據(jù)集然后借助eIQ工具箱完成從模型訓(xùn)練到模型部署，又可以提供已經(jīng)訓(xùn)練好的模型，然后借助eIQ工具箱對其進(jìn)行轉(zhuǎn)換/量化以及部署工作。最后，調(diào)用eIQ inference engines對所生成的模型進(jìn)行推理，得到最終的預(yù)測值。

今年3月，NXP與NVIDIA達(dá)成合作，將NVIDIA TAO API直接集成到恩智浦的eIQ機(jī)器學(xué)習(xí)開發(fā)環(huán)境中。NVIDIA TAO低代碼人工智能框架通過遷移學(xué)習(xí)，讓開發(fā)人員能夠更輕松地利用經(jīng)過訓(xùn)練的人工智能模型，并針對特定用途對模型進(jìn)行微調(diào)和優(yōu)化。換句話說，開發(fā)人工智能只在這一個平臺上就可以了。

AI并不只是大語言那么高不可攀的應(yīng)用，AI已經(jīng)無處不在。這是今天下午NXP發(fā)布會上看到的最常見的一些AI/ML應(yīng)用，他們已經(jīng)發(fā)生。在分享的同時，我也試著梳理下，在這種AI/ML everywhere的時代，嵌入式工程師又該怎么把握機(jī)遇，不被甩下車？

電動工具中的電機(jī)的AI——自動停止

在電動工具行業(yè)中將AI/ML技術(shù)與電機(jī)控制結(jié)合應(yīng)用的案例。通過使用MCU和AI技術(shù)，可以更智能地控制工具并增加安全功能，如自動停機(jī)。
AI/ML + Motor Control to Enable Power Tools

• AI/ML + 電機(jī)控制：NXP的MCX N系列微控制器集成了AI/ML功能，用于電動工具應(yīng)用中。

• eIQ工具包：為用戶提供數(shù)據(jù)集訓(xùn)練和驗證的效率，使用戶能夠輕松構(gòu)建屬于自己的AI/ML模型。

• 芯片解決方案：一個芯片既可以實現(xiàn)AI/ML啟用的自動停止功能，也能執(zhí)行電機(jī)控制。
  
  

將MCU用于能源領(lǐng)域，尤其是逆變器和能源存儲系統(tǒng)中，增強(qiáng)檢測能力并通過邊緣計算進(jìn)行智能化控制。
Power Conversion to Enable Inverter & Energy Storage System (ESS)

• 電力轉(zhuǎn)換：使能逆變器和能源存儲系統(tǒng)，突出使用電弧故障斷路器（AFCI）作為區(qū)分特性。

• MCX N微控制器：提供邊緣處理能力，用于檢測和保護(hù)。

• MCX W微控制器：通過藍(lán)牙將逆變器/ESS設(shè)備的結(jié)果傳輸?shù)街鳈C(jī)中心或網(wǎng)關(guān)。

• 系統(tǒng)解決方案：NXP提供了包括硬件參考設(shè)計、軟件包和eIQ機(jī)器學(xué)習(xí)工具包在內(nèi)的系統(tǒng)解決方案。
  
  

AI/ML技術(shù)在醫(yī)療設(shè)備中的應(yīng)用，通過檢測鼾聲來幫助治療呼吸睡眠障礙。
AI/ML Sound Detection to Enable Healthcare

• AI/ML聲音檢測：用于醫(yī)療保健，特別是檢測鼾聲以優(yōu)化CPAP（持續(xù)氣道正壓）設(shè)備的效果。

• i.MX RT交叉微控制器：提供AI/ML聲音頻譜計算，推理時間低至6毫秒。

• CPAP中的一體化芯片解決方案：包括控制、顯示和AI/ML算法。
  
  

AI/ML技術(shù)如何用于智能工廠中的缺陷檢測，以提高制造業(yè)的智能化水平。
AI/ML Vision Detection to Enable Smart Factories

• AI/ML視覺檢測：用于智能工廠中的缺陷檢測，以提高效率、準(zhǔn)確性和靈活性。

• i.MX系列處理器：在邊緣設(shè)備上實現(xiàn)高性能CNN視覺算法推理。

• NXP WiFi產(chǎn)品：提供低延遲以便將制造結(jié)果通知到控制中心。

• 支持大量市場客戶：通過廣泛的第三方支持和EBS生態(tài)系統(tǒng)，加速客戶的評估和采納。
  
  

如何通過大語言模型和智能邊緣計算來增強(qiáng)智能家居的用戶體驗，允許用戶自然語言控制家居設(shè)備。
AI/ML Large Language Models to Enable Smart Home User Experiences

• 大語言模型（LLM）：為智能家居用戶帶來更高質(zhì)量的用戶體驗。終端用戶可以使用自然語言與家居設(shè)備交互。

• i.MX 95應(yīng)用處理器：為邊緣AI計算提供強(qiáng)大的能力。

• NXP系統(tǒng)解決方案：提供包括連接、安全、AI計算和軟件支持的完整智能家居解決方案。

---
AI/ML無處不在的時代，嵌入式工程師需要不斷適應(yīng)和提升自己，以充分利用這項技術(shù)趨勢。
埋頭敲代碼，忙于搬磚的同時，也應(yīng)該思考下，自己的學(xué)習(xí)方向

1. 學(xué)習(xí)基礎(chǔ)AI/ML知識

• 學(xué)習(xí)基礎(chǔ)的機(jī)器學(xué)習(xí)概念，例如分類、回歸、聚類、神經(jīng)網(wǎng)絡(luò)等。

• 熟悉常見的機(jī)器學(xué)習(xí)算法（例如決策樹、隨機(jī)森林、SVM和神經(jīng)網(wǎng)絡(luò)等），理解它們的應(yīng)用場景。
  
  

2. 掌握嵌入式AI框架和工具

• 學(xué)習(xí)如何在嵌入式系統(tǒng)上運行AI模型。例如，NVIDIA Jetson平臺、ARM的Cortex-M微控制器系列、Google的TensorFlow Lite等工具和框架可以在嵌入式環(huán)境中執(zhí)行AI模型。

• 了解TinyML（用于資源受限設(shè)備的AI/ML）及其相關(guān)工具，如TensorFlow Lite for Microcontrollers、Edge Impulse等。
  

3. 理解硬件加速器和處理器架構(gòu)

• 深入了解用于AI/ML的硬件加速器（如GPU、TPU、NPU）及其在嵌入式系統(tǒng)中的應(yīng)用。嵌入式系統(tǒng)通常對功耗敏感，因此了解如何高效地執(zhí)行AI任務(wù)非常重要。

• 研究硬件架構(gòu)如何影響AI模型的推理性能，學(xué)會根據(jù)不同任務(wù)優(yōu)化嵌入式系統(tǒng)。
  

4. 學(xué)習(xí)數(shù)據(jù)處理和模型優(yōu)化

• 嵌入式系統(tǒng)通常資源有限（如處理器、內(nèi)存、功耗等），因此需要學(xué)習(xí)如何裁剪和優(yōu)化AI模型。

• 學(xué)習(xí)模型量化、剪枝、壓縮等技術(shù)，使復(fù)雜的AI模型能夠在資源受限的嵌入式系統(tǒng)上運行。

• 研究如何有效地收集、處理和管理嵌入式設(shè)備產(chǎn)生的數(shù)據(jù)。
  
  

5. 實時性和邊緣計算

• 嵌入式系統(tǒng)通常需要處理實時任務(wù)，因此嵌入式工程師需要確保AI模型能夠在嚴(yán)格的實時性要求下高效運行。

• 研究邊緣計算，即在靠近數(shù)據(jù)源的嵌入式設(shè)備上執(zhí)行AI任務(wù)，從而減少延遲和帶寬需求。
  
  

6. 提升編程技能

• 掌握C/C++、Python等嵌入式編程語言，同時學(xué)習(xí)如何在低級別優(yōu)化代碼。

• 熟悉并行編程，尤其是在嵌入式系統(tǒng)中利用多核處理器和硬件加速器來執(zhí)行AI推理任務(wù)。
  
  

7. 關(guān)注應(yīng)用領(lǐng)域

• 關(guān)注AI在嵌入式系統(tǒng)中的實際應(yīng)用場景，例如物聯(lián)網(wǎng)、智能家居、自動駕駛、醫(yī)療設(shè)備、工業(yè)自動化等。

• 針對不同的應(yīng)用領(lǐng)域，了解如何將AI/ML模型集成到嵌入式系統(tǒng)中，從而為產(chǎn)品增值。
  

8. 與AI/ML團(tuán)隊協(xié)作

• 在團(tuán)隊合作中與AI/ML專家緊密合作，理解他們的需求，協(xié)助將AI模型部署到嵌入式系統(tǒng)中。

• 嵌入式工程師需要在軟件工程、系統(tǒng)集成和性能優(yōu)化方面發(fā)揮重要作用。
  

---

最后，放一張思維導(dǎo)圖供大家參考