聯系我們 - 廣告服務 - 聯系電話:
您的當前位置: > 關注 > > 正文

全球快看:干貨|MindSporeLite整體架構介紹

來源:CSDN 時間:2023-03-10 14:57:12


(相關資料圖)

MindSpore Lite整體架構介紹 MindSpore Lite框架的總體架構如下所示:

前端(Frontend): 負責模型生成,用戶可以通過模型構建接口構建模型,將第三方模型和MindSpore訓練的模型轉換為MindSpore Lite模型,其中第三方模型包括TensorFlow Lite、Caffe 1.0和ONNX模型。 ? IR: 負責MindSpore的Tensor定義、算子定義和圖定義。 ? Backend: 基于IR進行圖優化,包括GHLO、GLLO和量化三部分。其中,GHLO負責和硬件無關的優化,如算子融合、常量折疊等;GLLO負責與硬件相關的優化;量化Quantizer支持權重量化、激活值量化等訓練后量化手段。 ? Runtime: 智能終端的推理運行時,其中session負責會話管理,提供對外接口;線程池和并行原語負責圖執行使用的線程池管理,內存分配負責圖執行中各個算子的內存復用,算子庫提供CPU、GPU和NPU算子。 ? Micro: IoT設備的運行時,包括模型生成.c文件、線程池、內存復用和算子庫。 其中,Runtime和Micro共享底層的算子庫、內存分配、線程池、并行原語等基礎設施層。

責任編輯:

標簽:

相關推薦:

精彩放送:

新聞聚焦
Top 岛国精品在线