- 机器视觉与人工智能应用开发技术
- 廖建尚等编著
- 1422字
- 2024-05-11 19:48:21
1.3.1 机器视觉与人工智能开发平台
1.3.1.1 系统框架
AiCam平台的界面如图1.1所示,该平台可以实现数字图像处理、机器视觉、边缘计算等应用,内置的AiCam核心引擎集成了算法、模型、硬件、应用轻量级开发框架,能够快速集成和开发更多的项目案例。
![](https://epubservercos.yuewen.com/3B3414/29436032103210506/epubprivate/OEBPS/Images/47396_18_1.jpg?sign=1739127263-9HFcdy1Wj4kIQBEuRNj87ig4Fl7th2zP-0-1e188e285964d1ce214e7cb1d5ddf235)
图1.1 AiCam平台的界面
1)运行环境
AiCam平台采用BS架构,其组成如图1.2所示,用户通过浏览器即可运行项目。人工智能算法模型和算法通过边缘本地云服务的方式为应用提供交互接口,软件平台可部署到各种边缘端设备运行,包括GPU服务器、CPU服务器、ARM开发板、百度EdgeBorad开发板(FZ3/FZ5/FZ9)、英伟达Jetson开发板等。
![](https://epubservercos.yuewen.com/3B3414/29436032103210506/epubprivate/OEBPS/Images/47396_18_2.jpg?sign=1739127263-B5Y9yaR0OLg4Kw4XMjhHjRL51hLxqll5-0-66f2d3ca50c976cedd92d56982a6510d)
图1.2 AiCam平台的组成
2)主要特性
AiCam平台的主要特性如下:
(1)可实现多平台边缘端部署:AiCam平台支持x86、ARM、GPU、FPGA、MLU等异构计算环境的部署和离线计算的推理,可满足多样化的边缘项目应用需求。
(2)实时视频推送分析:支持本地摄像头、网络摄像头的接入,提供实时的视频推流服务,通过Web HTTP接口可实现快速的预览和访问。
(3)统一模型调用接口:不同算法框架采用统一的模型调用接口,开发者可以轻松切换不同的算法模型,进行模型验证。
(4)统一硬件控制接口:AiCam平台接入了物联网云平台,不同的硬件资源采用统一的硬件控制接口,屏蔽了底层硬件的差异,方便开发者接入不同的控制设备。
(5)清晰简明应用接口:采用了基于Web的RESTful调用接口,可快速地进行模型的调用,并实时返回视频分析的结果和数据。
3)开发架构和功能架构
AiCam平台集成了算法、模型、硬件、应用轻量级开发框架,其开发架构如图1.3所示。
![](https://epubservercos.yuewen.com/3B3414/29436032103210506/epubprivate/OEBPS/Images/47396_19_1.jpg?sign=1739127263-5s6PmaiUZpl7pKa0U2dHJcsN6cuv9Tdo-0-017f8c6771ecfcad3bff09947fa0e772)
图1.3 AiCam平台的开发架构
AiCam平台的功能架构如图1.4所示。
![](https://epubservercos.yuewen.com/3B3414/29436032103210506/epubprivate/OEBPS/Images/47396_19_2.jpg?sign=1739127263-hGJKa4YcQ9niYREiGRFFD1faA9b6Sqiq-0-75a20488f2c6154ebef897657e718e3e)
图1.4 AiCam平台的功能架构
4)主程序aicam.py
AiCam的主程序aicam.py的核心代码如下:
![](https://epubservercos.yuewen.com/3B3414/29436032103210506/epubprivate/OEBPS/Images/47396_19_3.jpg?sign=1739127263-izSWC9l1IgBEd73LJQxo2wGAYRWfmeWb-0-58e0c81e673879b67fc84b1d41c1656e)
![](https://epubservercos.yuewen.com/3B3414/29436032103210506/epubprivate/OEBPS/Images/47396_20_1.jpg?sign=1739127263-Q8QtYILlEaDJiAbdbRmznnS1hcc6SDqR-0-27d822fe0fa28e1e2e7924ea131490bf)
![](https://epubservercos.yuewen.com/3B3414/29436032103210506/epubprivate/OEBPS/Images/47396_21_1.jpg?sign=1739127263-TZEi8wjAL3LPmGPuwMUB9oASMtmFOVuM-0-9a29ed6a189119ad46ade7d3f3e1becb)
![](https://epubservercos.yuewen.com/3B3414/29436032103210506/epubprivate/OEBPS/Images/47396_22_1.jpg?sign=1739127263-PDGgGORfpWunrPZsVitsKpoLK6dwN0Cu-0-475cec3b8a417990e332f1d2286e17ed)
![](https://epubservercos.yuewen.com/3B3414/29436032103210506/epubprivate/OEBPS/Images/47396_23_1.jpg?sign=1739127263-4od0J3LRPK3nDP8eW9MsGUrvdpiXXFhP-0-ad43f657462887e3b05eba4073e00637)
![](https://epubservercos.yuewen.com/3B3414/29436032103210506/epubprivate/OEBPS/Images/47396_24_1.jpg?sign=1739127263-Al5Qx4vUpXYmaolmlEjwC965Hi27ouFN-0-76898566f22e296b87c9109786b65c26)
5)启动脚本
启动脚本start_aicam.sh主要用于构建运行环境、启动主程序aicam.py,代码如下:
![](https://epubservercos.yuewen.com/3B3414/29436032103210506/epubprivate/OEBPS/Images/47396_24_2.jpg?sign=1739127263-6CPAQZkTfiJXERFNx15uTewS6jbzPfTM-0-e14835734b249e5a9e520bebc5b7f2f6)
![](https://epubservercos.yuewen.com/3B3414/29436032103210506/epubprivate/OEBPS/Images/47396_25_1.jpg?sign=1739127263-6uxaB1VDtJAsNUDJARINBB0D348kJHXr-0-5bd08d22c8450459dd923a661f6d4dda)
1.3.1.2 开发资源
1)AiCam平台的构成
利用AiCam平台,用户能够方便快捷地开展深度学习的教学、竞赛和科研等工作。从最基础的OpenCV、模型训练到边缘设备的部署,AiCam平台进行了全栈式的封装,降低了开发难度。AiCam平台的构成如图1.5所示。
![](https://epubservercos.yuewen.com/3B3414/29436032103210506/epubprivate/OEBPS/Images/47396_25_2.jpg?sign=1739127263-SefNc0qzHdyhOzTVeJIyxnlRExQQzgBr-0-e5d91e916b1ff395656c1acaf69fbb14)
图1.5 AiCam平台的构成
AiCam平台支持以下应用:
➲图像处理:基于OpenCV开发的数字图像处理算法。
➲图像应用:基于OpenCV开发的图像应用。
➲深度学习:基于深度学习技术开发的图像识别、图像检测等应用。
➲视觉云应用:基于百度云接口开发的图像识别、图像检测、语音识别、语音合成等应用。
➲边缘智能:结合硬件场景的边缘计算应用。
➲综合案例:结合行业软/硬件应用场景的边缘计算。
2)AiCam平台的算法列表
通过实验例程的方式,AiCam平台为机器视觉算法提供了单元测试,并开放了代码。图像基础算法、图像基础应用、深度学习应用和百度AI应用的接口及其描述如表1.1到表1.4所示。
表1.1 图像基础算法
![](https://epubservercos.yuewen.com/3B3414/29436032103210506/epubprivate/OEBPS/Images/47396_26_1.jpg?sign=1739127263-9TyeXTp3wiaKriCibb3GHzwoBS549h1J-0-0311d3bab9d371eeb29e2ddadc5c4d7a)
表1.2 图像基础应用
![](https://epubservercos.yuewen.com/3B3414/29436032103210506/epubprivate/OEBPS/Images/47396_27_1.jpg?sign=1739127263-XgVmhvBslADkCDZZ941hvaxV052IJeWE-0-18fa967c915e656d81b373730d8f65e9)
表1.3 深度学习应用
![](https://epubservercos.yuewen.com/3B3414/29436032103210506/epubprivate/OEBPS/Images/47396_27_2.jpg?sign=1739127263-koA7JImSqbKyRJCUAP5DUjrmhEZKSXx0-0-40b748c841dd8a277660836ec47f42f4)
表1.4 百度AI应用
![](https://epubservercos.yuewen.com/3B3414/29436032103210506/epubprivate/OEBPS/Images/47396_27_3.jpg?sign=1739127263-CLZK11vf94KUgow1Y0Lyjj7Gyjvcn5Pf-0-cefc48775028840724fced02a08af943)
3)AiCam平台的部分案例截图
AiCam平台的部分案例截图如图1.6到图1.10所示。
![](https://epubservercos.yuewen.com/3B3414/29436032103210506/epubprivate/OEBPS/Images/47396_28_1.jpg?sign=1739127263-8n3QK9KNheR3yUZ9UjuSWXMwIYUyxMoU-0-fe8fa3589af924f4db93012ecbfa8242)
图1.6 基础算法案例截图
![](https://epubservercos.yuewen.com/3B3414/29436032103210506/epubprivate/OEBPS/Images/47396_28_2.jpg?sign=1739127263-9gu2JV8IXxHXti15jt51R7TDzlKx8Cri-0-ae55a3c38bcaba05135a0872fc02c89f)
图1.7 基础应用案例截图
![](https://epubservercos.yuewen.com/3B3414/29436032103210506/epubprivate/OEBPS/Images/47396_28_3.jpg?sign=1739127263-rljmnzuz3I5J0BIg8oGQ7tegvCtQb1YJ-0-d1e929fda3523d53f8b8ced5bbb9d1b8)
图1.8 深度学习案例截图
![](https://epubservercos.yuewen.com/3B3414/29436032103210506/epubprivate/OEBPS/Images/47396_29_1.jpg?sign=1739127263-xiIMKuQdrTwm1pdfCL7RN1CR1NIHycKS-0-d2bc054d0490f01d8d9367057fb845db)
图1.9 云边应用案例截图
![](https://epubservercos.yuewen.com/3B3414/29436032103210506/epubprivate/OEBPS/Images/47396_29_2.jpg?sign=1739127263-JhHu6MtVVM6kn0gGTH1mAeNAFg7hjelS-0-3b2e98c6d46dcdcc05bfe173b06cb508)
图1.10 边缘智能案例截图
4)AiCam平台的开发效果演示
AiCam平台能够完成基于边缘计算应用的算法实验、模型实验、硬件实验、应用实验,每个实验可在客户端上通过浏览器运行。
(1)对于边缘计算网关实验,首先在Linux环境中运行PyCharm开发环境(见图1.11),导入实验工程后可在编辑窗口可以查看算法源码,并进行算法理解和优化,然后在浏览器终端运行实验。
![](https://epubservercos.yuewen.com/3B3414/29436032103210506/epubprivate/OEBPS/Images/47396_29_3.jpg?sign=1739127263-Q0jXxF91EwV3xTMHsEg8dnVXWUB3LMdj-0-4405d180f30b1071166612d28500fcc6)
图1.11 PyCharm开发环境
(2)通过浏览器访问实验的应用页面,可以看到算法实时处理视频流的结果返回到前端页面中。读者可在实验页面中查看原理分析、开发设计、实验功能、实验识别区、实验截图和实验结果等案例信息,如图1.12所示。
![](https://epubservercos.yuewen.com/3B3414/29436032103210506/epubprivate/OEBPS/Images/47396_30_1.jpg?sign=1739127263-4GXA8YRqwOLhNR6PHCDTrhDAdZWvOErC-0-f032641b6b3addd67ecdf55cc331b969)
图1.12 案例信息