作者 Litchll

摘要：前言 在上一周的測試中，我們按照官方給的流程，使用EasyDl快速實現了一個具有性別檢測功能的人臉識別系統，那么 今天，我們將要試一下通過Paddlepaddle從零開始，訓練一個自己的多分類模型，并進行嵌入式部署。 整個訓練 過程和模型在：https://aistudio.baidu.com/aistudio/projectDetail/61103 下面詳細介紹模型訓練...

前言

在上一周的測試中，我們按照官方給的流程，使用EasyDl快速實現了一個具有性別檢測功能的人臉識別系統，那么

今天，我們將要試一下通過Paddlepaddle從零開始，訓練一個自己的多分類模型，并進行嵌入式部署。 整個訓練

過程和模型在：https://aistudio.baidu.com/aistudio/projectDetail/61103 下面詳細介紹模型訓練的過程.

數據集準備

我們使用CIFAR10數據集。CIFAR10數據集包含60,000張32x32的彩色圖片，10個類別，每個類包含6,000張。其中

50,000張圖片作為訓練集，10000張作為驗證集。

1.!mkdir‐p/home/aistudio/.cache/paddle/dataset/cifar

2.#wget將下載的文件存放到指定的文件夾下，同時重命名下載的文件，利用‐O

3.!wget"http://ai‐atest.bj.bcebos.com/cifar‐10‐python.tar.gz"‐Ocifar‐10‐python.tar.gz

4.!mvcifar‐10‐python.tar.gz/home/aistudio/.cache/paddle/dataset/cifar/

模型結構

我們選擇了以三個卷積層串聯一個全連接層的輸出，作為貓狗分類的預測，采用固定維度輸入，輸出為分類數

1.defconvolutional_neural_network(img):

2.#第一個卷積‐池化層

3.conv_pool_1=fluid.nets.simple_img_conv_pool(

4.input=img,#輸入圖像

5.filter_size=5,#濾波器的大小

6.num_filters=20,#filter的數量。它與輸出的通道相同

7.pool_size=2,#池化層大小2*2

8.pool_stride=2,#池化層步長

9.act="relu")#激活類型

10.#第二個卷積‐池化層

11.conv_pool_2=fluid.nets.simple_img_conv_pool(

12.input=conv_pool_1,

13.filter_size=5,

14.num_filters=50,

15.pool_size=2,

16.pool_stride=2,

17.act="relu")

18.#第三個卷積‐池化層

19.conv_pool_3=fluid.nets.simple_img_conv_pool(

20.input=conv_pool_2,

21.filter_size=5,

22.num_filters=50,

23.pool_size=2,

24.pool_stride=2,

25.act="relu")

26.#以softmax為激活函數的全連接輸出層，10類數據輸出10個數字

27.prediction=fluid.layers.fc(input=conv_pool_3,size=10,act='softmax')

28.returnprediction

訓練&驗證

接下來在Paddlepaddle fluid上，進行訓練。整個訓練代碼見附件train.py 模型驗證,采用附件predict.py的代碼進

行驗證與運行時間的測量，選取一張狗的圖：dog.jpg (可以fork首頁鏈接aistudio平臺上的demo) 連續預測10000

次，輸出如下:

1.CPU運行結果為：預處理時間為0.0006270000000085929，預測時間為：16.246494

2.Out:

3.im_shape的維度：(1,3,32,32)

4.Theruntimeofimageprocessis

5.0.0006270000000085929

6.Theruntimeofpredictis

7.16.246494

8.results[array([[5.0159363e‐04,3.5942634e‐05,2.5955746e‐02,4.7745958e‐02,

9. 9.9251214e‐03,9.0146154e‐01,1.9564393e‐03,1.2230080e‐02,

10. 4.7619540e‐08,1.8753216e‐04]],dtype=float32)]

11.inferresults:dog

1.GPUV100運行結果為：預處理時間為0.0006390000000067175，預測時間為：15.903074000000018

2.Out:

3.im_shape的維度：(1,3,32,32)

4.Theruntimeofimageprocessis

5.0.0006390000000067175

6.Theruntimeofpredictis

7.15.903074000000018

8.results[array([[5.0159392e‐04,3.5942641e‐05,2.5955772e‐02,4.7746032e‐02,

9. 9.9251205e‐03,9.0146142e‐01,1.9564414e‐03,1.2230078e‐02,

10. 4.7619821e‐08,1.8753250e‐04]],dtype=float32)]

11.inferresults:dog

可以看到,模型可以正確的識別出圖片中的動物為狗，接下來，我們就要嘗試將這個模型部署到Edgeboard上面。

模型導出

我們需要將模型保存為模型文件model以及權重文件params,可以采用如下Paddle的API進行保存如圖所示，在AiStudio的左側打開模型文件所在的文件夾，下載mlp-model、mlp-params兩個文件。

在Edgeboard上部署模型，完成預測

1、新建工程文件夾，目錄結構如下(可以仿照sample里的resnet、inception例程)：

1.‐sample_image_catdog

2.‐build

3.‐image

4.‐include

5.‐paddlepaddle‐mobile

6.‐...

7.‐lib

8.‐libpaddle‐mobile.so

9.‐model

10.‐mlp

11.‐model

12.‐params

13.‐src

14.‐fpga_cv.cpp

15.‐main.cpp

2、將AiStudio上導出來的模型放置在model里的mlp文件夾，修改名字為model、params

3、新建 CMakeLists.txt

1.cmake_minimum_required(VERSION3.5.1)

2.project(paddle_edgeboard)

3.set(CMAKE_CXX_STANDARD14)

4.set(CMAKE_EXE_LINKER_FLAGS"${CMAKE_EXE_LINKER_FLAGS}‐pthread")

5.add_definitions(‐DPADDLE_MOBILE_FPGA_V1)

6.add_definitions(‐DPADDLE_MOBILE_FPGA)

7.set(PADDLE_LIB_DIR"${PROJECT_SOURCE_DIR}/lib")

8.set(EASYDL_INCLUDE_DIR"${PROJECT_SOURCE_DIR}/include")

9.set(PADDLE_INCLUDE_DIR"${PROJECT_SOURCE_DIR}/include/paddle‐mobile")

10.set(APP_NAME"paddle_edgeboard")

11.aux_source_directory(${CMAKE_CURRENT_SOURCE_DIR}/srcSRC)

12.find_package(OpenCVQUIETCOMPONENTScorevideoiohighguiimgprocimgcodecsmlvideo)

13.include_directories(SYSTEM${OpenCV_INCLUDE_DIRS})

14.#list(APPENDCaffe_LINKER_LIBS${OpenCV_LIBS})

15.message(STATUS"OpenCVfound(${OpenCV_CONFIG_PATH})，${OpenCV_LIBS}")

16.#add_definitions(‐DUSE_OPENCV)

17.include_directories(${EASYDL_INCLUDE_DIR})

18.include_directories(${PADDLE_INCLUDE_DIR})

19.LINK_DIRECTORIES(${PADDLE_LIB_DIR})

20.add_executable(${APP_NAME}${SRC})

21.target_link_libraries(${APP_NAME}paddle‐mobile)

22.target_link_libraries(${APP_NAME}${OpenCV_LIBS})

4、main.cpp

1.#include

<

iostream

>

2.#include"io/paddle_inference_api.h"

3.#include"math.h"

4.#include

<

stdlib.h

>

5.#include

<

unistd.h

>

6.#include

<

fstream

>

7.#include

<

ostream

>

8.#include

<

fstream

>

9.#include

<

iomanip

>

10.#include

<

typeinfo

>

11.#include

<

typeindex

>

12.#include

<

vector

>

13.#include

<

ctime

>

14.#include"fpga/KD/float16.hpp"

15.#include"fpga/KD/llapi/zynqmp_api.h"

16.usingnamespacepaddle_mobile;

17.#include

<

opencv2/highgui.hpp

>

18.#include

<

opencv2/imgproc.hpp

>

19.usingnamespacecv;

20.cv::Matsample_float;

21.staticstd::vector

<

std::string

>

label_list(10);

22.voidreadImage(std::stringfilename,float*buffer){

23.Matimg=imread(filename);

24.if(img.empty()){

25.std::cerr

<

<

"Can'treadimagefromthefile:"

<

<

filename

<

<

std::endl;

26.exit(1);

27.}

28.Matimg2;

29.resize(img,img2,Size(32,32));

30.img2.convertTo(sample_float,CV_32FC3);

31.intindex=0;

32.for(introw=0;row

<

sample_float.rows;++row){

33.float*ptr=(float*)sample_float.ptr(row);

34.for(intcol=0;col

<

sample_float.cols;col++){

35.float*uc_pixel=ptr;

36.//uc_pixel[0]‐=102;

37.//uc_pixel[1]‐=117;

38.//uc_pixel[1]‐=124;

39.floatr=uc_pixel[0];

40.floatg=uc_pixel[1];

41.floatb=uc_pixel[2];

42.buffer[index]=b/255.0;

43.buffer[index+1]=g/255.0;

44.buffer[index+2]=r/255.0;

45.//sum+=a+b+c;

46.ptr+=3;

47.//DLOG

<

<

"r:"

<

<

r

<

<

"g:"

<

<

g

<

<

"b:"

<

<

b;

48.index+=3;

49.}

50.}

51.//returnsample_float;

52.}

53.PaddleMobileConfigGetConfig(){

54.PaddleMobileConfigconfig;

55.config.precision=PaddleMobileConfig::FP32;

56.config.device=PaddleMobileConfig::kFPGA;

57.//config.model_dir="../models/mobilenet/";

58.config.prog_file="../model/mlp/model";

59.config.param_file="../model/mlp/params";

60.config.thread_num=4;

61.returnconfig;

62.}

63.intmain(){

64.clock_tstartTime,endTime;

65.zynqmp::open_device();

66.std::cout

<

<

"open_devicesuccess"

<

<

std::endl;

67.PaddleMobileConfigconfig=GetConfig();

68.std::cout

<

<

"GetConfigsuccess"

<

<

std::endl;

69.autopredictor=

70.CreatePaddlePredictor

<

PaddleMobileConfig,

71.PaddleEngineKind::kPaddleMobile

>

(config);

72.std::cout

<

<

"predictorsuccess"

<

<

std::endl;

73.startTime=clock();//計時開始

74.floatdata[1*3*32*32]={1.0f};

75.readImage("../image/cat.jpg",data);

76.endTime=clock();//計時結束

77.std::cout

<

<

"Theruntimeofimageprocessis:"

<

<

(double)(endTime‐startTime)/

78.CLOCKS_PER_SEC

<

<

"s"

<

<

std::endl;

79.PaddleTensortensor;

80.tensor.shape=std::vector

<

int

>

({1,3,32,32});

81.tensor.data=PaddleBuf(data,sizeof(data));

82.tensor.dtype=PaddleDType::FLOAT32;

83.std::vector

<

PaddleTensor

>

paddle_tensor_feeds(1,tensor);

84.PaddleTensortensor_out;

85.tensor_out.shape=std::vector

<

int

>

({});

86.tensor_out.data=PaddleBuf();

87.tensor_out.dtype=PaddleDType::FLOAT32;

88.std::vector

<

PaddleTensor

>

outputs(1,tensor_out);

89.std::cout

<

<

"beforepredict"

<

<

std::endl;

90.predictor‐

>

Run(paddle_tensor_feeds,&outputs);

91.std::cout

<

<

"afterpredict"

<

<

std::endl;

92.//assert();

93.endTime=clock();//計時結束

94.std::cout<<"Theruntimeofpredictis:"<<(double)(endTime‐startTime)/CLOCKS_PER_SEC

95.<

<

"s"

<

<

std::endl;

96.float*data_o=static_cast

<

float*

>

(outputs[0].data.data());

97.for(size_tj=0;j

<

outputs[0].data.length()/sizeof(float);++j){

98.std::cout

<

<

"output["

<

<

j

<

<

"]:"

<

<

data_o[j]

<

<

std::endl;

99.}

100.intindex=0;

101.floatmax=0.0;

102.for(inti=0;i

<

10;i++){

103.floatval=data_o[i];

104.if(val

>

max){

105.max=val

>

max?val:max;

106.iindex=i;

107.}

108.}

109.label_list={"airplane","automobile","bird","cat","deer","dog","frog","horse",

110."ship","truck"};

111.std::cout

<

<

"Result"

<

<

"is"

<

<

label_list[index]

<

<

std::endl;

112.return0;

113.}

5、編譯運行

1.insmod/home/root/workspace/driver/fpgadrv.ko

2.cd/home/root/workspace/sample/sample_image_catdog

3.mkdirbuild

4.cdbuild

5.rm‐rf*

6.cmake..

7.make

8../paddle_edgeboard

修改main文件要預測的圖像：

6、修改main文件后重復執行預測，可得結果如下：圖像處理時間大概為：0.006秒，預測時間大概為：0.008秒

7、連續預測10000次所用時間為：23.7168

性能對比（連續預測10000次 單位：秒）

優點：

1. EdgeBoard內置的Paddle-Mobile，可以與Paddle訓練出來的模型進行較好的對接。

2. 預測速度上: Edge在預測小模型的時候，能與雙核CPU和GPU在一個數量級，估計是模型較小，batch size也

為1，gpu，cpu的性能優勢抵不過通信的開銷，后續將進行大模型、高batch size的測試。

3. 提供的demo也足夠簡單，修改起來難度很低。

不足：

1. Paddle-Mobile相關文檔具有一定門檻，且較為分散。初次使用的時候會走一些彎路出現問題的時候往往是個

黑盒，不易于定位。在這次進行模型訓練的嘗試中，出現過一次op不支持的情況，我們在官網上甚至沒有找

到支持的op列表，這個在開發哥們的支持下升級版本后解決。如果后續能在穩定的固件版本下使用，并有比

較易用的sdk，開發門檻可能會進一步降低。