You are on page 1of 63

國立雲林科技大學電子工程系

碩士論文

Department of Electronic Engineering


National Yunlin University of Science & Technology
Master Thesis

四旋翼無人機與深度學習應用於停車格偵測
Parking Lots Detection with Quadrotor Drones
and Deep Learning

蔡侑宸
Yo-Chen Tsai

指導教授:黃永廣 博士
Advisor: Wing-Kwong Wong, Ph.D.

中華民國 111 年 6 月
June 2022
摘要

在本文研究中,提出一種基於深度學習結合影像處理之車用智能輔助系統。隨

著道路上車輛數量的日益增加,尋找停車位成為道路使用者們人急迫需要解決的

問題。特別是在人口眾多的城市,尋找停車位的期間往往需要花費大量的時間且使

日漸嚴重的空氣汙染更加嚴重。隨著智能停車的成功實施,經濟和時間成本與浪費

的燃氣燃料相關的成本以及尋找空車位的時間將大大減少。對此問題,迄今已經有

許多偵測停車格的方式運用在生活中,例如: 停車格上偵測物體的超音波感測器、

紅外線偵測器以及安裝於地面的地磁感測器或是重量感應器…等。而現今運用在

停車位管理的系統大多採用上述這些傳統感測器,但是都需要一格車位配置一個,

且在室外的安裝極為不易。

綜合以上幾點,本文提出一個想法並實行,在科技蓬勃發展的時代,無人機的

應用日漸成熟,本文利用架設在無人機上的 Raspberry Pi 連接攝影機獲取停車場畫

面,透過深度學習結合影像演算法,判別出無人停車的車格,並通過 GPS 訊號準

確標示出車位訊息。偵測停車格的數據集為自行蒐集之停車場影像。

關鍵詞:無人機、深度學習、卷積神經網路、影像處理、全球衛星定位系統、網頁

伺服器

i
Abstract

In this research, a vehicle intelligent assistance system based on deep learning

combined with image processing is proposed. With the increasing number of vehicles on

the road, finding a parking space has become an urgent problem for road users. Especially

in populous cities, the search for a parking space is often time-consuming and exacerbates

growing air pollution. With the successful implementation of smart parking, the economic

and time costs associated with wasted gas fuel and the time spent searching for an empty

parking space will be greatly reduced. For this problem, there have been many ways to

detect parking grids so far in life, such as: ultrasonic sensors, infrared detectors, and

geomagnetic sensors installed on the ground to detect objects on the parking grid or

weight Sensors...etc. Today, most of the systems used in parking space management use

the above-mentioned traditional sensors, but they all need to be configured with one for

each parking space, and it is extremely difficult to install them outdoors.

Based on the above points, this paper proposes an idea and implements it. In the era

of vigorous development of technology, the application of drones is becoming more and

more mature. This paper uses the Raspberry Pi installed on the drone to connect the

camera to obtain the parking lot picture. Through deep learning combined with image

algorithm, Identify the unmanned parking spaces, and accurately mark the parking space

information through GPS signals. The dataset for detecting parking spaces is self-

collected parking lot images.

Keywords: UAV、Deep Learning、Convolutional Neural Network、Image Processing、


GPS、Web Server

ii
誌謝

在本論文的開頭,首先我要感謝的我親愛家人們,願意提供我許多資源支持著

我,謝謝父親母親用愛用心的培育不成材的我,沒有他們的支持,就沒有現在的我,

謝謝姐姐在我沒有想法的時候給予我許多意見來解決問題,並時時督促著我。接著

是我的指導教授黃永廣老師,老師總是樂於與我們分享他的知識,希望與學生們一

起教學相長、互相交流,在研究所的課程中總是引領我們實作新的實驗、新的技術,

從中摸出研究的方向,並研究過程中不斷得引導我正確的研究方向與建議,讓我可

以順利的完成困難的課題,謝謝老師這兩年的栽培,讓我能完成這次的課題。

在實驗室進行研究的過程中,特別感謝實驗室的學長盈助和威宇提供了許多

技術上的指導,當有問題的時候總是會給予非常確切的建議,幫我解決許多程式出

現的錯誤問題,沒有他們不吝嗇的教學,我可能還會多走很多歪路。然後謝謝孟原、

冠成、子軒、威嶔平時在研究的路上相互扶持,在熬夜的時候互相陪伴,不管是考

試或是拼作業,趕報告或做計劃,都一起互相激勵,謝謝你們讓我在這兩年研究的

道路上陪伴著我讓我不是孤身一人。

每次在研究室看到大家專注於開發或解決問題,共同創造出良好氣氛的環境,

雖然各自的研究方向都有差異,甚至不相關,但是遇到問題時,大家總是會互相討

論問題的解決方法,一起成長,也謝謝各位同學、學弟妹們一起維持實驗室良好的

研究環境與實驗室氣氛

感謝這一路上曾經協助過我和鼓勵過我的人,你們的存在,造就了今天的我,

希望各位也能夠身體健康、平平安安。

蔡侑宸

2022 年 6 月

iii
目錄
摘要 ................................................................................................................................... i

Abstract ............................................................................................................................. ii
誌謝 ................................................................................................................................. iii

目錄 ................................................................................................................................. iv

表目錄 ............................................................................................................................ vii

圖目錄 ........................................................................................................................... viii

緒論 .......................................................................................................... 1

1.1. 研究背景 .......................................................................................................... 1

1.2. 研究動機與目的 .............................................................................................. 2

1.3. 論文架構 .......................................................................................................... 3

文獻探討 .................................................................................................. 4

2.1. 影像辨識感測器 .............................................................................................. 4

2.2. 無人機結合深度學習應用 .............................................................................. 5

2.3. 使用方法 .......................................................................................................... 6

作業系統與工具介紹 .............................................................................. 7

3.1. 作業系統介紹 .................................................................................................. 7

3.1.1. Ubuntu ...................................................................................................... 7

3.1.2. Raspbian ................................................................................................... 7

3.1.3. Mission Planner ........................................................................................ 8


3.2. 軟體介紹 .......................................................................................................... 9

3.2.1. Python ....................................................................................................... 9

3.2.2. C++ ........................................................................................................... 9

3.2.3. Socket ..................................................................................................... 10

3.2.4. OpenCV .................................................................................................. 11

3.2.5. Flask ....................................................................................................... 11

iv
3.2.6. YOLO ..................................................................................................... 11
3.3. 硬體介紹 ........................................................................................................ 13

3.3.1. 樹莓派 .................................................................................................... 13

3.3.2. Raspberry Pi Camera Module V2 ........................................................... 15


3.3.3. F450 四旋翼無人機 ............................................................................... 15

3.3.4. Pixhawk 2.4.8 ......................................................................................... 16


研究方法 ................................................................................................ 18

4.1. YOLOv4 ......................................................................................................... 18


4.1.1. 模型比較 ................................................................................................ 21

4.1.2. YOLOv4 訓練 ........................................................................................ 23

4.1.3. 數據準備 ................................................................................................ 23

4.1.4. Labelme .................................................................................................. 24


4.1.5. 訓練 ........................................................................................................ 25

4.1.6. 訓練結果 ................................................................................................ 27

4.2. F450 四旋翼無人機 ....................................................................................... 27

4.2.1. 起飛和著陸 ............................................................................................ 29

4.2.2. 定高模式 AltHold ................................................................................. 30

4.2.3. Loiter 懸停模式 .................................................................................... 30

4.2.4. 降落模式 ................................................................................................ 31

4.2.5. 規劃航點及任務 .................................................................................... 32

4.3. 攝像頭架設 .................................................................................................... 33

4.4. Flask 網頁架設 .............................................................................................. 34

4.4.1. IPinfo.io .................................................................................................. 35

4.4.2. Leaflet ..................................................................................................... 35

4.4.3. OpenCV .................................................................................................. 36


實驗結果與分析 .................................................................................... 37

5.1. YOLOv4 結果 ................................................................................................ 38

v
5.2. GPS ................................................................................................................. 39
5.3. 無人機模式 .................................................................................................... 41

5.4. 論文比較 ........................................................................................................ 43

結論與未來展望 .................................................................................... 47

6.1. 結論 ................................................................................................................ 47

6.2. 未來展望 ........................................................................................................ 48

參考文獻 ........................................................................................................................ 49

vi
表目錄
表 1 RASPBERRY PI 4 規格表 ........................................................................................ 14
表 2 伺服器規格表 ....................................................................................................... 14
表 3 網路攝影機對照表 ............................................................................................... 15
表 4 用於圖像分類的神經網絡參數[28] .................................................................... 20
表 5 深度學習模型的 FPS 比較[29] ........................................................................... 22
表 6 深度學習模型評估[29] ........................................................................................ 22
表 7 訓練環境細項 ....................................................................................................... 25
表 8 參數的涵義 ........................................................................................................... 26
表 9 FPS 對比 ............................................................................................................... 36
表 10 截圖比對 ............................................................................................................. 38
表 11 論文比較表 ......................................................................................................... 45

vii
圖目錄

圖 1 軟體架構圖 ............................................................................................................. 9
圖 2 SOCKET 流程圖 ..................................................................................................... 10
圖 3 硬體架構圖 ........................................................................................................... 13
圖 4 RASPBERRY PI CAMERA MODULE V2 .................................................................... 15
圖 5 F450 四旋翼無人機 ............................................................................................. 16
圖 6 PIXHAWK 2.4.8 ...................................................................................................... 17
圖 7 系統流程圖 ........................................................................................................... 18
圖 8 MS COCO OBJECT DETECTION[28] ...................................................................... 19
圖 9 目標檢測組成[28] ................................................................................................ 20
圖 10 FPN 與 PANET 概念圖[28] ............................................................................... 21
圖 11 深度學習模型的表現[29] ................................................................................. 22
圖 12 訓練流程圖 ....................................................................................................... 23
圖 13 LABELME 介面 ................................................................................................... 24
圖 14 JSON 格式 ........................................................................................................... 25
圖 15 COCO 格式 ....................................................................................................... 25
圖 16 環境變數修改 ................................................................................................... 26
圖 17 架構訓練 LOSS 函數曲線 ................................................................................ 27
圖 18 MISSON PLANNER 畫面訊息 .............................................................................. 28
圖 19 ‘X’ 和 ‘+’ 配置 ................................................................................................ 28
圖 20 四軸無人機的六自由度 ................................................................................... 29
圖 21 起飛動作 ........................................................................................................... 29
圖 22 著陸動作 ........................................................................................................... 29
圖 23 定高模式調參數 ............................................................................................... 30
圖 24 懸停模式調參數 ............................................................................................... 31
圖 25 四軸推力 ........................................................................................................... 31
圖 26 設計任務介面 ................................................................................................... 32
圖 27 任務範例 ........................................................................................................... 33
圖 28 影像串流 ........................................................................................................... 33
圖 29 無人機鏡頭 ....................................................................................................... 34
圖 30 影像串流至網頁 ............................................................................................... 34
圖 31 FLASK 運作架構 ................................................................................................ 35
圖 32 主機資訊 ........................................................................................................... 35
圖 33 LEAFLET 地圖 .................................................................................................... 36
圖 34 結果呈現 ........................................................................................................... 37

viii
圖 35 樹莓派腳位 ....................................................................................................... 40
圖 36 NMEA GPS 訊號............................................................................................... 40
圖 37 NMEA 經緯度 GOOGLE MAP ............................................................................ 41
圖 38 任務模式任務點 ............................................................................................... 42
圖 39 GPS 誤差 ........................................................................................................... 43
圖 40 HOME 點 ............................................................................................................. 43
圖 41 SSD 物體檢測器[30] ........................................................................................ 44
圖 42 模型推理輸出示例[26] ..................................................................................... 45

ix
緒論

1.1. 研究背景

國家人口往都市移入使城市人口顯著增加,這反過來又要求智慧城市的發展,

以提高城市生活質量、提高城市運營和服務的效率,創造城市的可持續經濟增長。

智慧城市的目標不僅僅是提高城市生活質量,還需要滿足當代和後代在經濟、社會

和環境方面的要求[1]。

智慧城市的正式且易於理解的定義是:它是將各種電子設備和通信無縫集成

為一種方式,挑戰通過互聯網網絡基礎設施在城市內的任何地方相互連接,以促進

市民的福祉,並創造城市的可持續經濟增長。根據[2]文中表示,智慧城市由不同部

分組成,分別為智能基礎設施、智能交通、智能環境和能源、智能醫療、智能治理

和教育等。

經濟與科技領域中帶來顯著的成長[3],於 2017 年時,汽車的數量達到了 12

億輛,預計 2035 年會達到 20 億輛車,但停車空間和車輛需求卻不成正比,在這種

狀況下,通過科技來解決問題成了最有效的方法。智能停車場便在這樣的背景下產

生,種類不計其數,衍伸出辨識車牌[4]、無線傳感器[5]等種類智能停車場,解決

了停車堵塞、空間資源利用等問題[6],使運營成本降低,同時人們的生活也更加便

捷。

1
1.2. 研究動機與目的

尋找空置停車位對人們來說往往是個麻煩事,尤其是在大型停車場,如果停車

場幾乎完全被佔用,人們必須花很多時間集中精力開車穿過整個停車場,以便以視

覺尋找空置空間。這個問題可以通過在每格停車位設置傳感器來檢測停車位佔用

情況來解決。然而,磁力的停車感測器會隨著精度要求的提高而迅速降低電池壽

命,而且現代車輛並不是都有具備鐵磁部件;超音波、紅外線等實體感測器辨識十

分精準但常有感測器故障、燈號失靈等情況誤導使用者至錯誤方向,進而產生交通

堵塞。因此,深度學習的進步使透過攝像鏡頭獲取影像以控制多個停車位,並為停

車佔用問題提供更便宜的解決方案。

從這些觀點出發,本研究旨在開發一種深度學習結合停車場智能管理系統,研

究四旋翼無人機結合攝像鏡頭並運用在停車場車格偵測,目的在於跳脫以往使用

固定攝影機、無線傳感器、重量感應、地磁等停車場系統上的空間架構,針對大型

室外停車場提出新的停車場自動化管理系統, 避免攝影機拍攝角度的死角造成的

誤判可能性並即時分析,希望可以降低駕駛人搜尋車位的時間,並持續準確的監控

停車場。當今最流行目標檢測模型,YOLO 便是其中之一,本研究透過 YOLO 訓

練大量數據,能夠以實時速度獲得良好精度分數的辨識效果,且不只使用通用數據

集(例如 COCO 和 ImageNet),還加入自己的數據進行訓練。

2
1.3. 論文架構
第一章:描述本論文之研究動機與研究方向。

第二章:描述現有關於車位偵測辨識和無人機應用相關文獻

第三章:實驗中所使用的相關軟體硬體介紹

第四章:研究的相關流程方法

第五章:實驗結果分析與探討

第六章:論文總結,並提出本篇論文之前瞻性。

3
文獻探討

在現有停車場場辨識系統相關論文中,並不缺乏解決方法,磁感測器[7]、超聲

波感測器[8]、紅外線感測器[9][10][11]和攝像頭[12][13][14]在解決停車問題方面都

受到了廣泛關注,從眾多文章中可以看出,停車場場辨識系統存在多種技術,可以

分為三大類:影像處理檢測、傳感器檢測(紅外、激光雷達、磁力計、超聲波等)

和人群感應[15][16]。

2.1. 影像辨識感測器
人群感應技術當然是最經濟的,但不是很可靠,所有的訊息皆由用戶報告,無

法避免操作失誤及錯誤資訊。使用傳感器進行檢測是效率、成本的折衷,儘管可以

為這種技術設計多種部署配置,但在需要精準低錯誤的情況下,每格停車位都需配

備一個甚至複數的傳感器,而且傳感器檢測並不是沒有缺點,每種傳感器都有難以

克服的地方,例如超聲波傳感器雖然可以準確地檢測停車位中是否存在物體,但無

法區分車輛和其他物體的佔用,也就是說,即使是動物或人的存在也將被視為佔用

空間的車輛;RFID 傳感器在車輛進入停車場時,RFID 芯片中存儲的數據將被

RFID 讀取器接收,只有帶有正確 RFID 標籤的車輛才會被識別,但沒有 RFID 標

籤的車輛將被禁止進入停車場,雖然這是一種非常簡單有效的技術,但在每輛車上

安裝 RFID 標籤是一個非常複雜且不實際的想法。每種種類的傳感器價格也不相

同,像是激光雷達傳感器,它類似於超聲波傳感器,但使用光脈衝而不是射頻脈衝,

儘管這種傳感器即使在更長的距離上也更準確,但它非常昂貴,如果在大型停車場

每個停車區都安裝的安裝成本會很高,故障不易維修,需要與供應商簽訂維護合同,

一般停車場營運者較不願意負擔。

相較傳感器偵測,近幾年影像處理檢測進步很多,研究人員更結合了深度學習

[17]-[19]技術,讓結果更加理想,甚至有人僅僅使用數學編譯出檢測程式解決汽車

4
遮擋後方停車位的問題[20]。[21]論文中描述了基於視覺的方法,用於檢測空停車

位並使算法從實時影像饋送中的新圖像中學習,它還使用各種攝像頭饋送並檢測

為停車而製作的邊界線,然後檢測汽車是否在存在於邊界中,從而決定了可用的停

車位。[22]使用 Mask R-CNN 在許多汽車圖像上進行訓練,但在檢測其中一些圖像

方面仍然存在問題,特別是當某些特定元素不容易觀察到或顏色無助於清楚區分

汽車部件時,這表示影像檢測容易受環境影響而誤判。

綜合以上,依照傳感器檢測、影像處理檢測類別歸納出兩者的缺點:

傳感器檢測:需使用的感測器,成本會與架設停車場之大小已比例增加架設費

用,架設及維護都需鉅額成本,且有些傳感器可能容易受到不可控因素干擾而造成

系統誤判。

影像處理檢測:複雜場景中二分法辨識不易,容易受環境影響而誤判,天氣是一

大影響因素,物件偵測車輛則是只能確定大概範圍。

2.2. 無人機結合深度學習應用
無人機因其機動性、靈活性和使用範圍等能力和特性,變得非常流行,現在已

經開始普及並且可供所有人使用。以深度學習方法進行對象識別是正在快速發展

的研究領域,直到最近才應用於無人機圖像的分析,因此,無人機在不同方面參與

了眾多應用,例如專業攝影和拍攝、農業[23]和林業[24][25][26]、電力網路中的故

障定位[27]、災難時的搜救和休閒。文章[24]將深度學習應用於無人機拍攝的 RGB

圖像,進行樹木類型和樹種識別,並提出一個使用無人機和 CNN 分類的森林測繪

系統,文中也進行 CNN 與 SVM 的性能進行比較,在使用 RGB 波段和 GLCM 紋

理特徵的平均值和標準偏差值進行 SVM 學習之下,這種特徵差異可能導致了

SVM 和 CNN 之間的性能差異。這一結果表明,除了 RGB 波段和 GLCM 紋理特

徵的平均值和標準差值之外,CNN 使用了更多的特徵,表現出比 SVM 高得多的

性能。文章[25][26]則是都利用 YOLO 模型在 COCO 數據集上進行了預訓練,YOLO

5
模型的工作原理是首先在訓練圖像中創建特徵,然後將其傳遞到下一層;然後將這

些特徵以各種方式混合、匹配和組合;最後,在預測對象周圍繪製邊界框,並對每

個預測對象進行具有置信度的類預測,然後模型在內部驗證數據集上運行推理,文

中也有進行各種影像辨識方法的比較,但範圍較廣的影像選用 YOLO 來處理的情

況較多。以上幾篇文章進行比對之後,進行 CNN 與 YOLO 的抉擇,簡要的說,

CNN 對於小物件能有更好的檢測,YOLO 則是對全局資訊有著更好的表現,但對

於小範圍的表現較差,CNN 的準確率較高但速度慢,YOLO 則反之。本研究為了

實現即時處理對處理速度較為要求,考慮處理過程還需要進行影像傳輸,故採用

YOLO 在本研究使用的,更詳細的比較會在 4.1.1 章節比較。

2.3. 使用方法
本論文嘗試克服影像處理檢測難點,提出以無人機結合深度學習應用於停車場

管理,運用無人機制空的優勢,使用 YOLO 進行影像辨識及深度學習,一方面可

減少外界對攝像頭造成干擾,另一方面使用 GPS 精準判斷車格所在位置,讓使用

者可以快速找到可用的空位。

6
作業系統與工具介紹

3.1. 作業系統介紹

在本研究中使用的設備可大致分為筆記型電腦、CUAV 以及樹莓派,筆記型

電腦使用之作業系統為 Ubuntu20.04 版本,樹莓派之作業系統為 Raspbian,以下分

別介紹。

3.1.1. Ubuntu

Ubuntu1 是一個基於 Debian 以桌面應用為主的 Linux 發行版,共有三個版本,

包括電腦版、伺服器版及物聯網裝置和機器人使用的 Core 版,每年的四月與十月

會推出新版本,且每個版本都至少會提供 18 個月的安全更新與支援,長期支援

LTS(Long-term support)版本每兩年釋出一次,有五年的技術支援。Ubuntu 的一大

特色是它所有系統相關的任務需使用 sudo 指令,與傳統方式相比,使用系統管理

員帳號來進行管理工作更為安全,有高效的檔案管理系統、系統安全穩定、權限管

理嚴格、強大的命令列、無軟體捆綁行為等,使它成為主流的開發軟體之一。

3.1.2. Raspbian

Raspbian2 是一個基於 Debian 的免費作業系統,專為樹莓派(Raspberry Pi)進行

優化移植而成,因此針對樹莓派的 ARM 架構 CPU 進行了高度優化,也是目前樹

莓派的主要發行版。相較其他作業系統,Raspbian 支援廣泛,資料搜尋也更加容易,

適合初學者或是 Linux 新手使用。附帶的 35,000 個軟體包和預編譯軟體,這些也

都針對 Raspberry Pi 做了最佳性能的優化,系統本身就帶有一系列的實用軟體,文

書方面有開源軟體 LibreOffice 系列,能夠完成日常文書處理;程式方面則是有

1
https://ubuntu.com/.
2
https://www.raspberrypi.com/software/.

7
Python、Java、Scratch 以及相應的 IDE(Integrated Development Environment),同時

可以使用 Wolfram Mathematica 做到 3D 繪圖及數據處理,為了方便使用者遠端操

作,系統還預載了 VNC(Virtual Network Computing)可以提供遠端操作。

3.1.3. Mission Planner

Mission Planner3是一個免費的、開源的、由社區支持的應用程序,由 Michael

Oborne 開發的開源 APM 自動駕駛儀項目。Mission Planner 是讓飛機、直升機和無

人機的地面控制站,可以配置實用工具或對自動駕駛飛行器的進行動態控制。 主

要功能為:

⚫ 把固件燒錄到 APM/Pixhawk。

⚫ 設置、配置、並調整飛行器最佳性能。

⚫ 在 google 地圖或者其它地圖上設計航線計劃,把該計劃保存或者載入到自動

駕駛儀。

⚫ 下載並分析自動駕駛儀創建的任務日誌。

⚫ 提供接口與 PC 飛行模擬器連接,創建一個全功能的硬件無人機模擬器。

3
https://ardupilot.org/planner/.

8
3.2. 軟體介紹
本研究的軟體架構如下圖 1,主要編寫語言為 Python,深度學習模型為
YOLOv4,網頁框架採用 Flask,通過由 C++編寫的影像讀取程式抓取影像,再經
由 Flask 回傳至 Ubuntu 進行判斷。

圖 1 軟體架構圖

3.2.1. Python

Python 作為本研究主要的編寫程式語言,是一種廣泛使用的直譯式語言,支

援了多種的開源程式範例,包括函數、指令、結構和物件導向的程式設計,相對其

他程式語言,像是 Java、C、C++ 來說,Python 顯得語法簡單、工法完整、應用廣

泛,這樣直觀撰寫的特性受到許多初學者的喜愛外,還有大量的函式庫、通訊支援

等,來支援開發者使用,時下風靡的人工智慧、深度學習還有物聯網都是其範疇,

接近自然語言使人更能理解程式邏輯和架構。

3.2.2. C++
C++是被廣泛使用的電腦程式設計語言。它通用程式設計語言,支援多重程式

設計範式,例如過程化程式設計、資料抽象化、物件導向程式設計、泛型程式設計

9
和設計模式等。在同樣的硬體規格下相比 Python,C++擁有更高的執行效能,因此

本研究會結合兩種語言一同進行開發。

3.2.3. Socket

Socket 義為網際插座,為程式之間雙向通訊交換的一種機制,採用的通訊協議

模型是 TCP / IP,傳輸層中又分成 TCP 以及 UDP,兩者的差別分別為 TCP 建立在

連線的基礎上,且能夠保證訊息資料之順序,準確性高,因此對於系統資源需求相

對大,而 UDP 則是無連線,系統資源要求少,但在傳輸期間資料有可能遺失 。此

外,為了保持傳輸資料的完整,Socket 使用三方交握連線(Three-way Handshake),

即為三次訊息交換,流程圖如下4:

圖 2 Socket 流程圖

4
https://nordvpn.com/zh-tw/blog/tcp-udp-bijiao/

10
3.2.4. OpenCV

OpenCV5為開源的視覺和機器學習軟體庫,是由 BSD 許可發行的跨平臺計算

機視覺庫,其組成與使用介面主要以 C++語言為主,可執行於 Linux、Windows、

和 Mac OS 作業系統,亦可在 Android、ios 手機應用程式上開發,該軟體庫包含

2500 多種優化算法,主要傾向於實時視覺應用,並可利用 MMX 和 SSE 指令。此

項技術擁有豐富的影像處理函式庫,可透過電腦或攝影機對目標進行辨識、跟蹤、

測量等等,主要使用在開發即時性圖像處理、電腦視覺及圖型識別程式,建立從影

像中獲取資訊的人工智慧辨識系統,可大量運用在人機互動、物體識別、影像分割

和汽車安全駕駛等層面。

3.2.5. Flask

Flask6又稱 micro-framework(微框架),是多數人用 Python 建構輕量級網頁

時使用的應用框架,主要由 Werkzeug WSGI 工具箱和 Jinja2 模板引擎所組成,其

提供基本架設網站所需的工具,包括路由(Routes)、網頁模板(Templates)、權限

(Authorization)等等,足夠滿足基礎網頁建構的使用情境與條件。

然而,受益於 Flask 既簡單又可擴充核心的特性,無設限的資料庫與表單驗證

工具等條件,給予開發者很大的彈性空間,更可以透過 Flask-extension 完成 ORM、

檔案上傳、開放式身分驗證技術等需求。

3.2.6. YOLO

YOLO7(You Only Look Once: Unified, Real-Time Object Detection)是一個可

以一次性預測多個 Box 位置和類別的卷積神經網路,由 Joseph Redmon 和 Ali

5
https://nordvpn.com/zh-tw/blog/tcp-udp-bijiao/
6
https://flask.palletsprojects.com/en/2.0.x/
7
https://arxiv.org/abs/1506.02640.

11
Farhadi 等人在 2015 年提出,是基於單個神經網路的目標檢測系統。能夠實現端到

端的目標檢測和識別,其最大的優勢就是速度快。目標檢測的本質是迴歸,因此實

現迴歸功能的 CNN 並不需要複雜的設計過程。YOLO 沒有選擇滑動視窗(silding

window)或提取 proposal 的方式訓練網路,而是直接使用整個圖來訓練模型。這

樣做的好處在於可以更好的區分目標和背景區域,與 Fast-R-CNN 相比,Fast-R-

CNN 採用 proposal 訓練方式常常把背景區域誤檢為特定目標。

12
3.3. 硬體介紹
本研究的硬體架構如圖 3,主要硬體為筆記型電腦與搭載 Raspberry Pi 4 與

CUAV Pixhawk 2.4.8 的 F450 四旋翼無人機,電腦作為伺服器,負責運算以及網頁

伺服端,無人機上的樹莓派負責收集的即時影像及接收 GPS 訊號,再透過電腦架

設的網頁傳給電腦進行運算。

圖 3 硬體架構圖

3.3.1. 樹莓派
樹莓派8是一款單晶片電腦,並且基於 Linux 系統,開發單位為英國的樹莓派

基金會,目的在於用較低的價格,卻擁有不錯的性能以及自由軟體,可促進教學機

構的電腦科學教育。

樹莓派的 CPU 採用 ARM 架構處理器,符合低成本、高效能、低耗電的特性,

使用記憶卡當作儲存媒介,擁有一個乙太網路孔、四個 USB 插槽,其中 GPIO 腳

位可以讓使用者控制外部的自組電路,因此樹莓派也慢慢成為機電控制方面的實

習工具。

本文以 Raspberry Pi model 4 單晶片電腦作為擷取影像之工具,規格如表 1,從

攝影機接收到影像後利用 Socket 通訊傳至伺服器處理,伺服器規格如 2。

8
https://www.raspberrypi.org/

13
表 1 Raspberry Pi 4 規格表
Raspberry Pi 4

Broadcom BCM2711
CPU
Quad core Cortex-A72 @ 1.5GHz

GPU VideoCore VI @ 500Mhz

RAM 4GB LPDDR4-2400 SDRAM

2x USB-a 2.0, 2x USB-A 3.0, 1x


USB
USB-C

Display ports 2x microHDMI

802.11ac Wi-Fi, Gigabit Ethernet,


Connectivity
Bluetooth 5.0

標準 40 pin GPIO 排針擴充板插座

Misc. 2-lane MIPI CSI 相機埠

4-pole 立體聲音和複合視訊埠

RAM 2GB $35


Price
RAM 4GB $55

表 2 伺服器規格表

作業系統 Ubuntu 20.04

處理器 AMD Ryzen™ 7 4800H

顯示卡 GeForce RTX 1660 Ti

DDR4 2666 8GB


系統記憶體
DDR4 2666 8GB

硬碟容量 1TB

14
3.3.2. Raspberry Pi Camera Module V2

它採用索尼的 IMX219PQ 圖像傳感器,提供高速視頻成像和高靈敏度。

Raspberry Pi 相機模塊可減少圖像污染,例如固定圖案噪點和拖尾。它還具有自動

控制功能,如曝光控制,白平衡和亮度檢測。由於本文使用 Raspberry Pi 4 讀取影

像,且需要考慮無人機需要負載的重量,根據下表 3 比較,首要考慮重量次要考慮

解析度,故選擇型號 Raspberry Pi Camera Module V2 作為攝像頭。

表 3 網路攝影機對照表
型號 V2 C310

解析度 1080p/32fps 720p/30fps

視訊品質 良好 良好

對焦 固定 固定

鏡頭 標準 標準

視野 73.8∘ 60∘

價格 中 低

重量 輕 重

圖 4 Raspberry Pi Camera Module V2

3.3.3. F450 四旋翼無人機

無人機的全球市場在近年大幅增長,現已成為商業、政府和消費應用的重要工

15
具,其能夠支持諸多領域的解決方案,廣泛應用於建築、石油、天然氣、能源、農

業、救災等領域。

小型的多旋翼系統最多可以搭載 200g 左右的負重,適合用於短距離的監控任

務,運用於小範圍的垂直拍攝也十分合適。大型的多旋翼系統可以酬載 1000g 以

上之酬載,並進行 30 分鐘以上之飛行,無人機通常被設計來執行任務,這是它與

航模最大的區別。

F450 非常適合新手,它的價格低,維護成本低且強度較高,在練習中出現操控

問題也不容易損毀。

圖 5 F450 四旋翼無人機

3.3.4. Pixhawk 2.4.8

Pixhawk9是近幾年發展最好的開源飛控硬體之一,是集成了傳感器、輸入輸

出功能及嵌入式處理晶片的電路板。它採用了 ST 先進的處理器 M4 架構,同時

搭載 NuttX 實時系統,有一個自定義的 PX4 底層驅動來確保全周期的實時處理。

系統提供了一系列終端接口來監控該系統硬體的狀態,系統啟動是通過一系

列的腳本和參數來完成的,其嵌入的 MAVLink 通信協議提供了一個管理控制器

和系統參數的友好界面,並能夠在飛行中存儲或改變系統參數。

9
https://pixhawk.org/

16
整套架構使用高精度的定時器,並且支持中斷喚醒,喚醒延遲都在 4 毫秒以

下,這些喚醒函數非常適用於高效準確地讀取傳感器數據。

圖 6 Pixhawk 2.4.8

17
研究方法

本論文提出的研究方法,運用深度學習,將影像語意分割,分類出欲辨識的物

體遮罩,當裝載在無人機上的攝像頭開始導入影像後開始進行即時辨識,同時將無

人機 GPS 座標透過樹莓派抓取,並將產生結果同時表現於螢幕上。

為了使無人機具有固定移動路徑,通過 Pixhawk 2.4.8 電路板寫入了無人機任

務模式,可以透過無人機的衛星定位讓無人機遵照設定好的座標點對點移動,使之

有固定的移動模式,本研究流程圖如圖 7。

圖 7 系統流程圖

4.1. YOLOv4

YOLOv4 [28] 是在 YOLOv3 各個部分做改進,在保證速度的同時,降低硬體

使用的要求,並大幅度提高模型的檢測精度。由圖 8 可以看見 YOLOv4 在 MS

COCO 數據集上獲得了 43.5%的 AP 值(65.7% AP50)。YOLOv4 在與 EfficientDet

18
同等性能的情況下,速度是 EfficientDet 的二倍;與 YOLOv3 相比,YOLOv4 的

AP 和 FPS 分別提高了 10%和 12%。

圖 8 MS COCO Object Detection[28]

YOLOv4 建立了一個高效強大的目標檢測模型,並使用 1080Ti 或 2080Ti 的

GPU 就可以進行訓練,也驗證了 SOTA (State of the Art) 的 Bag-of-Freebies 和

Bag-of-Specials 目標檢測方法在訓練過程中的影響,並改進了一些 tricks、SOTA

的方法,包括 CBN、PAN、SAM 等,使它們更加高效能,並能夠在單 GPU 上來

進行訓練。目標檢測通常由以下幾個部分組成:

⚫ Input: 指圖片的輸入

⚫ Backbone: 在 ImageNet 預訓練的骨架

⚫ Neck: 通常用來提取不同層級的特徵圖

⚫ Head: 預測對象類別及 bndBox 的檢測器,通常分兩類 Dense Prediction

(one stage), Sparse Prediction (two stage)

19
圖 9 目標檢測組成[28]

而 YOLOv4 模型的架構由三部分組成:

⚫ BackBone: CSPDarknet53

⚫ Neck: SPP+PAN

⚫ HEAD: YOLO HEAD

Backbone — CSPDarknet53 為了使網絡能夠快速操作並併行計算優化,作者提

供了兩種神經網絡。對於 GPU,在卷積層中使用少量組 (1~8 group) 的卷積,並將

ResNeXt50、Darknet53 分別與 Cross Stage Partial Network (CSPNet) 結合,組成了

CSPResNeXt50 和 CSPDarknet53。

由下表的實驗證明 CSPResNeXt50 適合用於分類網路,而 CSPDarknet53 更

適合用於檢測網路,因此最後選擇使用 CSPDarknet53 作為 Backbone。

表 4 用於圖像分類的神經網絡參數[28]

Neck — SPP+PAN 的部分是為了能夠擴大感受野以及融合不同尺度 feature

20
map 的信息 (更好的進行特徵融合),SPP (Spatial Pyramid Pooling)是在網路的最

後一層 concate 所有的 feature maps,後面能繼續接 CNN module;PANet (Path

Aggregation Network)是以 FPN 為基礎做改進,將串的層數再多加一層。

圖 10 FPN 與 PANet 概念圖[28]

4.1.1. 模型比較

根據[29],透過 YOLOv4 與其他模型比較,速度提升許多並且精準度能夠保持。

在 R-CNN 模型的情況下,由於使用了 CNN,分兩步進行檢測,所以準確率比較

高,但速度明顯慢。在實時應用中可能很難使用 R-CNN 模型。雖然 SSD 模型比

其他模型更快,但由於它是使用 Mobilenet 的輕型模型,因此精度較低,有時無法

檢測到車輛。YOLO 比 SSD 相對慢,但它可以很好地檢測車輛,不會在每一幀視

頻中漏掉一輛車。表 5、表 6、圖 11 比較 mAP 和 FPS,得出結論,YOLOv4 是

測試對象檢測模型中最合適的模型。

21
表 5 深度學習模型的 FPS 比較[29]

表 6 深度學習模型評估[29]

圖 11 深度學習模型的表現[29]

在 YOLOv4 中,使用 FPN(特徵金字塔網絡)為 YOLO 結構中的每一層預

測特徵,這解決了無法捕捉小物體的缺點,高分辨率特徵反映在 YOLO 中的檢測

中。

22
4.1.2. YOLOv4 訓練

與一般模型的訓練步驟相差不多,需要數據集、標註工具以及設定檔修改,由

於神經網路擬合能力強大,需要將收集的數據集順序打亂,若同一組合的 Batch 反

覆出現,模型可能會記住這些樣本順序,進而影響泛化能力,訓練步驟以下分別介

紹。

圖 12 訓練流程圖

4.1.3. 數據準備
本論文用來訓練之資料集為自備訓練集,現階段之語意分割資料庫內容豐富,

但都以物件為主,專注於平面分類的數據集卻不多,所以車道、車格標示分類的數

據都是自己拍攝生活周遭的停車場影像,包含國立雲林科技大學校內停車場數份

影像,經 OpenCV 裁切後,手動使用 Labelme 對其進行標註,整個訓練集內共有

23
2000 張經過裁切以及標註的影像,並在標註過後隨機打散以三比一的比例拆分為

訓練集與測試集。

4.1.4. Labelme
Labelme10是一套可以標註多種且多邊形的標記工具,由 Kentaro Wada 於研究

及工作需求所創造,其功能是借鏡美國麻省理工學院 CSAIL 開發之線上標註工具

LabelMe,Labelme 與 Labelimg 不同,能夠標註多邊形 Polygon,支援讀取過去輸

入資料、自動存檔等功能,方便欲進行語意分割訓練的使用者。

圖 13 Labelme 介面

使用時先載入欲標註之資料夾,讀取影像後選擇多邊形標註即可開始進行,以
物體邊緣為主,標註完會產生對應的 json 格式檔案,如圖 14,內容包含標記物的
名稱、類型、Polygon 座標、影像路徑、影像資料等,格式與 YOLACT 使用的 COCO
格式或是 YOLO 使用的 PASCAL VOC 不同,因此在進行訓練前要再將標註後的
檔案轉換成 COCO 格式,如圖 15。

10
https://github.com/wkentaro/labelme

24
圖 14 json 格式 圖 15 COCO 格式

4.1.5. 訓練
訓練集是自行收集的約 1500 張影像,將其標記完後,把訓練設定檔之內容調

整為自定義配置,即可開始訓練。主要的訓練環境是位於 darknet,利用 Darknet

官方 GitHub 給予的指令步驟去進行安裝設定,並且依據研究所需要的設定去進

行環境參數微調;訓練環境細項陳列於下方表 7:

表 7 訓練環境細項

訓練系統: Ubuntu 20.04

顯示卡(GPU) Nvidia GeForce GTX 1660ti

環境框架 Darknet

架構模型 Darknet53

OpenCV 版本 4.5.1

Nvidia CUDA 版本 11.2

而建立 darknet 環境的依據是由 Makefile 檔案去建構環境,需要依照自己的

硬體設備去修改環境參數來正確架設環境,如果設置不相容會無法順利進行訓練

程式,而修改的部分主要如圖 16 所顯示的。

25
圖 16 環境變數修改
所需要使用到的參數修改為 1,OpenCV 需要處理圖片,訓練時必須開啟,

GPU 和 CUDNN 都是訓練深度學習架構時必備的所以要開啟。

以下表 8 列出各項使用參數的涵義:

表 8 參數的涵義
train.py 模型將由這個文件訓練

定義輸入圖像大小。將圖像壓縮到更小的尺寸可以加快訓練過
img
程。416×416 尺寸是用來輸入而不會丟失太多細節的理想尺寸

用於確定批次大小,它是一個超參數,定義更新內部模型參數之
batch
前要處理的樣本數量。批次數量越大,消耗的內存越多

epochs 一個超參數,定義整個訓練過程的數據集訓練次數

包含數據及摘要的 data.yaml 文件,訓練時會讀取文件中的路徑


data
訪問驗證訓練集

cfg 指定模型的配置路徑

預訓練的權重可用於節省訓練時間,如果留空模型將自動初始化
weight
隨機權重進行訓練

name 該模型包含訓練期間執行的所有結果的目錄中創建

cache 緩存圖像以加快訓練速度

26
4.1.6. 訓練結果
訓練分類架構預計訓練迭代 4000 次,訓練之 loss 函數如圖 17,但訓練至 3000

時損失函數下降已不明顯,剛開始訓練時損失函數達到 50 以上,隨著訓練次數的

增加,損失函數也逐漸收斂,並在訓練 2,000 次時已低於 1。最後得到的,平均準

確率 Map 為 94.2%,整體研究訓練過程總共耗費了 1 個小時。

圖 17 架構訓練 Loss 函數曲線

4.2. F450 四旋翼無人機

自動駕駛儀的首次設置包括下載和安裝地面控制站(GCS),將自動駕駛儀安

裝到機架,連接遙控器接收機,電源和電調/電機,然後執行初始配置和校準。下

面將會介紹在本研究中進行校正、使用的四種模式,這四種模式都是通過

MP(Misson Planner)去進行設置,MP 地面站的默認主界面很直觀的顯示無人機狀

態,包括狀態、速度、高度、離起原點距離、GPS 位置信息等等。

27
圖 18 Misson Planner 畫面訊息
飛行器的建模是無人機領域的一項重要任務,一個典型的四軸飛行器有四個

輸入力和由螺旋槳提供的所需推力,如圖 19 所示。大多數四軸飛行器的設計都是

“X”和“+”的形式,與“+”配置模式相比,“X”配置被認為在懸停時更加穩

定和完美。

圖 19 ‘X’ 和 ‘+’ 配置

圖 20 標示了四軸無人機的六自由度(Six degrees of freedom),是指剛體在三

維空間中運動的自由度。剛體可以在前後、上下、左右三個互相垂直的坐標軸上平

移,也可以在三個垂直軸上旋轉其方向,三種旋轉方向稱為俯仰(pitch)
、偏擺(yaw)

及翻滾(Roll),其中:

• U = 所有馬達的推力和;

• T 1 =前馬達產生的推力(M1);

• T 2 =後馬達產生的推力(M2);

• T 3 =右馬達產生的推力(M3);

28
• T 4 =左馬達產生的推力 ( M4 );

• m = 四軸無人機的質量;

• I = 轉動慣量;

• l = 四軸無人機的一半長度;

• x, y, z = 四軸無人機的三個位置向量。

圖 20 四軸無人機的六自由度

4.2.1. 起飛和著陸

四軸無人機將沿 z 軸(正方向)移動,同時從地面升起產生平移運動,當它

從空中著陸時,它會沿 z 軸的負方向移動。為了實現四軸無人機的穩定起飛和著

陸,無線電控制器給出的油門非常的重要,必須細微且完美,這樣接收器才能保持

馬達的速度在兩者的 z 軸上,正確懸停方向如圖 21、圖 22 所示。

圖 21 起飛動作 圖 22 著陸動作

29
4.2.2. 定高模式 AltHold
定高模式下,無人機會自動保持當前的垂直高度,同時可以用手動操作對橫滾、

俯仰、方向的控制進行改變,當高度保持模式 ALTHOLD 開啟使用時,無人機會

自動控制油門來保持當前高度。

圖 23 定高模式調參數
Altitude Hold 選項下的變量 P 用於轉換期望高度誤差和實際高度誤差到想要

上升或下降的比率。當 P 值越大,定高能力則越強,但是如果 P 值設置得太高會

導致油門運轉不穩定而導致失控。

4.2.3. Loiter 懸停模式

在懸停模式 Loiter 打開之後,無人機會自動保持在當前的位置、方向及高度。

GPS 浮動的定位、羅盤干擾和振動都會直接影響懸停的效果,所以操控者需要使

用飛控遙控器控制桿,控制無人機的水平位置及垂直高度。水平位置可以用 Roll

和 Pitch 控制桿來調整,水平最大速度一開始默認為 5m/s。與定高模式相同,模式

中可以通過油門桿控制高度。

懸停模式 PID 的 P 值作用於修正目標水平位置和實際水平位置速度的偏差,

把預想的速度轉換成完成目標所需加速度,將期望的加速度轉化為一個傾斜角,然

30
後再加速。

圖 24 懸停模式調參數
影響懸停四軸無人機的四個輸入力是 U 1、 U 2、 U 3 和 U 4。四軸無人

機的高度變化由 U 1 完成,轉動角的變化由 U 2 完成,俯仰角由 U 3 影響,偏航角

由 U 4 控制。這些推力將幫助操作員向各個方向移動四軸無人機。每個推力由如圖

25 所示的方程計算。

圖 25 四軸推力

4.2.4. 降落模式
降落模式可讓飛行器垂直下降,下降至 10m 或是當聲吶檢測到無人機下方有

物體或是障礙物之前所使用的常規定高控制器,通過 WPNAV_SPEED_DN 參數來

限制下降的速度,WPNAV_SPEED_DN 參數可以通過 Mission Planner 修改,在飛

行器降落至地面,飛行器就會自動關閉馬達並鎖定飛行器。

31
在任何基於高度保持的模式中,當無人機接近地面或者降落時,如果無人機的

運行變得很不穩定,是因為無人機的螺旋槳氣流與地面用會產生壓力,飛控的氣壓

計(高度計)可能會受到影響。

4.2.5. 規劃航點及任務
在任務模式中,返航點的位置被設定成首次獲取到的 GPS 定位位置,即為無

人機起飛時的位置,無人機執行 rtl 返航將返航到起飛時的位置,所以需要把無人

機放置在想要的降落位置。若不想如此,也可以在 MP 地面站地圖上移動“home”

圖標更改和設置返航點的位置。

在圖 26 模擬了一個任務,任務是從自動起飛開始,從航點 1 的 20 米高度前往

航點 2,在移動中途中上升到 100 米的高度,然後在高度 100 米的航點 2 等待 10

秒鐘,再讓飛行器飛向航點 3,途中下降至 50 米高度,然後返航回起始點,在沒

有修改默認海拔高度的情況下,默認高度為 100 米,當飛行器返回航點 1,會懸停

至起始位置上方 100 米後開始著陸。

圖 26 設計任務介面
默認 Alt 是在輸入新航路點時的默認高度,是 RTL(返回啟動)模式的預設飛

行高度,如果有設置默認 ALT,該高度就是 RTL 飛行高度;如果沒有設置,將嘗試

32
維持開啟 RTL 時的高度。

任務指令是指在 Mission Planner 介面下方的表格列表,可以通過輸入指令來設

計需求的飛航任務。這些指令包括:導航到航點、臨近盤旋、執行特殊動作(如拍

照等)和條件指令。依照需求,設計如圖 27 的任務也是可行的。

圖 27 任務範例

4.3. 攝像頭架設
本研究應用於停車格檢測,使用較低成本的攝影機達成停車場管理,

Raspberry Pi Camera 在拍攝影像的過程中,影像透過網路攝影機串流影像至網頁,

可以從電腦或手機端使用 IP 網址即時獲取影像。

圖 28 影像串流
由於即時影像辨識是在電腦端執行,架設於無人機上的樹莓派無法透過有線

的方式直接將影像傳輸至電腦進行處理,因此必須透過網路攝影機串流影像,當電

腦端開始偵測時,直接從 IP 網址抓取影像偵測。圖 29 展示樹莓派鏡頭在無人機

上的架設,圖 30 展示樹莓派串流影像至網頁。

33
圖 29 無人機鏡頭

圖 30 影像串流至網頁

4.4. Flask 網頁架設


Flask 在本論文中用於顯示最後的結果,它不需要任何特定的工具或資料庫即

可在不同的機器上運行,但是支持 Web 程序附加的擴展功能,所以可以在 Flask 中

自由的選寫所需要的功能。

Flask 基本上是以 WSGI 介面與 Jinja2 模板為基礎所內建一個實作 WSGI

伺服器與路由功能的 Werkzeug11 工具集。Werkzeug 是實現 WSGI 規範的一個函

式庫, 提供了開發 python web WSGI 的相關功能,而 WSGI 是 Python 標準的網

11
https://werkzeug.palletsprojects.com/en/2.1.x/

34
頁伺服器介面協定,來自客戶端的請求會被伺服器以 WSGI 協定進行封裝之後傳

送給應用,而應用的回應也會用 WSGI 回傳給伺服器, 運作架構如下圖 31:

圖 31 Flask 運作架構

4.4.1. IPinfo.io
本論文在 Flask 中寫入 IPinfo.io,來獲取樹莓派的各種 IP 資訊,其中包括 IP、

主機的名稱、主機所在城市、主機所在國家、主機所在經緯度、主機網域,如圖 32

所顯示的資訊:

圖 32 主機資訊

這邊取用經緯度來進行處理,所抓到的訊息與 4.2.2 章介紹的 Leaflet 來對接,

將經緯度顯示在地圖上,如圖 33。

4.4.2. Leaflet
一個開源的 JavaScript 庫,用於構建 Web 地圖應用。原本預計於 Flask 上架設

Google Map 來顯示 GPS 訊號,但 Google Map 於 2018.07.16 以後開始收費。申請

35
google map api key 必須綁定信用卡才可繼續使用 google map API。

圖 33 Leaflet 地圖

4.4.3. OpenCV
這裡放入 Opencv 的原因是因為在訓練時,OpenCV 並不要求電腦需要將 cddnn

開啟,但是在影像傳至 Flask 時,便需要配合 Flask 修改 OpenCV 的內部參數,如

果無法安裝,OpenCV 便會使用 CPU 來進行偵測,會大大提升延遲,表 9 放入 CPU

以及 GPU 兩者的 FPS 對比,可以看到兩者的 FPS 差至 10 倍之多,但是修改 OpenCV

的內部參數需要在安裝時同步進行,如果直接使用 pip3 指令安裝 OpenCV 會無法

修改內部參數。
表 9 FPS 對比
Device FPS Device FPS
AMD Ryzen™ 7 4800H 4.2 GTX 1660 Ti 41.2
Core i5 7300HQ 2.1 GTX 1050 Ti 20.1

36
實驗結果與分析
本研究的辨識結果、指令操作鍵、回傳訊息都放置於網頁介面上,使用者藉由

網頁顯示介面去抓取無人機當前的位置,網頁介面上方是由架設網頁的伺服器(也

就是電腦端),去抓取的樹莓派的網路攝影機影像,再通過 YOLOv4 即時辨識影像

匯入伺服器顯示,所以網頁上所顯示的影像是通過 YOLOv4 的偵測結果。而互動

按鍵已經設計成直接抓取架設在無人機上的樹莓派位置,會根據當前樹莓派網絡

IP 位置顯示出該 IP 詳細資訊於左下角,右下角則是根據 IP 的經緯度結合 Leaflet

顯示經緯度地點在地圖中,當重複點選互動按鍵的話刷新 IP 當前的詳細資訊並同

時更新地圖,如圖 34。

圖 34 結果呈現

本實驗原本預計會結合 YOLOv4 所偵測的結果並在 FLASK 介面直接標註、

顯示該車格中是否是空車位,但是由於畫面並不是固定的,無法在畫面中固定偵測

格來為 YOLOv4 進行判斷,要在使用移動影像偵測的過程中同時來對偵測到的物

件進行標註是很困難的,目前還沒想到如何解決,所以現在的方式還是仰賴使用者

根據影像來判斷無人機的即時偵測影像中是否偵測到停車位,再按下互動按鍵來

37
執行後續抓取無人機座標並將該座標顯示在網頁右下角地圖上的動作,如果無人

機移動後其座標發生改變,可以再次按下互動按鍵來刷新無人機資訊及無人機在

網頁地圖上的位置。

5.1. YOLOv4 結果
在偵測的過程中所顯示的數據表示,依照目前的設備與訓練的模型,來運行從

網路攝影機串流的影像,在偵測的過程中最高的 FPS 可以維持在 20FPS 左右,在

飛行的狀況下可能會因為畫面抖動或是網路不穩定而導致影像傳輸不穩,進而影

響到偵測效率,但偵測時最低的 FPS 不會小於 16FPS。

在表 10 中,將通過偵測過程的影片截圖,來表示各個偵測片段的準確率是否

精準,表中的影片截圖是在雲林科技大學電機系館旁的停車格進行拍攝,拍攝角度

皆為俯視 60°,訓練模型一共使用 1500 張訓練樣本與 500 張測試樣本:


表 10 截圖比對
偵測截圖 正確率

切角
90~95%
情況

完整
車格 99%~100%
情況

38
車格
相連 80%~90%
情況

切換
目標 75%~95%
情況

誤判
情況

表中可以看出,在偵測單一車格時,誤判是不容易發生的,準確率可以來到

100%,遇到車格被切角時也有很高的準確率,但是相連的車格在進行判斷時會因

為偵測物件過於相似的原因而造成誤判,不過在測試的影片中機率是十分低的,所

以整體來說準確度還算準確。

5.2. GPS
本研究透過 IPinfo12來直接讀取 IP 詳細資訊來獲取詳細經緯度資訊,以這種方

式追查經緯度並處理對于寫在 Flask 中是很方便,但是追查到的經緯度卻會極大的

偏差,推斷這種方式可能只會追查到 IPinfo 資料庫中的經緯度,這樣會無法獲取

12
https://ipinfo.io/

39
無人機確切的位置。

為了處理本問題,最好的方式是直接使用無人機的天線,無人機的控制會需要

GPS 訊號輔助,直接抓取天線所接收到的 GPS 會是最準確的。在此研究中,有成

功連接樹莓派外部的自組電路腳位 1(POWER)、6(GND)、8(TXD0)、10(RXD0) ,

成功將天線連線至樹莓派,並接收到了$GNGGA 亂碼數據, $GNGGA 是基本的

NMEA13 消息,它提供 3D 位置和準確的數據亂碼,經過編寫整理的訊號如圖 36,

NMEA Latitude 為緯度、 NMEA Longitude 為經度,因此是有成功透過樹莓派去抓

取 GPS 訊號的。

圖 35 樹莓派腳位

圖 36 NMEA GPS 訊號
樹莓派可以獲取到無人機精確的經緯度,但是目前還沒想出辦法使用電腦端

架設的 Flask 網頁去直接操作連接樹莓派,來獲取無人機經緯度,所以目前寫入

Flask 的還是直接通過 IP 去獲取的經緯度。

13
https://en.wikipedia.org/wiki/NMEA_0183.

40
在樹莓派獲取經緯度的程式中,已經寫入讓程式通過 NMEA 的經緯度,自動

開啟網頁至 Google Map,直接在 Google Map 中查找該地點,如圖 37 所示,可以

看到 Google Map 通過與圖 36 找到的相同經緯度查找到正確地點,由於這種方式

是直接開啟網頁而不是通過 Flask 伺服器去開啟,所以並不受到 google map api key

的限制。

圖 37 NMEA 經緯度 Google Map

5.3. 無人機模式
為了順利飛行並執行任務,將遙控器可以設定的開關設置為可以切換 6 種飛

行模式的設定,設置的飛行模式有以下幾種,也是在實驗中會使用到的模式:

⚫ 自穩模式(手動模式)

⚫ 定高模式(為了要順利起飛)

⚫ 降落模式(為了要順利降落)

⚫ 懸停模式(利用 GPS 定位就可以停在固定地方不動,會自動去微調飛機馬

達轉速)

⚫ 返航模式(會根據起飛的時的 GPS 位置來做自動回歸)

⚫ 任務模式(根據設置好的任務去做飛行)

依照所需要的範圍去做飛行規劃,這邊利用 Mission Planner 去做任務設計,

當起飛後就可以切換為任務模式,接下來無人機就會去執行寫入的飛行路徑任務,

41
我在雲林科技大學工程三館前設置了 4 個任務點來讓無人機執行任務,如圖 38 顯

示,這是我在 Mission Planner 中設計的飛行任務,無人機也成功的完成任務並著

陸,透過 Mission Planner 的任務設計模式,可以實現讓程式相容的無人機完成自

動化飛行。

圖 38 任務模式任務點
在 Mission Planner 裡面使用的衛星雲圖與 Google Map 是相同的,圖 39 黃色

圓圈框起的部分就是無人機的 GPS 感測器所偵測到的位置,也就是拍這張圖當下

偵測的位置,實際位置是在建築物門口前走道,單看衛星圖會以為機身位置已經偏

移到了建築物內部,但這只是因為衛星圖拍攝角度及建築物陰影的關係導致查看

錯覺而已,所以以整體來說 Mission Planner 內部使用的衛星雲圖還算準確。

42
圖 39 GPS 誤差
在設計任務時,僅有規劃 4 個任務點,這在圖 40 可以看到,無人機會將起飛

時的 GPS 點自動設置為 home 點,在執行返航模式或是已經完成任務時,就會從

無人機當下位置直線飛回 home 點,但是由於 GPS 訊號的漂移或是風向的影響,

落點多少會有點誤差,偏移距離大概 2 公尺。

圖 40 home 點

5.4. 論文比較
此章節比較本論文比較各論文的準確率時,主要比較最後的 FPS 及偵測準確

率,深度學習的比較通常使用相同的樣本集來當基準進行架構準確率比較,但大部

43
分與無人機相關的論文應用層面都不同,基本上除了都是使用無人機與深度學習

外,應用層面都不太相關,深度學習的架構還會因為各自的目的不同而改變,所以

以下比較幾篇運用無人機影像來進行偵測的論文:

[30]採用一種無人機偵測影像,當無人機在接收影像的同時進行偵測,中間並

沒有像本論文分兩種平台,是直接在無人機的系統中,同時進行影像偵測跟無人機

任務執行,也使用了兩種架構去進行偵測,可以明顯地看到雖然使用 SSD 的 FPS

相比使用 Faster R-CNN 的 FPS 高出了一倍多,但是 SSD 的 mAP 平均精度卻只有

達到 72.7% mAP。

圖 41 SSD 物體檢測器[30]
[26] 描述了深度學習對象檢測模型 YOLOv5 在沙漠棲息地中定位、識別單一

植物物種的個體植物的應用。他們在 40 m 高度獲得的無人機圖像中的個體矮熊

罌粟植物來檢測,模型精度和召回率方面則優於人類視覺的罌粟檢測,而且在圖像

質量更高的區域,模型檢測和人類視覺檢測都表現更好,這表明圖像質量是限制模

型性能的主要因素。在文中最後的實驗中有表明原本模型準確度推估到 83%,但

受限於圖像質量,所以導致最後的準確度下降。更仔細的比較論文內容後發現,他

們將偵測高度設定為 40m,以這種高度還能有 78%的準確率,對於本研究來說是

很困難的。在圖 40 中左側(a)的面板來自人口普查圖像,而右側(b)的面板來自同一

區域的驗證圖像。紅色框是模型預測,綠色框被視覺確認為罌粟花。

44
圖 42 模型推理輸出示例[26]
整體論文比較數據陳列在表 10 上,有各篇論文的辨識架構、運算平台、準確

率和設備規格等等相關數據,藉由數據發現本論文的準確率是幾乎勝過其他篇論

文,很大一部分的原因是因為本研究在進行偵測的同時有拿捏好影像畫質的保留,

在後續的應用方式也優於其他論文。表 11 可以看到本論文所使用的架構、影像處

理方式也些並沒有比其他論文高階,但是有合適的數據集和設備支持,才有辦法有

這樣的得此研究結果。

表 11 論文比較表

Rahman et Rahman et
本論文
al. 2018 [30] al. 2021 [26]
SSD
方法 YOLOv4 YOLOv5
Faster R-CNN
Webb Hill
訓練集 自製數據約 1500 張 COCO 數據集 Red Bluffs populations
自定義數據
Webb Hill
測試集 自製數據約 500 張 COCO 數據集 Red Bluffs populations
自定義數據
20 種
訓練對象 1 種(停車格) (貓、狗…等 COCO 8 種(各品種罌粟)
數據預設對象)
平台 Ubuntu 20.04 Linux 2.6.32 未說明
鏡頭 Module V2 未說明 20 MP 相機

45
AMD Ryzen™ 4800H ARM Cortex A8
CPU 未說明
2.9 GHz 1 GHz
GPU GeForce RTX 1660 Ti 無 GeForce GTX 1080
8GB DDR4
RAM 1GB 未說明
8GB DDR4
圖片處理 OpenCV4.5.1 OpenCV3.3 未說明
14 FPS(0.07 秒/張)
速度 20.1FPS(0.05 秒/張) 未說明
6FPS(0.17 秒/張)
準確度 94.2% 72.7% 78%
網頁 有 無 否
後續應用 有 無 否

46
結論與未來展望

6.1. 結論
在本論文當中,提出了一個與其他相關論文研究所不同的方式來實現新的偵

測模式,運用無人機的機動性及任務模式,來模擬管理廣大停車場或是分散的停車

位,有別於固定在定點的停車場監視器,一旦架設後就無法更改位置,無人機的機

動性可以解決這個問題,而且偵測的範圍可以涵蓋到整個無人機飛行的距離。但是

缺點也相對明顯,在千變萬化的天氣中,障礙物干擾與光線角度的變化靠著無人機

的機動性可以彌補到接近無視的地步,但是一遇到下雨,偵測任務會變得相對危險,

定點的停車場監視器雖然也會受到很大的影響但是還是可以執行任務,無人機則

是可能有漏電或是短路的危險,而且會加速消耗馬達的壽命,所以天氣因素無疑是

此種方法的巨大挑戰。但是如果運用得宜,跟傳統感測器比起來,無人機將會是低

成本選擇,能以攝影機架設不到的高度角度管理車位,並可以隨時召回,在未來的

保養與維修都更有優勢。

定位方面,受限於一些網路協定無法透過網頁去獲取非伺服器的資料,沒有辦

法通過電腦端所架設的 FLASK 網頁去直接取得到樹莓派在無人機控制板所抓取

到的無人機 GPS 座標,所以要在網頁上的地圖直接準確的定位無人機位置變的很

困難,雖然可以直接運用 IP 來查找大致座標位置,但這沒有達到一開始設想的功

能,雖然有在樹莓派中通過抓取訊號,並成功直接在地圖顯示精確位置,但離網頁

地圖與精確無人機位置的整合還有一小段距離。

在偵測方面,採用 YOLOv4 來進行偵測,平均得到 94.2%的準確率,以一個

正在移動的情況下進行辨識,準確率是不錯的。此外,透過架設網頁並將資訊上傳,

讓使用者能夠瀏覽網頁停車場車位的即時狀態,可以從附加在網頁上的地圖得知

車位的確切位置,在尋找可用的車位所花費的時間能夠減少,排放的汙染也能夠減

少。總結以上,相信此研究對於環境維護、智慧城市、學術研究等方面的投入是一

47
貢獻。

6.2. 未來展望
本系統的完整性仍可以進一步的優化與整合,未來希望可以往更多功能、更加

便利的方向繼續延伸下去,尤其是 GPS 定位部分,目前可以獲取到的準確 GPS 訊

號,但是卻無法將數值拉到電腦端進行整合是一大遺憾,只能先將相似的功能加入

網頁中。辨識架構方面目前本論文的準確率並沒有達到高精準的範疇,一部分是因

為樣本不多,訓練次數沒有提升上去,另一部分則是無法避免鏡頭晃動,若能將運

算量減小並直接在單一系統上進行偵測和計算會是較理想的狀態,未來無人機的

飛行高度要提高,在低空偵測準確度精準但是不是很符合無人機偵測應有的高度;

後續在辨識架構方面可以在系統中添加物件追蹤、物件計數[31]等功能,這些功能

可以更好的對物件標記、計算數量,計數出的數據會比較好表格化、製圖等。而在

整體運行系統上由於是在網頁上作呈現展示,雖然整體系統影像的運行速度可以

達到 40fps,但是也還沒有達到 Real Time 的速度,而且受限於鏡頭的畫質只能到

30fps,在傳輸的過程中一來一回,導致網頁呈現出來的影像比原影像延遲很多,

希望未來可以優化數值傳輸、處理的流程。此外,期望政府的無人機法規可以修改

再明確一點,為了避免不小心觸反法規,本研究的測試地點與資料收集都是在學校,

期望未來能夠將本論文提出之實驗方法實際運用於停車場,讓駕駛人在停車場不

用再因為尋找車位而花費大量時間,進而促進社會進步、降低環境污染源,替地球

盡一份心力。

48
參考文獻
[1] HYUNJIN JOO, YUJIN LIM, "REINFORCEMENT LEARNING FOR TRAFFIC SIGNAL
TIMING OPTIMIZATION", INFORMATION NETWORKING (ICOIN) 2020
INTERNATIONAL CONFERENCE ON, PP. 738-742, 2020.
[2] AASTHA MAHESHWARI, RAJESH KUMAR YADAV, "ANALYSIS OF CONGESTION
CONTROL MECHANISM FOR IOT", CLOUD COMPUTING DATA SCIENCE &
ENGINEERING (CONFLUENCE) 2020 10TH INTERNATIONAL CONFERENCE ON, PP.
288-293, 2020.
[3] PATIL, P. (2017, MAY). SMART IOT BASED SYSTEM FOR VEHICLE NOISE AND
POLLUTION MONITORING. IN 2017 INTERNATIONAL CONFERENCE ON TRENDS IN
ELECTRONICS AND INFORMATICS (ICEI) (PP. 322-326). IEEE.
[4] ANAGNOSTOPOULOS, C. N. E., ANAGNOSTOPOULOS, I. E., LOUMOS, V., &
KAYAFAS, E. (2006). A LICENSE PLATE-RECOGNITION ALGORITHM FOR
INTELLIGENT TRANSPORTATION SYSTEM APPLICATIONS. IEEE TRANSACTIONS
ON INTELLIGENT TRANSPORTATION SYSTEMS, 7(3), 377-392.
[5] TANG, V. W., ZHENG, Y., & CAO, J. (2006, AUGUST). AN INTELLIGENT CAR PARK
MANAGEMENT SYSTEM BASED ON WIRELESS SENSOR NETWORKS. IN 2006 FIRST
INTERNATIONAL SYMPOSIUM ON PERVASIVE COMPUTING AND APPLICATIONS
(PP. 65-70). IEEE.
[6] MELNYK, P., DJAHEL, S., & NAIT-ABDESSELAM, F. (2019, OCTOBER). TOWARDS
A SMART PARKING MANAGEMENT SYSTEM FOR SMART CITIES. IN 2019 IEEE
INTERNATIONAL SMART CITIES CONFERENCE (ISC2) (PP. 542-546). IEEE.
[7] S. ELAOUAD, S. BENMAKHLOUF, N. TOBAJI, M. A. DMINI AND Y. SALIH ALJ,
"CAR PARKING MANAGEMENT SYSTEM USING AMR-SENSOR TECHNOLOGY",
INTERNATIONAL CONFERENCE ON ELECTRICAL AND INFORMATION
TECHNOLOGIES (ICEIT), PP. 414-418, 2015.
[8] S. MENDIRATTA, D. DEY AND D. RANI SONA, "AUTOMATIC CAR PARKING
SYSTEM WITH VISUAL INDICATOR ALONG WITH IOT", 2017 INTERNATIONAL
CONFERENCE ON MICROELECTRONIC DEVICES CIRCUITS AND SYSTEMS
(ICMDCS), PP. 1-3, 2017.
[9] V. HANS, P. S. SETHI AND J. KINRA, "AN APPROACH TO IOT BASED CAR PARKING
AND RESERVATION SYSTEM ON CLOUD", 2015 INTERNATIONAL CONFERENCE ON
GREEN COMPUTING AND INTERNET OF THINGS (ICGCIOT), PP. 352-354, 2015.
[10] T. PERKOVIĆ, P. ŠOLIĆ, H. ZARGARIASL, D. ČOKO AND J. J. RODRIGUES, "SMART
PARKING SENSORS: STATE OF THE ART AND PERFORMANCE EVALUATION",
JOURNAL OF CLEANER PRODUCTION, VOL. 262, PP. 121181, 2020.

49
[11] M. COULIBALY AND A. ERRAMI, IOT SMART PARKING LITERATURE REVIEW
BASED ON A LAYERED CLASSIFICATION, DEC 2019.
[12] S. S. HENG, A. U. B. SHAMSUDIN AND T. M. M. SAID MOHAMED, "ROAD SIGN
INSTANCE SEGMENTATION BY USING YOLACT FOR SEMI-AUTONOMOUS
VEHICLE IN MALAYSIA," 2021 8TH INTERNATIONAL CONFERENCE ON
COMPUTER AND COMMUNICATION ENGINEERING (ICCCE), 2021, PP. 406-410,
DOI: 10.1109/ICCCE50029.2021.9467206.
[13] ATHIRA, S. LEKSHMI, P. VIJAYAN AND B. KURIAN, "SMART PARKING SYSTEM
BASED ON OPTICAL CHARACTER RECOGNITION," 2019 3RD INTERNATIONAL
CONFERENCE ON TRENDS IN ELECTRONICS AND INFORMATICS (ICOEI), 2019, PP.
1184-1188, DOI: 10.1109/ICOEI.2019.8862517.
[14] R. VÎLCEANU, M. ONIŢA AND A. TERNAUCIUC, "ANALYZING PARKING LOTS
VACANCY DETECTION ALGORITHMS USING MASK R-CNN IMPLEMENTATIONS,"
2020 INTERNATIONAL SYMPOSIUM ON ELECTRONICS AND
TELECOMMUNICATIONS (ISETC), 2020, PP. 1-4, DOI:
10.1109/ISETC50328.2020.9301141.
[15] T. LIN, H. RIVANO AND F. LE MONEL, "A SURVEY OF SMART PARKING
SOLUTIONS", IEEE TRANSACTIONS ON INTELLIGENT TRANSPORTATION
SYSTEMS, VOL. 18, NO. 12, PP. 3229-3253, DEC. 2017.
[16] C. AJCHARIYAVANICH AND T. LIMPISTHIRA, "PARK KING: AN IOT-BASED
SMART PARKING SYSTEM", 5TH IEEE INTERNATIONAL SMART CITIES
CONFERENCE(ISC2), 2019.
[17] MANASE, D. K., ZAINUDDIN, Z., SYARIF, S., & JAYA, A. K. (2020, JULY). CAR
DETECTION IN ROADSIDE PARKING FOR SMART PARKING SYSTEM BASED ON
IMAGE PROCESSING. IN 2020 INTERNATIONAL SEMINAR ON INTELLIGENT
TECHNOLOGY AND ITS APPLICATIONS (ISITIA) (PP. 194-198). IEEE.
[18] ANGGAWIJAYA, Y. M., WENG, T. H., & HERAWATI, R. (2019, OCTOBER).
ENERGY AWARE PARKING LOT AVAILABILITY DETECTION USING YOLO ON TX2. IN
2019 3RD INTERNATIONAL CONFERENCE ON INFORMATICS AND
COMPUTATIONAL SCIENCES (ICICOS) (PP. 1-5). IEEE.
[19] DHURI, V., KHAN, A., KAMTEKAR, Y., PATEL, D., & JAISWAL, I. (2021,
FEBRUARY). REAL-TIME PARKING LOT OCCUPANCY DETECTION SYSTEM WITH
VGG16 DEEP NEURAL NETWORK USING DECENTRALIZED PROCESSING FOR
PUBLIC, PRIVATE PARKING FACILITIES. IN 2021 INTERNATIONAL CONFERENCE
ON ADVANCES IN ELECTRICAL, COMPUTING, COMMUNICATION AND
SUSTAINABLE TECHNOLOGIES (ICAECT) (PP. 1-8). IEEE.
[20] ZHANG, C., & DU, B. (2020). IMAGE-BASED APPROACH FOR PARKING-SPOT

50
DETECTION WITH OCCLUSION HANDLING. JOURNAL OF TRANSPORTATION
ENGINEERING, PART A: SYSTEMS, 146(9), 04020098
[21] ZHANG, L.; LI, X.; HUANG, J.; SHEN, Y.; WANG, D. VISION-BASED PARKING-
SLOT DETECTION: A BENCHMARK AND A LEARNING-BASED APPROACH.
SYMMETRY 2018, 10, 64. HTTPS://DOI.ORG/10.3390/SYM10030064
[22] R. VÎLCEANU, M. ONIŢA AND A. TERNAUCIUC, "ANALYZING PARKING LOTS
VACANCY DETECTION ALGORITHMS USING MASK R-CNN IMPLEMENTATIONS,"
2020 INTERNATIONAL SYMPOSIUM ON ELECTRONICS AND
TELECOMMUNICATIONS (ISETC), 2020, PP. 1-4, DOI:
10.1109/ISETC50328.2020.9301141.
[23] LI, J.Y.Q.; DUCE, S.; JOYCE, K.E.; XIANG, W. SEECUCUMBERS: USING DEEP
LEARNING AND DRONE IMAGERY TO DETECT SEA CUCUMBERS ON CORAL REEF
FLATS. DRONES 2021, 5, 28. HTTPS://DOI.ORG/10.3390/DRONES5020028
[24] ONISHI, M., ISE, T. EXPLAINABLE IDENTIFICATION AND MAPPING OF TREES USING
UAV RGB IMAGE AND DEEP LEARNING. SCI REP 11, 903 (2021).
https://doi.org/10.1038/s41598-020-79653-9
[25] G. V. S. LOHIT, "REFORESTATION USING DRONES AND DEEP LEARNING
TECHNIQUES," 2021 7TH INTERNATIONAL CONFERENCE ON ADVANCED
COMPUTING AND COMMUNICATION SYSTEMS (ICACCS), 2021, PP. 847-852, DOI:
10.1109/ICACCS51430.2021.9442053.
[26] ROMINGER, K.R.; MEYER, S.E. DRONES, DEEP LEARNING, AND ENDANGERED
PLANTS: A METHOD FOR POPULATION-LEVEL CENSUS USING IMAGE ANALYSIS.
DRONES 2021, 5, 126. HTTPS://DOI.ORG/10.3390/DRONES5040126
[27] M. SINGH, G. S. AUJLA AND R. S. BALI, "A DEEP LEARNING-BASED
BLOCKCHAIN MECHANISM FOR SECURE INTERNET OF DRONES ENVIRONMENT,"
IN IEEE TRANSACTIONS ON INTELLIGENT TRANSPORTATION SYSTEMS, VOL. 22,
NO. 7, PP. 4404-4413, JULY 2021, DOI: 10.1109/TITS.2020.2997469.
[28] BOCHKOVSKIY, ALEXEY, CHIEN-YAO WANG, AND HONG-YUAN MARK LIAO.
"YOLOV4: OPTIMAL SPEED AND ACCURACY OF OBJECT DETECTION." ARXIV
PREPRINT ARXIV:2004.10934 (2020).
[29] J. -Y. SUNG, S. -B. YU AND S. -H. P. KOREA, "REAL-TIME AUTOMATIC LICENSE
PLATE RECOGNITION SYSTEM USING YOLOV4," 2020 IEEE INTERNATIONAL
CONFERENCE ON CONSUMER ELECTRONICS - ASIA (ICCE-ASIA), 2020, PP. 1-3,
DOI: 10.1109/ICCE-ASIA49877.2020.9277050.
[30] W. BUDIHARTO, A. A. S. GUNAWAN, J. S. SUROSO, A. CHOWANDA, A. PATRIK
AND G. UTAMA, "FAST OBJECT DETECTION FOR QUADCOPTER DRONE USING
DEEP LEARNING," 2018 3RD INTERNATIONAL CONFERENCE ON COMPUTER AND

51
COMMUNICATION SYSTEMS (ICCCS), 2018, PP. 192-195, DOI:
10.1109/CCOMS.2018.8463284.
[31] S. KUMAR, VISHAL, P. SHARMA AND N. PAL, "OBJECT TRACKING AND COUNTING
IN A ZONE USING YOLOV4, DEEPSORT AND TENSORFLOW," 2021
INTERNATIONAL CONFERENCE ON ARTIFICIAL INTELLIGENCE AND SMART
SYSTEMS (ICAIS), 2021, PP. 1017-1022, DOI:
10.1109/ICAIS50930.2021.9395971.

52

You might also like