動態影像追蹤於元件組裝檢測之研究

doi:10.6679/TANET.2016.236
TANET2016 臺灣網際網路研討會, 2016, 2016

作者/Author： 曾建澔;邱韻宇;陳倫奇;吳志泓;林芳邦

頁數/Page： 1333-1337
出版日期/Publication Date：2016/11
引用本篇文獻時，請提供DOI資訊，並透過DOI永久網址取得最正確的書目資訊。
To cite this Article, please include the DOI name in your reference data.

請使用本篇文獻DOI永久網址進行連結:
To link to this Article:

http://dx.doi.org/10.6679/TANET.2016.236

DOI是數位物件識別碼（Digital Object Identifier, DOI）的簡稱，

是這篇文章在網路上的唯一識別碼，
用於永久連結及引用該篇文章。

若想得知更多DOI使用資訊，
請參考 http://doi.airiti.com

For more information,

Please see: http://doi.airiti.com
 TANET 2016 臺灣網際網路研討會論文集

動態影像追蹤於元件組裝檢測之研究
曾建澔1 邱韻宇2 陳倫奇1 吳志泓1 林芳邦1
1
財團法人國家實驗研究院國家高速網路與計算中心
2
東海大學
c00how00@nchc.narl.org.tw

摘要 model consists of objects extraction using the

Gaussian mixture model, color feature extraction, and
moving object tracking method based on the Kalman
本研究以動態影像追蹤技術為基礎，探討元 filter. The results of this study show that the proposed
件於組裝流程之程序檢測作業。一般而言，傳統 model can effectively track product assembler’s
工廠於零件組裝皆需要大量作業人員進行產品組 behavior to reduce human error and cost.
裝及測試等相關程序，但是產品元件組裝過程是 Keywords: Motion tracking, Gaussian mixture model,
相當複雜且繁瑣的，故當組裝員在生產線上長期 Component assembly, Kalman filter.
作業時，容易產生疲憊而發生組裝程序錯誤，因
此造成後續生產線之產品良率受到影響。針對此 1. 前言
議題，本論文將利用動態影像追蹤進行元件組裝
程序檢測，以提升產品組裝良率之方法。 隨著數位監控系統迅速的發展，人們對於視
由於，元件組裝程序是反覆且固定的，因 訊監控的需求與模式逐漸被改變。一般而言，傳
此，透過電腦視覺技術連續對運動元件進行即時 統的監視系統主要設置於公共的重要場所，例
追蹤與流程檢測。本文提出運用卡爾曼濾波器對 如：道路、賣場、公辦大樓…等，且監視系統僅
移動目標做位置預測及追蹤計算，以達到監測元 能事後調閱作用，對於事件發生時，需在此巨量
件安裝程序的生產過程。本系統主要分為三個部 影像資料逐一檢索，而造成時間與人力成本的負
分：第一部分為元件前景分割，透過建置高斯混 擔。然而，隨著電腦視覺與影像分析技術快速的
合模型建立影像背景，提取元件移動目標物；第 發展，使得智慧監控系統已被廣泛應用於生活場
二部份色塊特徵提取，利用元件色彩屬性進行目 合，例如：居家、工廠、照護或學校安全監護等
標物件顏色特徵分析；第三部份則是利用卡爾曼 [1]。
濾波器針對元件色塊區域進行目標物路徑追蹤與 因此，透過前端成像設備擷取即時影像，透
預測估算。實驗結果顯示，本研究提出之動態元 過電腦視覺與影像分析針對特定目標進行資料分
件影像追蹤系統，可以有效監測並記錄元件組裝 析與回饋，可有效達到安全監控與防護之目的。
程序之移動軌跡，提升組裝員產品安裝與生產過 其中，影像偵測和追蹤兩大技術被廣泛應用在安
程之良率品質，以降低錯誤元件成本損失。 全監控的相關領域，包含：主動性入侵偵測、保
全監視系統、廠域監控系統等[2, 3]。透過這些影
關鍵詞：動態追蹤、高斯混合模型、元件組裝、 像分析技術可有效解決人為監視的疏失，同時，
卡爾曼濾波器 亦能降低人力成本。因此，如何應用電腦視覺和
影像分析技術於視訊監控領域已嚴然成為一項熱
門的研究議題。
Abstract
然而，在傳統產業製程過程中，需要雇用大
The process of product assembly is a quite 量組裝員進行生產線連續且長期的元件組裝作
complex and lengthy in a manufacturing plant and an 業，對於產品組裝過程需長時專注且安裝程序相
error probably occurred in the sequence assembly 當複雜，故容易造成組裝員精神疲倦，而發生安
program while the product assembler work long hours 裝程序錯誤，尤其是高精密組裝之元件，更易發
in the product line. To improve product yield, it is 生。因此，為了有效提升每一位組裝員對於元件
necessary to develop an automatic monitoring system 組裝之可靠度與流程，故運用影像分析技術以達
as soon as possible to reduce errors in manufacturing. 到自動化元件偵測與追蹤的監視系統，方可對於
In this study, an image detection and recognition 產品元件組裝之檢測穩定性及提高產品之良率
model for moving object based on the Kalman filter is [4]。一般工業影像檢測過程，通常透過機器視覺
proposed. The Kalman filter method was employed to
技術將料件的影像資訊進行分析，取得物件重要
conduct a tracking and prediction analysis on the
position of motion objects in order to monitor and 資訊後，運用影像處理技術依據不同功能進行計
verify the sequence assembly program. The proposed 算。而機器視覺與人工檢測最大的差異在於人工

1333
 TANET 2016 臺灣網際網路研討會論文集
視覺無法連續且一致性的判斷同樣物件，而機器
視覺則可達到且更有效率。
電腦視覺研究領域中，目標物追蹤一直是非
常重要的議題，因為它是許多電腦視覺應用必須
面對的問題，例如：光線的變化、物件遮蔽、目
標快速移動等問題。近年來，許多研究人員投入
此領域，使得數位式監控系統從原本只適用於單
純環境，逐漸發展應用到真實且複雜之環境，並
達到準確且可靠的視訊監控品質。
Stauffer 和 Grimson 提出混合式背景方法，透
過建立背景影像模型進行物件偵測與追蹤[5]。假
設監視場域固定的情況下，透過多個高斯分布建
立高斯混合模型以作為背景模型，並隨著時間序
列進行模型參數更新以維持背景模型之可適性，
利用背景模型偵測每一序列影像之前景資訊，以
有效對移動物件進行的軌跡追蹤。後續，運用混
合背景模型之相關研究仍有研究學者提出改良之
演算。Comaniciu 和 Meer 依據目標物平均位移
（Mean Shift）來追蹤目標物體[6]，透過統計移動
區域之目標物體顏色直方圖做為特徵模型，運用
該模型不斷地在影像中搜尋相似區域以達到追蹤
效果。但是該方法因採用目標物體顏色最為追蹤
特徵，故容易受到複雜背景之影響，而造成錯誤
追蹤。針對物體動態追蹤技術而言，卡爾曼濾波
器（Kalman Filter）運用運動模型遞迴最佳估算之
概念，透過估計動態系統模型之狀態向量，不斷
地進行預測與校正演算，以達到物件追蹤估測。
在系統預測階段，系統依據前一時刻的預測狀態
進行當前目標狀態估計；量測校正階段，則是根
據量測值對當前狀態之預測狀態進行更新，已獲
得最佳化之狀態向量。
因此，為了降低上述對於工業元件檢測與追
蹤過程所產生之錯誤資訊，本研究提出利用目標
顏色特徵整合卡爾曼濾波器追蹤系統[8, 9]，分別
以高斯混合模型、元件色塊特徵、卡爾曼濾波器
追蹤技術三個方法進行元件目標追蹤，來解決包
含：(1)目標物與背景顏色相似，(2)發生交錯遮蔽
之情形的問題，以確保在長時間進行元件組裝監
視與組裝軌跡追蹤能有更好的效能。實驗結果顯
示，利用本文提出之動態元件偵測與追蹤系統，
可有效監測元件組裝之程序，並記錄安裝過程之
移動軌跡。
2. 影像分析技術
自動化影像監測系統中，首要面對的問題是
環境光源影響。在生產線之工作平台環境下，易
受到工廠日光燈或是貨物陰影造成監視影像光影
劇烈變化，因此，如果採用傳統的背景相減法
（Background Subtraction），將無法有效地偵測前
景元件的型態，導致後端色彩特徵與追蹤系統誤
判之可能性。
1334
2.1 高斯混合模型
針對背景模型建置過程，依據背景像素值容
易受到許多干擾之因素，例如：日光折射、光照
變化等，假設此像素變化之過程呈現常態機率分
佈，而利用高斯分布函數描述此影像背景之變化
量。然而，在複雜環境下，影像色彩分佈不僅只
在同一區域附近變動，而是有多個像素變化量之
區域呈現（例如：燈光閃爍、陰影變化、晃動的
物體等)，因此，須採用多個高斯分佈來模型化背
景影像，以滿足當前影像背景之變化情況。
高 斯 混 合 模 型 （ Gaussian Mixture Model,
GMM）是利用多個高斯分佈，以線性組合而成。
針對影像像素值變化建立 k 個高斯分布，其分析與
統計該像素隸屬於背景或是前景資訊，並同時判
斷像素變化更新模型之參數，故 GMM 對於動態影
像之背景具有良好的強健性。然而，建置 GMM 有
三大主要參數，分別為平均值（Mean）表示高斯
函數每一像素值在影像空間的中心位置；共變異
矩陣（Covariance Matrix）則描述像素值變化之分
布範圍；混合權重（Mixture Weights）表示各個高
斯函數的重要分布性，因此，越常出現的像素值
高斯分佈權重則較高。
針對背景影像像素分析，皆透過相關參數進
行描述，如式(1)所示：
λ = {wi , µi , Σ i }, i = 1,2,..., M (1)
其中 wi 、 µ i 、 Σ i 分別為混合權重、平均向量及
共變異矩陣， M 表示高斯分佈的個數。假設影像
資料為 N 維空間分布， X N = { X 1, X 2 ,..., X N } ，則
GMM 相關表示如式(2)及式(3)所示：
M
P( X N | λ ) = ∑ wiη ( X N , µi , Σi ) (2)
i =1
−1
η ( X N , µi , Σi ) =
1 1
exp{− ( X N − µ i )T ∑ X N − µ i } (3)
2p σ i 2 i
η ( X N , µi , Σi ) 為第 i 個高斯分布之機率密度函數，
M
其混合權重滿足 ∑ wi = 1 。
i
2.2 模型參數定義
由於 M 指的是高斯函數的數目，針對簡單的
室內環境，高斯模型個數則不需設置過大即能有
效的描述背景，一般模型數目大概設定為2。倘
若，針對複雜性的室外場景，因需要容許多種背
景特性的變化可能，因此，需透過建置多個高斯
模型進行混合，通常設定在3至5之間。高斯混合
模型的建置與執行流程大致如下：
一、 初始化高斯模型
二、 更新高斯分布模型參數
 TANET 2016 臺灣網際網路研討會論文集

三、 更新權重值、平均值與變異數 Pk−+1 = Φ k Pk ΦTk + Q k (7)

四、 估計背景模型
量測更新部分，根據預測部分估計出的結果
來偵測物體的位置，並計算預測結果與真實狀態
2.3 卡爾曼濾波器 的差異，再加以修正誤差，公式如下：

卡爾曼濾波器為 Rudolf Emil Kalman 在1960年 [

K k = Pk− HTk H k Pk− HTk + R k ]
−1
(8)
提出[7]，依據 Wiener 的數學理論加以設計，成功
地推導出一套線性濾波的遞迴公式，其研究成果 ˆ =X
X k
ˆ − +K Z −H X
k k k (
ˆ−
k k ) (9)
發表在著名期刊，並將其命名為卡爾曼濾波器
Pk = (I − K k H k )Pk− (10)
（Kalman Filter，簡稱 KF）。卡爾曼濾波是利用
遞迴的方式，將前一時刻狀態的預測值和當前狀 其中K k 為卡爾曼增益 (Kalman Gain)，式(8)計算完
態的量測值，進行推算出當前狀態的估測值，因 卡爾曼增益後，利用式(9) 由測量值Zk 來更新狀態
此不需要儲存大量先前的量測數據。 預測，最後式(10)更新誤差協方差，再將更新校正
卡爾曼濾波器主要的功能是預測動態系統狀 後的預測值，傳到時間更新的部分做遞迴。
態，運作方式可分為兩大部分：系統預測和量測
更新，透過不斷地遞迴演算來求解最佳解，演算 3. 研究方法
流程如圖1所示，透過修正系統狀態量測誤差及估
測系統變化，提供系統參數一個最佳估測值。假
針對本論文所提出動態元件影像追蹤系統之
設一待估測之線性離散系統狀態模型及量測狀態
方法與系統架構流程，如圖2所式，架構大致分為
模型表示為：
三個區塊執行，分別為高斯混合模型、色塊特徵
X k +1 = Φ k X k + w k (4) 及卡爾曼濾波器，相關區塊說明分述如下。

Zk = H k Xk + v k (5)

其 中 X k 為 在 k 時 刻 的 系 統 狀 態 向 量 （ State
Vector）， Φ k 為在 k 時刻的狀態轉移矩陣（State
Transition Matrix）， w k 為在 k 時刻之系統狀態雜
訊，假設一均值為零之高斯分佈白雜訊， Z k 為在
k 時刻之量測向量（Measurement Vector）， H k 為
在 k 時刻之量測矩陣（Measurement Matrix）， w k
和 v k 分別為在 k 時刻之系統狀態雜訊和量測狀態
雜訊，假設均值都為零之高斯分佈白雜訊。

圖2 動態元件影像追蹤架構

3.1 元件目標追蹤

首先本研究的目標組裝元件皆具備特定的色
彩分布，因此，必須針對前景元件目標進行顏色
定義，由於顏色在影像中以 RGB 呈現無法清楚辨
認出顏色的差異，故將 RGB 轉為 HSV 的色彩空
間。因為 HSV 色彩分布具有較強的感知度，並由
HSV 的 H （ 色 相 ） 當 作 顏 色 特 徵 ， 透 過 H
（0°~360°）的分佈將各種顏色辨認出來，表1為 H
圖1 卡爾曼濾波演算流程
值分布與顏色之對照表。
系統預測部分，乃利用動態系統方程式預測
然而，在 HSV 色彩空間中，除了 H 值通道的
下個離散時間點可能的系統狀態：
色彩分辨外，組裝元件對於飽和度（S）亦需要做
ˆ− =Φ X
X ˆ (6) 定義，通常範圍為50~100（s > 0.5 & s < 1） 。
k +1 k k
透過定義元件色彩區塊，提取元件對於彩度

1335
 TANET 2016 臺灣網際網路研討會論文集

資訊特徵後，即運用卡爾曼濾波進行時序遞迴計 表 3 影片一實驗結果（影像序列由上至下）
算，由推測及更新兩步驟來預測元件位移的位
置，並記錄行徑軌跡，以便監測產品組裝過程是
否正確。
表 1 色相值對應顏色分布
顏色 色相 Hue 值分布
(0°~18° & ( h > 0 & h < 1/20 ) | ( h > 5/6
紅色
300°~360°) &h<1)
橘色 (19°~33°) ( h > 19/360 & h < 11/120 )
黃色 (34°~ 69°) ( h > 17/180 & h < 23/120 )
綠色 (70°~180°) ( h > 0.19 & h < 0.5 )
藍色 (180°~240°) ( h > 1/2 & h < 2/3 )
紫色 (245°~300°) ( h > 2/3 & h < 5/6 )

4. 實驗結果與分析 (a) (b) (c)

為了驗證與測試本論文開發的動態元件影像 由表4實驗影片序列分別為frame 60th 、80th 、

追蹤系統，在元件組裝情境使用了三種測試情況 100 、 120th 結 果 顯 示 ， 圖 (a) 為 影 片 二 的 追 蹤 影
th

進行分析。而本實驗環境使用 Intel(R) Core(TM) 像，可看出雖然交叉過程造成橘色元件被藍色元

i7，記憶體16.0GB，開發程式為 Matlab R2008a。 件遮蔽，且追蹤軌跡有點不規則，但依然可以對
因對應組裝過程之工作平台，皆使用單一顏 橘色元件進行追蹤，兩個物體並不會因為交叉而
色為背景，而元件追蹤實驗使用三種情境影片， 產生追蹤錯誤。此外，圖(a)的frame 60th 橘色元件
包括： 因受到工作台燈光反射，而造成白光區塊，使得
影片一：橘色與藍色兩種元件的物體平行前進。 相對應的圖(b)前景影像造成缺塊現象。圖(b)為前
影片二：橘色元件在下，藍色元件在上交叉前 景橘色元件二值影像，因為藍色元件遮蔽橘色元
進。 件而造成缺塊現象，但透過此二值影像找到的位
影片三：藍色物體在下，橘色物體在上交叉前 移中心點，使得物體不在是圓形而記錄出不規則
進。 的追蹤軌跡；圖(c)為前景藍色元件二值影像，因
三種測試情境影片如表2說明： 為此物體在上方，所以前景二值影像是完整的圓
表 2 實驗影片情境說明 形。

影片一 影片二 影片三 表 4 影片二實驗結果（影像序列由上至下）

frames 190 134 194

橘色元件在 藍色元件在
兩種組裝元
下，藍色元 下，橘色元
內容 件平行往前
件在上的交 件在上的交
位移
叉前進 叉前進
測試在交叉 測試當物體
測試是否能
的情況下是 被遮蔽時是
目的 同時追蹤兩
否會追蹤錯 否依然可以
種顏色
誤 追蹤

由表3實驗影片序列分別為frame 80th、100th、
120 、 140th 結 果 顯 示 ， 圖 (a) 為 影 片 一 的 追 蹤 軌
th

跡，可看出物體互不干擾，能同時各自追蹤兩種
顏色元件，標識出正確的軌跡。圖(b)為前景橘色
元件二值影像，透過此二值影像找到元件的位移 (a) (b) (c)
中心點，記錄物體移動之追蹤軌跡；圖(c)為前景
藍色元件二值影像。 由表5實驗影片序列分別為frame 40th 、60th 、
80 、100th結果顯示，圖(a)為影片三的追蹤影像，
th

可看出因為橘色元件較大，造成藍色元件的追蹤

1336
 TANET 2016 臺灣網際網路研討會論文集
軌跡會因為完全被遮蔽而偵測不到物體，使得追
蹤軌跡在物體被遮蔽時會出現斷裂。圖(b)為前景
橘色元件二值影像，此物體在上所以二值影像是
完整的圓形；圖(c)為前景藍色元件二值影像，因
為橘色物體較大，造成藍色物體會因為遮蔽而沒
有物體影像畫面。
表 5 影片三實驗結果（影像序列由上至下）
(a) (b) (c)
由於，在元件交錯過程會發生元件相互遮蔽
的問題，導致追蹤軌跡會在遮蔽時沒辦法偵測
到，因此我們藉由卡爾曼濾波器來推測物體遮蔽
時的追蹤軌跡，元件位移預測結果如圖3所示。
圖3 卡爾曼濾波預測位移量
5. 結論
本論文提出動態元件影像追蹤系統，主要可
1337
以分成三個部分，第一部分為前景分割，使用高
斯混合模型建立背景，將移動目標與背景做影像
分割；第二部份是元件色塊特徵，利用色彩特徵
達到追蹤元件移動之路徑；第三部份是利用卡爾
曼濾波器做目標軌跡追蹤，當目標物體遮蔽時而
遺失追蹤軌跡時，利用先前及當前狀態去估測出
移動目標下一刻的狀態位置，以達到完整監測元
件組裝之程序軌跡之目的。實驗結果顯示，透過
電腦視覺與影像分析技術長期監測元件組裝之程
序，並有效追蹤與紀錄元件位移軌跡，可有效對
於後續產品檢測與分析作業，以提升產品製程之
良率品質。
然而，本系統因採用單一色彩元件資訊，對
於複雜性之元件本體，仍有需要強健相關特徵以
便改善追蹤性能。因此，未來擬融合相關影像分
析技術，以發展出一套更強健的元件組裝檢測系
統。
參考文獻
[1] P. V. Kale, and S. D. Sharma, “A Review of Securing Home
Using Video Surveillance,” International Journal of Science
and Research, vol. 3, no. 5, pp. 1150–1154, May 2014.
[2] C. Rougier, J. Meunier, A. St-Arnaud, and J. Rousseau,
“Robust Video Surveillance for Fall Detection Based on
Human Shape Deformation,” IEEE Transactions on Circuits
and Systems for Video Technology, vol. 21, no. 5, pp. 611–
622, March 2011.
[3] M. J. H. Loomans, C. J. Koeleman, and P. H. N. De With,
“Low-Complexity Wavelet-Based Scalable Image & Video
Coding for Home-Use Surveillance,” IEEE Transactions on
Consumer Electronics, vol. 57, no. 2, pp. 507–512, May 2011.
[4] S. Hata, “Tailor-made engineering in image processing
industry,” 17th Korea-Japan Joint Workshop on Frontiers of
Computer Vision, pp. 1–2, Feb. 2011.
[5] C. Stauffer, and W. E. L. Grimson, “Adaptive background
mixture models for real-time tracking,” IEEE Computer
Society Conference on Computer Vision and Pattern
Recognition, vol. 2, pp. 1–7, Jun. 1999.
[6] D. Comaniciu, and P. Meer, “Mean Shift: A Robust Approach
Toward Feature Space Analysis,” IEEE Transactions on
Pattern Analysis and Machine Intelligence, vol. 24, no. 5, pp.
603–619, May 2002.
[7] R. E. Kalman, “A new approach to linear filtering and
prediction problems,” Journal of Basic Engineering, vol. 82,
no. 1, pp. 35–45, 1960.
[8] S. W.Chen, L. K. Wang, J. H. Lan, and J. L. Tu, “Combining
Kalman Filter with Mixture Color Model Tracking of Pallet
Image,” International Journal of Information and Education
Technology, vol. 2, no. 2, pp. 88–93, April 2012.
[9] I, Kim, M. M. Khan, T. W. Awan, and Y. Soh, “Multi-Target
Tracking Using Color Information,” International Journal of
Computer and Communication Engineering, vol. 3, no. 1, pp.
11–15, January 2014.