?

基于深度卷積對抗神經網絡的多狀態自適應人臉識別方法

2019-11-07 11:11:17 移動通信 2019年9期

波斯波利斯vs吉达阿赫利 www.torhrd.com.cn

杜翠鳳 溫云龍 李建中

【摘? 要】針對佩戴口罩或者墨鏡的交通違法人員難以采用常規的人臉識別方法識別的難題,采用深度卷積對抗神經網絡生成外部組件的可視化特征向量的集合,結合特定人臉特征,形成多狀態自適應的人臉特征表示。該技術實現從對象到場景的人臉特征分層表示,實現配搭口罩或者墨鏡等場景下交通違法人員的人臉識別功能,提升執法的效率。

【關鍵詞】深度卷積對抗神經網絡;多狀態;自適應;人臉識別

doi:10.3969/j.issn.1006-1010.2019.09.014? ? ? ? 中圖分類號:TP391.41

文獻標志碼:A? ? ? ? 文章編號:1006-1010(2019)09-0075-04

引用格式:杜翠鳳,溫云龍,李建中. 基于深度卷積對抗神經網絡的多狀態自適應人臉識別方法[J]. 移動通信, 2019,43(9): 75-78.

A Multi-state Adaptive Face Recognition Method Based on

Deep Convolutional Adversative Neural Network

DU Cuifeng, WEN Yunlong, LI Jianzhong

[Abstract]?Aiming at the difficulty of face recognition for traffic offenders wearing masks or sunglasses, a deep convolutional adversative neural network is used to generate a set of visual feature vectors of external components, and a multi-state adaptive face feature representation is formulated by combining specific face features. This technology realizes the hierarchical representation of facial features from objects to scenarios, and implements the face recognition function of traffic offenders in scenarios wearing masks or sunglasses, and thus improves the efficiency of law enforcement.

[Key words]deep convolutional adversative network; multi-state; adaptive; face recognition

1? ?引言

自從2014年Ian Goodfellow創造性提出了生成對抗網絡之后,生成對抗網絡得到大量學者的關注。這種生成對抗神經網絡,能夠將大量無標注的圖片進行學習,并形成對不同維度的特征進行分層表示,雖然這種從對象到場景、在生成模型和判別模型都能夠學習到不同表示的算法,已經廣泛用于人臉補全的項目,但是還存在一定的缺陷。比如整個人臉進行打碼后,模型通過訓練庫的特征生成一個模型覺得“可靠”的人臉并輸出,結果發現,該圖像的人臉跟真實的人臉還是有差別的。這是因為這種人臉補全技術是基于計算機學習得到的,因此,這種方法不能適應于交通公路佩戴墨鏡的駕駛員識別,因為人臉一旦還原了,可能在眼睛、鼻子、嘴角都發生大的變化,在不同的相似度算法下,這種做法的相似度不到80%,很難滿足實際應用的需求。

為了適應違法交通配搭口罩或者模型等人臉識別的應用的需求,本文提出一種基于深度卷積對抗神經網絡的多狀態自適應特征比對技術,結合深度卷積對抗網絡實現人臉特征多狀態表示,實現從對象到場景的人臉特征分層表示,實現在佩戴帽子、墨鏡以及各種裝飾物等場景下的人臉識別功能。

2? ?“多狀態”人臉識別相關介紹

2.1? “多狀態”人臉識別

人臉的“多狀態”是指由于佩戴墨鏡、口罩、衣帽、耳環等外部組件后所引起的人臉狀態的變化,這些狀態的變化很可能導致人臉部分的特征點不可見或者人臉特征點變化尺度太大,致使模型表現力有限或者模型無法應對復雜的人臉變化模式而失效。通俗一點,就是通過配搭墨鏡、口罩、衣帽、耳環等部件,使得人臉出現復雜、不可預測的變化模式,從而導致常用的人臉識別模型失效。因此,本文針對目前人臉“多狀態”存在的問題,研究一種“多狀態”的人臉識別算法。

“多狀態”人臉識別的定義是將人臉識別的范圍離散化表示為多個狀態部件的模型,采用多個部件的模型組合來描述人臉非線性的變化。人臉圖像中除了有豐富的屬性信息,如姿態、表情、性別等,還包括由于墨鏡、口罩、衣帽、耳環等豐富的部件信息?!岸嘧刺比肆呈侗鶿悸肥腔諶肆呈糶緣男畔?,結合多個不同外部部件的形狀、邊緣、梯度、輪廓等因素,提取人臉細節更加豐富、更有效多樣的特征,提升非線性人臉變化的描述尺度。為了實現“多狀態”人臉識別,本文引用對抗神經網絡模型實現“多狀態”人臉識別。

2.2? GANs的原理介紹

在介紹DCGANs(Deep Convolution GANs,深度卷積對抗神經網絡)[1-2]的原理之前,先介紹GANs(Generative Adversarial Networks,對抗神經網絡)的原理:采用生成器(Generator)生成一張圖片,利用判別器(Discriminator)判斷生成器生成的模型是否是“真實”。如果“真實”,那么說明生成器生成的圖片跟真實的圖片幾乎一樣;否則,判別器將會判斷生成器生成的圖片是“不真實”。生成器和判別器存在“對抗”關系,而且對抗隨著圖片庫的增加而不斷強化[3-5]。

對抗神經網絡的訓練過程如圖1所示。從圖1可知,對抗神經網絡同時訓練兩個神經網絡,第一個神經網絡是生成器,其輸入一般是隨機分布生成的數據。生成器的作用是生成假的圖像,然后通過第二個神經網絡——判別器,結合真實的圖像對計算機生成的假圖像進行判別,將假圖像的“真實”標量采用softmax函數轉換為概率,如果概率為0,即為假圖像,概率為1,表示判別器認為該圖像是“真實的”,順利“騙過”判別器。

對抗神經網絡的訓練過程如下:

首先,考慮一個噪音分布pz,圖1定義一個生成式神經網絡模型G(z),G(z)從一個噪音分布中取樣,獲得一個pG的分布,而真實照片分布定義為pdata,最終,我們希望pG=pdata。

然后,我們考慮另外一個神經網絡模型——判別器D(x),將pG的樣本作為輸入,并給出該樣本取樣自于pdata的概率p。如果概率p接近于1,那么該樣本很大可能是取自于元樣本數據分布pdata;否則,該樣本是“假樣本”。

2.3? 深度卷積對抗神經網絡的原理介紹

2015年,Radford等人提出了深度卷積對抗神經網絡,與GANs不同的地方在于,生成模型G(z)和判別模型D(x)都采用一個卷積神經網絡來實現,而不是一個簡單的神經網絡[6-8]。在DCGANs中,生成式模型如圖2所示。

從圖2可知,當輸入圖片尺寸過小時,生成模型GANs是通過上采樣的方式通過在像素之間進行插值進行擴展,當擴展到設定的尺寸時再進行卷積處理,那么輸出的尺寸就會比原來的大。

而判別模型D(x)也是一個深度卷積網絡,判別模型輸入是生成模型的輸出,經過一系列卷積的操作,最后得到是1×1的輸出結果,也就是概率p。如果概率p接近于1,那么生成模型生成的圖片特征相當接近真實圖片的特征;否則,生成模型生成的圖片特征與真實圖片的特征存在一定的差異。

判別模型的判斷過程如圖3所示。

3? ?基于深度卷積對抗網絡的多狀態自適

應人臉識別流程

對抗網絡就是通過生成器和判別器的對抗訓練,生成器最后生成一個與真實照片的分布pdata差不多的分布pG,這些圖片特征的分布在深度卷積對抗網絡中,特征提取最終體現為64×64×3卷積特征圖。通過這種訓練的原理,可以認定,博弈最終的結果是:采用深度卷積對抗神經網絡,能夠將大量無標注的圖片進行學習,并能夠對不同圖片中的外部組件進行特征表示。那就意味著,深度卷積對抗神經網絡能夠對大量“多狀態”的人臉進行學習,并形成外部組件的可視化特征向量的集合[9-10]?;謖庵炙枷?,本文通過深度卷積對抗神經網絡構建一個多狀態自適應的人臉特征庫:通過提取外部組件的特征向量后,結合特定人臉(證件照或其他存儲在服務器的人臉照片),構建有助于人臉分類的“多狀態”自適應的人臉庫——包括人臉器官和外部組件特征點的特征分量,實現“多狀態”人臉的比對技術,實現人臉識別的功能。具體的流程如下:

(1)“多狀態”人臉采集

不同“多狀態”人臉圖像通過攝像鏡頭采集得到,比如墨鏡、口罩、帽子、耳環等部件形狀和大小不一的人臉圖像。針對采集的圖像,結合圖像大小、圖像分辨率、模糊程度以及采集角度,采用Adaboost實現“多狀態”人臉的檢測,實現人臉位置和大小的標定,并把有用的信息篩選出來。

(2)“多狀態”人臉預處理

由于從外界的獲取的圖像收到各種噪音的干擾,往往不能直接用于人臉識別,因此需要對圖像進行灰度校正、噪音過濾等,通常的做法就是采用灰度變換、直方圖均衡化以及濾波等方式對人臉圖像進行處理。

(3)“多狀態”人臉特征提取

采用深度卷積對抗神經網絡的方式實現“多狀態”人臉的特征提取?;贒CGANs的無監督學習能力,采用深度卷積對抗神經網絡在生成器實現人臉外部件的特征表示。雖然輸入深度對抗神經網絡生成器最終生成的每一種物體的圖像表征都是64×64×3的特征圖,但是特征圖中不同的數字對應著不同的物體,通過將物體的形狀、顏色、尺寸的大小進行分類,便于后期構建多狀態自適應特征庫。

(4)構建“多狀態”特征人臉庫

根據證件照人臉器官的形狀描述,以及深度對抗神經網絡生成器所得到的人臉外部組件的特征,獲得有助于人臉分類的特征數據,其特征分量通常包括人臉器官和外部組件特征點之間的歐氏距離、曲率、角度,形成“多狀態”人臉特征表示,以其作為多狀態自適應特征的人臉庫。

因此,采用深度卷積對抗神經網絡,實現了從人臉對象到不同場景自適應的人臉分層、多狀態的表示,形成一個特定的人臉在多種不同狀態下(比如佩戴黑色原形墨鏡及佩戴白色口罩)的人臉特征表示,形成特定人臉(證件照或其他存儲在服務器的人臉照片)在多個外部組件組合情況下的多種狀態的人臉特征表示?;諫鮮齙畝嘧刺肆潮硎?,構建“多狀態”自適應特征的人臉庫。

(5)“多狀態”人臉匹配與識別

通過提取“多狀態”人臉特征數據與數據庫中存儲的“多狀態”自適應特征人臉庫進行搜索匹配,通過設定一個閾值,將相似度與閾值進行比較,來對“多狀態”人臉身份信息進行判斷,形成最終的人臉比對結果。

4? ?實驗結果

4.1? 數據預處理

訓練深度卷積對抗神經網絡的數據在AR人臉庫上公開采集,包含50名男性和50名女性的人臉圖像,每人有26張圖像,其中佩戴太陽鏡和圍巾的有12張人臉圖像。本文隨機選取1 000張“多狀態”人臉數據進行模型訓練,然后再隨機選取500張“多狀態”人臉數據進行測試,以檢測本文提出模型對多狀態人臉的比對能力。

訓練深度卷積對抗神經網絡時,由于不同人臉圖片拍攝的角度不一致,因此抓拍到的人臉尺寸可能存在不一致的現象,因此需要先對人臉進行檢測,得出人臉檢測框后,將人臉框的圖像統一轉換為24×24。除此之外,并將正樣本和負樣本的比例設為1:1。

4.2? 與傳統算法的比較

為了更直觀體現本文方法的優勢,本文對比了采用深度卷積對抗神經網絡將人臉補全方法,也就是通過深度卷積對抗神經網絡將遮住人臉的位置進行補全后,再進行人臉識別。從表1的結果可知,本文提出的方法在上述測試集上的準確率為75.87%,遠高于傳統的人臉補全方法,本文的模型具有一定的優勢。與此同時,本文提出的方法的處理速度也有一定的提升。主要是因為傳統的方法需要采用人臉補全技術對遮住部位的特征進行補全,而本文提出的方法僅僅是檢測物體的特征,然后在多狀態自適應特征庫中直接進行比對,因此大大簡化了計算的復雜度。

5? ?結束語

本文提出了一種深度卷積對抗網絡的多狀態人臉檢測方法,采用深度卷積對抗神經網絡的對抗訓練實現從對象到場景的分層表示后,結合特定用戶的證件照構建多狀態自適應特征人臉庫,最后采用特征余弦相似度實現多狀態特征下人臉的比對。該方法在公司的人臉識別平臺上取得了良好的檢測效果和運行效率,從本文的實驗效果可知,本文提出的模型能夠快速、準確、自適應識別多狀態人臉,具有一定的擴展性。

參考文獻:

[1] 于波,方業全,劉閩. 基于深度卷積神經網絡的圖像重建算法[J]. 計算機系統應用, 2018,27(9): 170-175.

[2] 柯研,王希龍,鄭鈺輝. 深度卷積生成對抗網絡結構[J]. 電子技術與軟件工程, 2018(24): 21-22.

[3] 劉彬. 基于對抗深度學習的人臉檢測研究[D]. 青島: 青島科技大學, 2018.

[4] 洪洋,葛振華,王紀凱,等. 深度卷積對抗生成網絡綜述[C]//第18屆中國系統仿真技術及其應用學術年會(18th CCSSTA 2017). 中國自動化學會系統仿真專業委員會,中國系統仿真學會仿真技術應用專業委員會, 2017.

[5] 李炬. 基于生成對抗網絡的人臉灰度圖上色[J]. 電腦知識與技術, 2018,14(11): 185-187.

[6] 馬玉琨,MA YuKun,毋立芳. 一種面向人臉活體檢測的對抗樣本生成算法[J]. 軟件學報, 2019,30(2): 469-480.

[7] 桑亮,高爽,尹增山. 基于生成對抗網絡的運動模糊圖像復原[J]. 計算機工程與應用, 2019,55(6): 179-183.

[8] 張營營. 生成對抗網絡模型綜述[J]. 電子設計工程, 2018,26(5): 34-37.

[9] 唐賢倫,杜一銘,劉雨微,等. 基于條件深度卷積生成對抗網絡的圖像識別方法[J]. 自動化學報, 2018,44(5): 90-99.

[10] Kuadra Leal Hanna. 基于深度卷積神經網絡的圖像超分辨率[D]. 大連: 大連理工大學, 2018.

?