Convolutional Neural Networks (CNNs) explained
人工智慧之機器學習主要有三大類:1)分類;2)回歸;3)聚類。今天我們重點探討一下卷積神經網路(CNN)算法。
20世紀60年代,Hubel和Wiesel在研究貓腦皮層中,用於局部敏感和方向選擇的神經元時,發現其獨特的網路結構,可以有效地降低回饋神經網路的複雜性,繼而提出了卷積神經網路CNN(Convolutional Neural Networks)。
1980年,K.Fukushima 提出的新辨識機器是卷積神經網路的第一個實現網路。隨後,更多的科研工作者對該網路進行了改進。其中,具有代表性的研究成果,是Alexander和Taylor提出的「改進認知機」,該方法綜合了各種改進方法的優點,並避免了耗時的誤差反向傳播。
現在,CNN已經成為眾多科學領域的研究熱點之一,特別是在模式分類領域,由於該網路避免了對圖像的複雜前期預處理,可以直接輸入原始圖像,因而得到了更為廣泛的應用。
CNN概念:
在機器學習中,卷積神經網路CNN(Convolutional Neural Network)是一種前饋神經網路,它的人工神經元可以響應一部分覆蓋範圍內的周圍單元,可以應用於語音辨識、圖像處理和圖像辨識等領域。
CNN引入意義:
在全連接神經網路中(下面左圖),每相鄰兩層之間的每個神經元之間,都是有邊相連的。當輸入層的特徵維度變得很高時,這時全連接網路需要訓練的參數,就會增大很多,計算速度就會變得很慢。
而在卷積神經網路CNN中(下面右圖),卷積層的神經元,只與前一層的部分神經元節點相連,即它的神經元間的連接是非全連接的,且同一層中某些神經元之間的連接的權重w,和偏移b是共享的,這樣大量地減少了需要訓練參數的數量。
CNN核心思想:
CNN模型限制參數了個數,並挖掘了局部結構。主要用來辨識位移、縮放,及其他形式扭曲不變性的二維圖形。局部感受視野,權值共享以及時間或空間,亞採樣這三種思想結合起來,獲得了某種程度的位移、尺度、形變不變性。
透過「卷積核」,作為中介。同一個卷積核在所有圖像內是共享的,圖像透過卷積操作後,仍然保留原先的位置關係。
CNN實質:
CNN在本質上是一種輸入到輸出的映射,它能夠學習大量的輸入與輸出之間的映射關係,而不需要任何輸入和輸出之間的精確的數學表達式,只要用已知的模式,對卷積網路加以訓練,網路就具有輸入輸出對之間的映射能力。
卷積網路執行的是有導師訓練,所以其樣本集是由形如:(輸入向量,理想輸出向量)的向量對構成的。所有這些向量對,都應該是來源於網路,即將模擬的系統的實際「運行」結果。
它們可以是從實際運行系統中採集來的。在開始訓練前,所有的權都應該用一些不同的小隨機數進行初始化。「小隨機數」用來保證網路不會因權值過大,而進入飽和狀態,而導致訓練失敗;「不同」用來保證網路可以正常地學習。
CNN基本結構:
卷積神經網路CNN的結構,一般包含下面幾層:
1) 輸入層:用於數據的輸入。
2) 卷積層:卷積層是卷積核在上一級輸入層上,透過逐一滑動窗口計算而得,卷積核中的每一個參數,都相當於傳統神經網路中的權值參數,與對應的局部像素相連接,將卷積核的各個參數,與對應的局部像素值相乘之和,得到卷積層上的結果。一般地,使用卷積核進行特徵提取,和特徵映射。
–特徵提取:每個神經元的輸入,與前一層的局部接受域相連,並提取該局部的特徵。一旦該局部特徵被提取後,它與其它特徵間的位置關係,也隨之確定下來;
– 特徵映射:網路的每個計算層,由多個特徵映射組成,每個特徵映射是一個平面,平面上所有神經元的權值相等。特徵映射結構,採用影響函數核小的sigmoid函數,作為卷積網路的激活函數,使得特徵映射具有位移不變性。
此外,由於一個映射面上的神經元共享權值,因而減少了網路自由參數的個數。
卷積神經網路中的每一個卷積層,都緊跟著一個,用來求局部平均,與二次提取的計算層,這種特有的兩次特徵提取結構,減小了特徵分辨率。
3)激勵層:由於卷積也是一種線性運算,因此需要增加非線性映射。使用的激勵函數一般為ReLu函數:f(x)=max(x,0)。
4)池化層:進行下採樣,對特徵圖稀疏處理,減少數據運算量。透過卷積層獲得了圖像的特徵之後,理論上可以直接使用這些特徵訓練分類器(如softmax),但這樣做將面臨巨大的計算量挑戰,且容易產生過擬合現象。
為了進一步降低網路訓練參數及模型的過擬合程度,需要對卷積層進行池化/採樣(Pooling)處理。池化/採樣的方式,通常有以下兩種:a)Max-Pooling: 選擇Pooling窗口中的最大值作為採樣值;b)Mean-Pooling: 將Pooling窗口中的所有值相加取平均,以平均值作為採樣值。
5)全連接層:CNN尾部進行重新擬合,減少特徵資訊的損失。
6)輸出層:用於最後輸出結果。
CNN訓練過程:
1)向前傳播階段:
a)從樣本集中取一個樣本(X,Yp),將X輸入網路;
b)計算相應的實際輸出Op。
在本階段,資訊從輸入層經過逐級的變換,傳送到輸出層。這個過程也是網路在完成訓練後,正常運行時執行的過程。在此過程中,網路執行的是計算,實際上就是輸入與每層的權值矩陣相點乘,得到最後的輸出結果:
Op=Fn(…(F2(F1(XpW(1))W(2))…)W(n))
2)向後傳播階段:
a)計算實際輸出Op,與相應的理想輸出Yp的差;
b)按極小化誤差的方法反向傳播調整權矩陣。
CNN優點:
1) 輸入圖像和網路的拓撲結構能很好的吻合;
2) 儘管使用較少參數,仍然有出色性能;
3) 避免了顯式的特徵抽取,而隱式地從訓練數據中進行學習;
4) 特徵提取和模式分類同時進行,並同時在訓練中產生,網路可以並行學習;
5) 權值共享減少網路的訓練參數,降低了網路結構的複雜性,適用性更強;
6) 無需手動選取特徵,訓練好權重,即得特徵,分類效果好;
7) 可以直接輸入網路,避免了特徵提取和分類過程中,數據重建的複雜度。
CNN缺點
1)需要調整參數;
2)需要大樣本量,訓練最好要GPU;
3)物理含義不明確,神經網路本身就是一種難以解釋的 「黑箱模型」。
CNN常用框架:
1) Caffe:源於Berkeley的主流CV工具包,支持C++,python,matlab; Model Zoo中有大量預訓練好的模型供使用;
2) Torch: Facebook用的卷積神經網路工具包,透過時域卷積的本地接口,使用非常直觀; 定義新網路層簡單;
3) TensorFlow:Google的深度學習框架;TensorBoard可視化很方便;數據和模型並行化好,速度快。
CNN應用場景:
應用場景包括機器學習、語音辨識、文檔分析、語言檢測和圖像辨識等領域。
特別強調的是:CNN在圖像處理和圖像辨識領域,取得了很大的成功,在國際標準的ImageNet數據集上,許多成功的模型,都是基於CNN的。CNN相較於傳統的圖像處理算法的好處之一在於:避免了對圖像複雜的前期預處理過程,可以直接輸入原始圖像。
結語:
卷積神經網路CNN是近年發展起來,並引起廣泛重視的一種高效辨識方法。卷積神經網路,以其局部權值共享的特殊結構,在模式辨識方面有著獨特的優越性,其佈局更接近於實際的生物神經網路,權值共享降低了網路的複雜性,特別是多維輸入向量的圖像,可以直接輸入網路,這一特點避免了特徵提取和分類過程中,數據重建的複雜度。
CNN算法在人工智慧之機器學習、語音辨識、文檔分析、語言檢測和圖像辨識等領域等領域,有著廣泛應用。
0 comments:
張貼留言