cookieOptions = {...}; .深度學習是泡沫嗎?何時會破? - 3S Market「全球智慧科技應用」市場資訊網
2017年11月3日 星期五

Deep Learning SIMPLIFIED: The Series Intro





來源:大数据周刊 作者:薛命灯 



有人在 Quora 上問了一個匪夷所思的問題:「深度學習的泡沫何時會破?」在短短的十幾個小時內,該問題就得到了 18 個回應,而且每個回應都頗有深度。下面的內容翻譯自吳恩達和微軟數據科學家 Tim Scarfe 對該問題的回應。

吳恩達:
在 100 多年前也曾經出現過有關電力的炒作,但那個所謂的泡沫到現在都沒有破,相反,我們現在根本離不開電力!

深度學習為我們帶來了很多價值,它被廣泛應用在多個領域,如 Web 搜索、廣告、語音辨識、推薦系統等,所以毫無疑問,這項技術會與我們同在。深度學習技術與其他人工智慧工具(圖像模型、智慧決策、KR 等)的結合正在改變著我們的各行各業,它的影響力將不僅限於技術行業。

然而,在技術社區之外,人們對」情感人工智慧「似乎給予了過多的期望。我與一些 CEO 聊過這方面的問題,他們把人工智慧當成解決技術問題的靈丹妙藥。看來,在深度學習方面確實存在一些泡沫,我希望這些泡沫在變大之前就破掉,越快越好。

Tim Scarfe(微軟數據科學家,機器學習博士):
我感覺深度學習比預想的要更加普及。深度學習為預測技術帶來了變革,而且在序列建模(如自然語言處理、語音辨識)、局部空間處理(如電腦視覺)和增強學習方面,具備無以倫比的性能。

在很多情況下,深度學習算法的性能,相比之前的「頻率學派」算法,有了階段性的進步。在擁有大數據集的情況下,執行關鍵性預測任務的性能優勢尤為明顯。

  


上圖展示了 ImageNet 電腦視覺檢測技術的快速發展,其中包括 2012 年 Alex Krizhevsky 使用他的卷積神經網路,擊敗了前作。今年,一個來自中國的團隊將錯誤率降低到了 2.2%,看來這場競賽似乎要告一段落了。

我們也看到過去 8 年多在語言處理和語音辨識方面出現了類似的進步。今年,微軟通過基於 CNN 和雙向 LSTM 的架構實現了語音辨識的 human parity。


人們常說這些要歸因於過去 10 年的數據大爆炸和計算大爆炸。實際上,這些大爆炸就是性能,得到大幅提升的主要推動力,而人工神經網路不過是一項古老的技術。我不認為我們會在這兩方面停下腳步,不是嗎?


  

不過我想說的是,這不僅僅是一次思維的轉型,或僅僅是一種全新的編程方式。

1.更少地強調特徵提取
在古老的頻率學派架構裡,數據科學家需要掌握一些領域知識來完成特徵提取。所有的算法都用來解決優化問題,這些問題與特徵是混雜在一起的。

這並不是說深度學習架構,就不包含領域知識,圖像的 CNN 模型局部空間依賴,和 RNN 模型臨時依賴不就是嗎?關鍵的差異在於,NN 模型會自己學習表徵層次,而這些表徵在很多情況下可以很好地工作。

2.新奇預測(novel prediction)架構
我想,我們現在的優勢,是可以在一個框架內搭建出一個端到端的新奇預測架構,而且可以很快地訓練模型,並在雲端操作模型。

在以前,我們需要回歸和分類算法,而現在我們使用預測架構。

  

上面的圖片展示了物體的分割和局部化網路——Mask R-CNN。請留意我們是如何使用 CNN 來檢測圖像特徵的,我們有一個區域提議網路(region proposal network)和該區域內的掩膜回歸(mask regression),它們都處於同一個網路內。

任何一個熟悉深度學習工具包,和雲端人工智慧訓練平台(如微軟 Azure)的人都可以重現、訓練和操作這些東西。

深度學習實際上是一種新型的編程模式,也被稱為「可微編程(differentiable programming)」。

3.創新架構正在出現
這個可以參考 GAN 或混合專家(Mixture of Experts)模型。

4.業界在擁抱深度學習和創新
微軟和谷歌已經在他們的雲端,安裝了一些硬體,來加速深度學習,也因為深度學習與生俱來的靈活預測架構,得到了廣泛的應用。這一領域或許有點炒作過度了,但對於創新來說是一件好事,因為每個人都被調動起來了,變革的速度在加快。

5.超越深度學習
我並不認為我們剩下的只有深度學習。我個人相信基於模型的貝葉斯機器學習,可能會回歸,因為它可以在有效數據不足的情況下,對真實世界的領域知識進行建模,而深度學習需要大量的數據!

康橋科技 —— 白光攝影機專業廠商!

                                                                                                                                                                                                                 

0 意見: