cookieOptions = {...}; .以數據清洗為例,聊聊人工智慧的配套服務產業 - 3S Market「全球智慧科技應用」市場資訊網

3S MARKET

3S MARKET
2017年10月25日 星期三

10 Super Neat Ways to Clean Data in Excel




瀚錸科技代理「ForceShield」,採用革命性的「動態應用安全架構」



 來源:脑极体


從商業模式來說,人工智能的相關企業有三種:第一種是提供人工智慧技術的公司,比如機器視覺、NLP等等;第二種是將人工智慧與具體行業應用結合的公司,比如fintech、人工智慧醫療、無人駕駛等等。而還有一種最容易被遺忘:為人工智慧行業服務的公司。

飛速發展的人工智慧產業,很容易讓人看到技術售賣和行業更替中的商業潛力。無論是巨頭還是新晉獨角獸,顯然都在盡力提速,生怕掉隊。

但如此高的產業發展速度,事實上也催生了大量新的需求。這就像汽車的發展雖然盤活了交通運輸,同時也催生了修車業的海量工作機會。


對於人工智慧來說,這一類的機會有很多,比如說:數據清洗。


  

熟悉大數據的朋友應該對數據清理不會陌生,而在以機器學習為主要手段的AI爆發中,數據清洗也有了更重要的價值和愈發豐富的剛性需求。

很多AI創業者,可能忽略了這一環節帶來的成本負荷和產能影響。

什麼是數據清洗
按照慣例,咱們還是先來簡單介紹一下什麼是數據清洗。

數據清洗(Data cleaning)是大數據生產過程中的必須環節。我們知道,大數據發生效用,來自於數據倉庫對大數據的吞吐。但假如輸入了錯誤或者無效的數據,那麼輸出時就會影響效果、產生誤差,甚至造成bug。這些無效和錯誤的數據,被稱為「臟數據」。而數據清洗顧名思義,就是要用各種手段把臟數據標記,並清理出來。


以数据清洗为例,聊聊人工智能的配套服务产业
  

數據清洗包涵多種目標和手段,比如檢查數據一致性、處理無效值、辨識數據衝突等等。並且整個過程包括多重審查、校驗與標注。

我們採訪過的很多大數據機構和雲服務公司負責人,都證實了這樣的說法:數據清洗是成本消耗最嚴重的工作之一。

這項原本就非常吃重的工作,在人工智慧潮中地位也跟著水漲船高了。

舉個例子:AI中的數據清洗為何重要
在今天的主流AI工程化進程裡,機器學習是最廣泛使用的技術。而目前機器學習的主要實現手段是監督學習。

所謂監督學習,是由研發者使用已知數據集,讓智慧體基於標記的輸入和輸出數據進行推理,從而學習到達成目標的路徑,讓自己不斷「聰明起來」。

理論上來說,智慧體學習的數據越多就會越聰明,從而再生產出優質數據進行再學習,這樣就可以不斷完成自我進化。但這種最優狀況,是建立在機器學習的數據都沒錯的情況下,假如其中混雜了錯誤數據,那麼學習得出的結果顯然也是錯的。

更重要的是,機器學習想要達成,必須建立在數據的一致性和體系化基礎上,假如錯誤數據造成了整個數據鏈的割裂,那麼機器學習過程也將終止,就無從談什麼人工智慧了。

舉一個我們熟悉的例子:我們最常用的手機電商中,其實安插了大量機器學習算法來進行個性推薦。因為手機的螢幕顯示量很小,假如推送的電商資訊大多不符合用戶期待,用戶需要一直向下尋找,那麼體驗會很差,也影響電商體系的效率。這裡就需要機器學習來建立用戶個性化推薦模型,提供多種行為下的商品排序特徵。

這個場景中的機器學習,必須建立在優質大數據的基礎上,既要學習目標用戶的數據樣本,也要綜合群體性數據和標籤化數據,進行綜合任務學習。

而電商平台獲取的數據,包括用戶群的點擊、搜索、購物車添加和收藏,以及最終的購買頻次等等。但這些數據中可能摻雜大量的「臟數據」。


以数据清洗为例,聊聊人工智能的配套服务产业
  

比如說用戶點擊後馬上退出來,可能說明是錯誤點擊行為;比如說用戶搜索的關鍵詞中,含有錯別字或者不可知內容;比如說用戶購買後卻普遍差評的商品,這些數據被機器學習後成為邏輯依據,轉而推薦給用戶,顯然是不合適的。

這裡就需要把電商數據系統中的缺漏數據、重複數據、錯誤數據剔除出去,保證機器學習內容的標準化和特徵一致化。這之後剩下的優質數據,才能提供給模型進行訓練。

由此可見,數據清洗在人工智慧的落地實現中,是非常重要的一環。訓練用的數據越多、訓練模型越複雜,對數據清洗的工作需求量就越大。

假如人工智慧飛速發展,數據清洗作為配圖服務工種,卻沒有跟上發展速度,那後果是很可怕的——想想《機器人總動員》裡的小機器人,獨自在垃圾星球中孤獨而無盡的清理著。可以說是很可憐了……

數據清洗中也是亟待AI拯救的行業
這裡說個題外話。如上所述,數據清理是個人工需求繁重、成本極高的工作種類,而且主要是和數據打交道。換句話說,這個工作具備進行人工智慧升級的各種要素。

事實上,AI+數據清洗已經被廣泛關注和討論。目前最主要的結合方式有幾種:

第一種是用機器學習技術訓練,智慧體學習數據清洗的邏輯,從而優化數據清洗中的人工與機器工作分配比重。讓一些人工分類、篩選和標注工作能夠被機器執行,甚至準確率更高。

第二種是結合貝葉斯分類算法。貝葉斯分類是一種利用概率統計知識進行分類的算法,特徵是分類準確率高、速度快,適合快速佈署在數據歸納與統計當中。利用貝葉斯相關算法和技術,進行良性數據和臟數據的區分,也在成為數據清洗的重要手段之一。

此外,其他利用文本辨識算法與辨識技術的AI能力,來進行數據清洗的嘗試也在逐漸增多。比如決策樹、隨機森林的算法都有根據特徵判斷不良數據的能力。算法辨識主要可以增強特定領域的數據分析能力,更快投入實際應用。


以数据清洗为例,聊聊人工智能的配套服务产业
  (數據清洗的基本流程,其中AI主要作用於清洗邏輯環節)


由此可見,數據清洗和人工智慧是互相需要,無法分割的兩類技術。以AI驅動數據清洗效率,反過來為AI體系服務,應該是未來的良性成長週期。

但從現階段的情形看,二者結合任重道遠。

缺口嚴重:AI配套服務產業的普遍現狀
不僅是數據清洗行業,廣泛來看,多種服務於AI硬體、數據和應用體系的配套產業發展,都還遠遠不能達標。這點也是美國整個AI產業結構優於中國的重要環節,當然,即便是在美國,AI產業的發展與配套服務產業的建設速度也是不協調的。

目前來看這可能還不會形成巨大問題,但如果AI創業開始全面提速,個性化需求開始激增,那麼配套設施的落後,很可能成為行業的限制。

以針對AI產業的數據清洗為例,目前這個行業主要是面對大公司和集團企業服務,依舊保持著重度人工投入的勞動密集型特徵。如果需求開始碎片化,服務成本很可能快速提升,成為創業者的成本負擔。

其次,AI數據清洗服務相對集中的產業邏輯,也讓適應創業企業的服務方案變成了稀缺品。一家以垂直領域AI為創業目標的公司,很難找到適合的數據清洗服務。從而不得不獨立搭設數據服務部門,消耗大量精力和人力,也提升了「重新發明輪子」的創業門檻。

另外,傳統雲計算服務的數據清洗邏輯,和人工智慧的結合程度不夠高,也限制了新的算法、模型投入使用時數據服務的跟蹤服務能力。讓很多技術創意較強或者國際引進的技術,在實踐中無法佈署。


以数据清洗为例,聊聊人工智能的配套服务产业
  

數據層面的AI配套服務,主要集中在巨頭手中,對創業群體而言障礙極多。當然這也可能是個新的創業機遇。把巨頭獨佔的AI能力開放和客製化,很可能是AI企業服務中最大的機會之一。

AI是一座金字塔型的商業建築。當然我們喜歡看塔尖上的珠寶,但最下一層沒有人添磚加瓦的話,一切不過永遠流於空談而已。


                                                                                                                                                                                                                 

0 comments: