3S Market deliver Smart and Valuable information for Business
3S Market 傳遞 智慧應用與價值的商業資訊
今日主題 工業4.0、車聯網、智慧城市、經營管理探討
|
3S
Market 最讚報
| |||||
工業4.0與智慧製造
| ||||||
車聯網與智慧車載
| ||||||
經營管理探討
| ||||||
智慧城市與環保
| ||||||
2016年7月22日 星期五
‧ 2016\07\22 3S Market Daily 智慧產業新聞
‧ 為什麼說工業機器人的那雙「慧眼 」 並不聰慧？
leiphone 宗仁
宗仁 黃鑫聯合編輯
過去的工業機器人，在我們眼中一直是一些冷冰冰的自動化設備，但隨著電腦視覺的應用，它慢慢變成了一個有感官、有思維、有情感的新一代工業機器人，並推動著現在對岸中國珠三角、長三角、東北三省那邊轟轟烈烈的機器換人運動。
在此我們請來了李群自動化創始人CEO，以他們創新工業機器人兩年多的體驗，為我們闡述工業機器人的電腦視覺是怎樣的，它對於幫助現在提倡的柔性自動化有何意義，以及現在在應用中遇到的問題。
石金博，李群自動化創始人CEO，香港科技大學ECE博士，師從世界頂尖機器人專家李澤湘教授，對世界機器人先進技術和產業發展模式，有深刻理解與認識。
2011年創立李群自動化，致力於小輕量型工業機器人自主研發；2013年研發出全球首台驅控一體並聯機器人。該機器人高度整合的設計，已陸續被國既與中國本地廠商效仿；領導研發團隊突破高速即時視覺檢測技術等瓶頸，開發出具備世界先進技術水準的Apollo系列，並聯機器人、Artemis系列SCARA機器人，及相關配套產品。
CV在工業機器人上和服務機器人上的區別
其實CV在機器人的應用是從2011年開始，大家逐步在一些電子產品的裝配上，會用到機器視覺。像我所知的海康，原來這些公司用的主要的是影像擷取，並沒有加入視覺的算法。
如果說差別，應該從下面幾個方面來說。
第一個是應用場景。在工業機器人的環境裡，電腦視覺看到的場景是相對單一，比如工業零組件或者材料，或者監控一些操作過程。服務機器人應用場景就要變化很多，比如生活中的場景，比如辨識人的首飾，表情等。
在服務機器人裡面，比如家用機器人、無人機，視覺其實是一個非常重要的導航的工具，利用CV完成對周邊環境的測算和空間建模，還有一個領域是比較典型的，就是監控領域。
第二個是它所起的作用。電腦視覺對機器人來講，無非是解決幾個事情，在工業機器人裡面，可以通過視覺的導引，完成軌跡或者定位的作用。
第三個是精度方面。在工業機器人裡面，電腦視覺的辨識精度，一定是在毫米級以下的，這裡面包括一個靜態的辨識精度，一個動態的辨識精度，靜態指的是相機或者觀測物品相對處在一個靜止的狀態，它這個時候的辨識精度取決於相機的解析度，包括物品的邊緣是否清晰，差異化是否很明確，這個時候精度甚至可以達到微米級以下，服務機器人據我所知，大部分的精度並不會很高，可能會在釐米級以上。
第四個是在工作空間上的範圍。工業機器人的視覺辨識的空間，一種是把相機固定，視覺（相機）的大小，是根據自我的安裝空間，導致視覺的解析度有所限制；但服務機器人的工作空間，我的理解它的工作空間限於電池能持續多久。
第五個是安全性。工業機器人上的視覺部分是要求不太會被人所干擾的，盡量避免人和設備的不必要交互，但在服務機器人上，人和設備的地方非常多，這是視覺是人和服務機器人交互的一個很重要的途徑。另外一個是生命週期，這裡面涉及到我視覺系統裡的光源，相機安裝的可靠性。
那總的來講，電腦視覺在工業機器人和服務機器人最重要的差異，我覺得主要是在精度和可靠性方面。然後剩下的就是，應用場景的專門的功能需求。
Q: 工業機器人機器視覺傳感器最近有什麼新進展？
先簡單地列舉一些視覺在工業機器人裡的應用：用的最多的是辨識物體的位置、方向，然後配合機器人進行抓取，一般精度要到0.01毫米左右。
我認為工業機器人的視覺傳感器，就是工業機器人的整個視覺傳感系統，這裡面考慮的大部分都是可靠性和維護性，在真正的使用中，新的硬體方案或者新的產品，並不是很快就會進行導入的，它都會需要一個長期的檢測過程，我們說的視覺系統一般包含相機、鏡頭、光源，還有一些視覺的處理器，最近幾年Smart camera這種傳感器算是用的比較多的。
Smart camera大部分的用法都會選用一些PC base的用法，最典型的是基恩士、康耐視，或者歐姆龍，他們的視覺最開始都是在PC上，利用對數位相機圖像的採集處理，然後利用一些視覺算法輸出數據，最近幾年，基恩士首先把它的Smart camera，把它大量應用在蘋果公司相關的一些檢測設備中。
這種Smart camera比較好的地方是：它的封裝會會非常緊湊，整個鏡頭非常便於安裝，然後是在算法上進行了大量的簡化，和設備相連的時候，整個設備的安裝和相連非常的便捷。
現在最多的是基於2D的工業相機，但3D的導入會是一個非常明顯的趨勢，3D視覺技術現在達到的精度，以及對於機器人配合的這種要求，目前來說還沒到一個相對成熟的階段，可能還需要一定的時間進行導入。
針對2D的相機，我們在選取的時候，主要會考慮基於怎樣的應用場景，比如被測物體的大小，需要達到的辨識精度，這個部分主要是一些規格上的選取。如果說誰家的相機會更好，我們現在主要是選擇德國和日本的一些相機，比如說德國的IDS，日本的歐姆龍；鏡頭的話主要選擇computar的鏡頭，在這種品質保證的情況下，其實產品大同小異，不會差別太多，可能無非就是在使用和安裝習慣上的差異，以及價格包括貨期，都是很重要的衡量標準。
工業機器人與自己、與人、與環境的交互
這個其實是我們比較擅長的部分。因為我們李群自動化從2013年開始正式做機器人，到現在我們做的最多的事，就是考慮機器人和設備、機器人和視覺，或者和人如何交互。回答這個問題之前，我們需要有一個前提：解決交互問題前，應該是交互雙方有個協議，即交互雙方都可以懂的語言。
這種語言可以簡單可以複雜，可以是一種或幾種，就像即使是兩個語言不通、文化背景不同的人，還是可以通過眼神，或者肢體語言去交流。
如果按照機器、人、和環境，我們分析一下他們所能發出的訊息的形式，和接收的訊息的形式，以這樣的思路來進行。我們以機器人為例，機器可以以什麼樣的形式，來表達出他想要表達的訊息呢？
我們一般可以分兩種。
一種是機器主動想表達的訊息，這時候可能是機器的一個狀態，機器需要告訴別人的一些訊息，我們認為這是一種可控的訊息，一般可以通過網路、介面、I/O、或者是它可以操作的一些動作來表達出來。
還有一類訊息是異常訊息，這一類的訊息其實可能不是機器想要發出的，而是一種被動輸出。什麼叫被動輸出呢？比如，一個機器突然輸出的產品，大量產生異常，或者一個機器跑跑跑，某一個環節、電機要運動，然後發現怎麼都運動不到。還有一種情況是機器做了一種行為，這種行為是不可理解的，或者不是預設的，那我們都認為這確實是機器要發出的訊息，但不是機器主動發出的。
從人的角度來說，人是最高級的生物，可以通過工具發出他想要發出的訊息，比如說他可以通過用戶介面，甚至是一些按鈕的操作，準確的發出他的指令，人也可以通過觸碰，產生一些訊息，比如觸碰一些光柵。在協作型機器人裡，人和機器觸碰，甚至可能代表人，讓機器人停下來這種指令。
環境的訊息其實是最被動的，因為環境是無法主動表達訊息的，它可能是通過來料、出料的異常，甚至是溫度、濕度的變化、甚至突然斷電了，大家也不知道發生了什麼。這些訊息，你做一個簡單的分析，會發現在這種交互過程中，異常訊息是最需要提前做好準備，和回應的方案。
而且同時，人和機器作為兩個可以主動交互的對象，人比較高級，可以辨識、回應幾乎一切訊息，但是人最大的問題在於人會疲勞，人可能會有情緒干擾，導致對訊息判斷的及時性和準確性進行干擾，沒有機器判斷那麼穩定。
機器由於不夠聰明，一定沒有人聰明，這時就會變成機器能把訊息表達得多準確、多全面，其實取決於設計機器的人，希望機械可以做到什麼樣。
回到現在這個問題來說，我想重要的就是異常的訊息，我認為在自動化環節，三方的交互中，如果一切都是沒有意外的，大家都按照預定的節奏和行為來進行操作，那麼交互大可不必，每個人都按照既定要求來做，這其實是最和諧的，實際上意外一定會產生，交互的意義就在於如何處理意外。
這時候就變成了，我們如何感知異常，同時協商出來面對異常的機制，大家交互的協商，最後達到異常的處理，回到原始的軌道。
這裡給大家舉個例子，這裡給家看個我們做的方案：
這是一個非常簡單的生產線上，下料製程的需求，大家可以看到，在圖片左手邊模擬的是一個隧道爐，這實際上是一個手機蓋板非常典型的加工製程，玻璃在進行前端絲印之後，它需要經過隧道爐，完成印刷油墨的製程要求，達到油墨的固定。
CV在工業機器人上和服務機器人上的區別
Q：CV在工業機器人上的應用和服務機器人上的應用的主要區別是什麼？
其實CV在機器人的應用是從2011年開始，大家逐步在一些電子產品的裝配上，會用到機器視覺。像我所知的海康，原來這些公司用的主要的是影像擷取，並沒有加入視覺的算法。
如果說差別，應該從下面幾個方面來說。
第一個是應用場景。在工業機器人的環境裡，電腦視覺看到的場景是相對單一，比如工業零組件或者材料，或者監控一些操作過程。服務機器人應用場景就要變化很多，比如生活中的場景，比如辨識人的首飾，表情等。
在服務機器人裡面，比如家用機器人、無人機，視覺其實是一個非常重要的導航的工具，利用CV完成對周邊環境的測算和空間建模，還有一個領域是比較典型的，就是監控領域。
第二個是它所起的作用。電腦視覺對機器人來講，無非是解決幾個事情，在工業機器人裡面，可以通過視覺的導引，完成軌跡或者定位的作用。
第三個是精度方面。在工業機器人裡面，電腦視覺的辨識精度，一定是在毫米級以下的，這裡面包括一個靜態的辨識精度，一個動態的辨識精度，靜態指的是相機或者觀測物品相對處在一個靜止的狀態，它這個時候的辨識精度取決於相機的解析度，包括物品的邊緣是否清晰，差異化是否很明確，這個時候精度甚至可以達到微米級以下，服務機器人據我所知，大部分的精度並不會很高，可能會在釐米級以上。
第四個是在工作空間上的範圍。工業機器人的視覺辨識的空間，一種是把相機固定，視覺（相機）的大小，是根據自我的安裝空間，導致視覺的解析度有所限制；但服務機器人的工作空間，我的理解它的工作空間限於電池能持續多久。
第五個是安全性。工業機器人上的視覺部分是要求不太會被人所干擾的，盡量避免人和設備的不必要交互，但在服務機器人上，人和設備的地方非常多，這是視覺是人和服務機器人交互的一個很重要的途徑。另外一個是生命週期，這裡面涉及到我視覺系統裡的光源，相機安裝的可靠性。
那總的來講，電腦視覺在工業機器人和服務機器人最重要的差異，我覺得主要是在精度和可靠性方面。然後剩下的就是，應用場景的專門的功能需求。
Q: 工業機器人機器視覺傳感器最近有什麼新進展？
先簡單地列舉一些視覺在工業機器人裡的應用：用的最多的是辨識物體的位置、方向，然後配合機器人進行抓取，一般精度要到0.01毫米左右。
我認為工業機器人的視覺傳感器，就是工業機器人的整個視覺傳感系統，這裡面考慮的大部分都是可靠性和維護性，在真正的使用中，新的硬體方案或者新的產品，並不是很快就會進行導入的，它都會需要一個長期的檢測過程，我們說的視覺系統一般包含相機、鏡頭、光源，還有一些視覺的處理器，最近幾年Smart camera這種傳感器算是用的比較多的。
Smart camera大部分的用法都會選用一些PC base的用法，最典型的是基恩士、康耐視，或者歐姆龍，他們的視覺最開始都是在PC上，利用對數位相機圖像的採集處理，然後利用一些視覺算法輸出數據，最近幾年，基恩士首先把它的Smart camera，把它大量應用在蘋果公司相關的一些檢測設備中。
這種Smart camera比較好的地方是：它的封裝會會非常緊湊，整個鏡頭非常便於安裝，然後是在算法上進行了大量的簡化，和設備相連的時候，整個設備的安裝和相連非常的便捷。
現在最多的是基於2D的工業相機，但3D的導入會是一個非常明顯的趨勢，3D視覺技術現在達到的精度，以及對於機器人配合的這種要求，目前來說還沒到一個相對成熟的階段，可能還需要一定的時間進行導入。
針對2D的相機，我們在選取的時候，主要會考慮基於怎樣的應用場景，比如被測物體的大小，需要達到的辨識精度，這個部分主要是一些規格上的選取。如果說誰家的相機會更好，我們現在主要是選擇德國和日本的一些相機，比如說德國的IDS，日本的歐姆龍；鏡頭的話主要選擇computar的鏡頭，在這種品質保證的情況下，其實產品大同小異，不會差別太多，可能無非就是在使用和安裝習慣上的差異，以及價格包括貨期，都是很重要的衡量標準。
工業機器人與自己、與人、與環境的交互
Q：工業機器人講究機器和機器的交互，機器和人的交互，以及機器和環境的交互，您能舉個例子，為我們講講他們是怎樣實現的？
這個其實是我們比較擅長的部分。因為我們李群自動化從2013年開始正式做機器人，到現在我們做的最多的事，就是考慮機器人和設備、機器人和視覺，或者和人如何交互。回答這個問題之前，我們需要有一個前提：解決交互問題前，應該是交互雙方有個協議，即交互雙方都可以懂的語言。
這種語言可以簡單可以複雜，可以是一種或幾種，就像即使是兩個語言不通、文化背景不同的人，還是可以通過眼神，或者肢體語言去交流。
如果按照機器、人、和環境，我們分析一下他們所能發出的訊息的形式，和接收的訊息的形式，以這樣的思路來進行。我們以機器人為例，機器可以以什麼樣的形式，來表達出他想要表達的訊息呢？
我們一般可以分兩種。
一種是機器主動想表達的訊息，這時候可能是機器的一個狀態，機器需要告訴別人的一些訊息，我們認為這是一種可控的訊息，一般可以通過網路、介面、I/O、或者是它可以操作的一些動作來表達出來。
還有一類訊息是異常訊息，這一類的訊息其實可能不是機器想要發出的，而是一種被動輸出。什麼叫被動輸出呢？比如，一個機器突然輸出的產品，大量產生異常，或者一個機器跑跑跑，某一個環節、電機要運動，然後發現怎麼都運動不到。還有一種情況是機器做了一種行為，這種行為是不可理解的，或者不是預設的，那我們都認為這確實是機器要發出的訊息，但不是機器主動發出的。
從人的角度來說，人是最高級的生物，可以通過工具發出他想要發出的訊息，比如說他可以通過用戶介面，甚至是一些按鈕的操作，準確的發出他的指令，人也可以通過觸碰，產生一些訊息，比如觸碰一些光柵。在協作型機器人裡，人和機器觸碰，甚至可能代表人，讓機器人停下來這種指令。
環境的訊息其實是最被動的，因為環境是無法主動表達訊息的，它可能是通過來料、出料的異常，甚至是溫度、濕度的變化、甚至突然斷電了，大家也不知道發生了什麼。這些訊息，你做一個簡單的分析，會發現在這種交互過程中，異常訊息是最需要提前做好準備，和回應的方案。
而且同時，人和機器作為兩個可以主動交互的對象，人比較高級，可以辨識、回應幾乎一切訊息，但是人最大的問題在於人會疲勞，人可能會有情緒干擾，導致對訊息判斷的及時性和準確性進行干擾，沒有機器判斷那麼穩定。
機器由於不夠聰明，一定沒有人聰明，這時就會變成機器能把訊息表達得多準確、多全面，其實取決於設計機器的人，希望機械可以做到什麼樣。
回到現在這個問題來說，我想重要的就是異常的訊息，我認為在自動化環節，三方的交互中，如果一切都是沒有意外的，大家都按照預定的節奏和行為來進行操作，那麼交互大可不必，每個人都按照既定要求來做，這其實是最和諧的，實際上意外一定會產生，交互的意義就在於如何處理意外。
這時候就變成了，我們如何感知異常，同時協商出來面對異常的機制，大家交互的協商，最後達到異常的處理，回到原始的軌道。
這裡給大家舉個例子，這裡給家看個我們做的方案：
這是一個非常簡單的生產線上，下料製程的需求，大家可以看到，在圖片左手邊模擬的是一個隧道爐，這實際上是一個手機蓋板非常典型的加工製程，玻璃在進行前端絲印之後，它需要經過隧道爐，完成印刷油墨的製程要求，達到油墨的固定。
前端，是人把絲印好的玻璃放在傳送帶上，上料的速度我們得到的訊息，一般是在1300片/h，有個重要的製程要求，由於隧道爐中有烘烤的製程，所以傳送帶是一定不可以停的。
那麼我們現在做的自動化是要幹嘛呢，是要把從隧道爐裡，出來得剛剛烘烤過的玻璃安全的下到料盤裡面。
由於當時當時給我們的空間限制，隧道爐末端的空間非常有限，就是圖中兩個人所在的位置，那麼自動化設備要快速的把每小時一千三百片的來料下到料盤裡，這就是自動化的製程要求，大家可以想想，對於機器人來說，在這樣的工作空間裡，每小時可以做兩千次，那以這樣的速度，這個自動化方案的難點和異常點在哪裡？
這個是我們最後的佈局方案設計。
我們做了一個工作站，這裡包含了綠色的傳送帶，用來承接前端烘乾機的傳送帶。在前端有一個視覺框架，來動態辨識玻璃的位置和轉向，末端有一些機構來保證下料料盤如何週轉。現在我列舉幾個實際操作中我們需要思考、處理的部分：
1. 瞬時uph。剛才提到烘乾機前端是人工上料。人工上料有什麼問題呢？比如，這個人的早中晚生產狀態不同，在精神狀態好的時候，可能連續的一段時間內，生產效率非常高。可能在很累的時候生產效率就會很低，那麼按照客戶給的數據1300uph。這時就遇到了一個問題，假設五分鐘之內，工人的狀態很好，他的瞬時效率高於2000時，機器人怎麼辦？按照設定條件，機器人是來不及抓的。2. 由於我們的視覺是用來判斷傳送帶上的玻璃，我在辨識的時候，有些在上料的時候，混了一些一些料，或者其他什麼誤差，導致玻璃沒有辨識出來。或者說兩個玻璃挨在一起了，視覺無法辨識兩個玻璃的相對位置。這時候，這兩片玻璃是抓不起來的。3. 我在下料的時候，當我要把玻璃放在料盤裡，恰巧料盤滿料，下一個料盤還沒過來。這時傳送線上的玻璃如何處理？4. 料盤和玻璃也有放置精度的問題，如果說傳送帶像我們現在看到的部分，寬度是一米二，如果我們用一個視覺相機來說，在一米二寬的視場範圍內，在視場邊緣會產生嚴重畸變，這時我在吸取玻璃時，比如吸取5.7寸的玻璃它在邊緣的偏差，可能就要大於兩毫米。這時吸取的玻璃可能放不進料盤。
5. 假設吸盤變形，機器人看得很準，機器人到位也很準，但是吸盤壞了，吸起後玻璃偏了，還是放不進料盤。
這些都是生產實際中真實會存在的異常，無論是由於物料、還是人工配合，這些異常都是要去及時發現並且處理的。
這是我們最後生成機台的樣子，如果感興趣可以去李群網站上，看整個機台的影片。
其實在這個機台裡剛才那幾個異常，我們不僅對傳送帶提供了一個可控的功能，保證我們一旦有玻璃來不及抓，或者有玻璃流出時，是否由傳送帶可以停止，如果不停止的話，下端有個回送的傳送帶，保證玻璃不會掉進縫裡或者其它地方，保證不會直接產生廢品，我要盡量及時回收，避免損失。
另外在精度方面，由於前端的視覺變形，或者由於吸盤吸取的位置差異，這個是不可避免的，所以我們在機器人吸起之後，放置的過程中，增加了我們自己開發的飛拍的功能，保證了在機器人運動時，同步辨認玻璃在吸盤的位置，保證玻璃可以完好無損的放到托盤的相應位置中。
這個過程中，其實所有的交互都是被設計，甚至有方案能夠及時感知這種交互中的訊息，然後讓系統有交互的策略來進行響應。
Q：目前車間已經不是批量生產了，開始提倡柔性生產，由過去一條線性方式變成了環形的加工。這方面你們自己的產品有什麼建樹？
總的來說我們現在接觸到的實際需求，客戶還是會首先考慮已經批量生產的產品的自動化改造。
現在其實真正急需自動化改造的，大部分都是一些小批量、多品種，但是屬於同類產品這樣的一種生產狀態。柔性主要解決的，就是實現不同產品切換的時候，能實現快速切換，或者在不同製成的時候，能進行一個配置化的快速轉換。
一條線性的方式變成環形的加工。這個部分應該說，還不是都是這個樣子的。其實是要根據每個客戶自己的一個產品形態，和製程技術特點，為客戶訂制一些適合他們的生產形勢。拿我們這邊去年完成的一個月餅盒包裝線作為例子。這條後包裝線的影片，大家也可以從我們的網站上直接看到。
首先我解釋一下這條後包裝線，大家看一下圖片上方有一個紅色的機器人。我們可以認為這條線的起始端是從那裡開始的。它的作用是把鐵盒裝的月餅的盒子，從卡板中，分批放置在生產線上面。
供應商來料的方式，是一個空盒的鐵罐來的，所以蓋子和盒子挨在一起，那我們裝月餅之前需要把蓋子和盒子進行分離。
另外一個在精度方面，由於前端視覺的變形。或者是由於吸盤吸取的時候的位置的差異——這個是一定會存在的——所以我們在機器人吸取完玻璃之後的放置過程中，增加了我們自己開發的飛拍功能。
保證我們的機器人在運動的同時，可以動態辨識出玻璃在吸盤上的位置。進行位置的校準，保證玻璃可以完好無損的放置到吹盤的相應位置上面。
接下來的一段作用，就是把這個盒子進行開蓋。供應商來料的方式是一個空盒的鐵罐來的，所以蓋子和盒子挨在一起，那我們裝月餅之前，需要把蓋子和盒子進行分離。
但是由於包裝的要求，客戶是要求蓋子和盒子的花紋，必須要能夠完整的對齊。什麼意思呢就是他必須按照一定的規範進行一個配對。所以我們在開盒之後，會有一個視覺的工作站來完成，對各個花紋的一個調整。
下一個工作站大家可以沿著這個圖，順著傳送帶往圖片的左邊來看，這兩個藍色的，有一個圓圈的這兩台deta機器人，完成的是對月餅的一個快速的分揀。
在這個包裝過程中還有一個很重要的要求，就是月餅上的花紋，要和盒子和蓋子的花紋，保持一定的規律，要保持一致。所以在整個月餅的來料過程中，我必須要對月餅的花紋進行一個辨識和排序。
接下來就，是把排序好了的月餅，放在盒子裡面，然後再把這個蓋子蓋上去。然後就是把每16盒的月餅放到箱子裡面，然後完成封箱、稱重、碼垛。這樣一個整條的一個自動化的生產線。
人呢，其實是因為這條線，暫時還沒有完整的連接前端的生產，所以需要兩個人，把前端生產好的月餅，放置到這個產線上來。像我們在超市裡面，還能看到一些禮盒裝的、紙盒裝的，甚至是散裝的月餅，這些是不適用的。
那麼在這個過程里其實我們真正實現柔性的對象主要還是這種鐵盒裝的月餅。主要是不同的口味，或者包裝的花紋不同，對這些我們都可以實現一個零切換的一個工作時間。我們只要在通過軟體的一個選取配置，就可以自然完成整個產線的製程轉換。
實現這樣一個柔性的工作站，其實在整個過程中，我們對客戶的製程做了非常非常大的改造。
這裡面可能就是會有點像剛才主持人提到的。原始的客戶的包裝流程可能就是一排，我記得他們講的是大概28個工人。完成比如從月餅過來，我要從旁邊拿盒子打開，把月餅放進去蓋上盒子。掃碼裝箱碼垛，這樣一個功能。
過程中，人的作用其實除了操作之外，還有一個是檢查。比如說檢查月餅袋子有沒有打開，蓋子有沒有蓋好，有沒有出現什麼樣的異常？在實現這個工作站的時候，我們首先花了非常非常多的時間，重新的去學習客戶的製程。去理解哪些製程要求是必須要實現的，哪些製程的安排是可以被更改的？然後我們再通過我們對自動化的理解，然後依據這種對客戶製程的討論。雙方一起坐下來，商討形成最終的自動化的解決方案。
這個裡面我真正想說的一點就是柔性，首先現在的機器人技術，雖然我們用到了視覺，用到了很多訊息化的東西，但是它也很難像人一樣，可能只要靠一個。比如組長或班長說接下來我們要怎麼怎麼幹了，人們很快就可以開始幹。
我們現在的自動化做不到那個樣子，所以柔性一定是在一個範圍內，進行的這種柔性。
總之，柔性的實現，不僅僅是靠自動化的人來實施的。很多時候是先考慮製程怎麼做到柔性？然後再考慮自動化，這個柔性的製程有沒有合適的自動化的實現方式，在這種相互切磋相互交流的過程中，最終形成的方案。才是一個柔性最高、實施效率最高的一個整體的柔性工作站。
CV應用在工業機器人上的bug
Q：作為應用機器人視覺的客戶，在應用的時候你們遇到了什麼問題，如何解決的？
第一，目前來說我們在用到視覺的時候，覺得其實困擾最大的是我們現在用的視覺產品，對於光源方案的要求非常非常高。
如果光源的方向不好，那拍出來的圖片的穩定度和它的品質，其實會極大的影響最後處理的效果。但是光源的方案很難說，即使是同一類的產品，他不同批次不同材料都可能會無法適應，可能會產生一些不穩定因素。但是我在實施過程中，又不太可能經常更換光源方案，所以這一點上我覺得對我們現在來說是非常不方便的。
比如說我們之前遇到的一個測試需求是測試PCB板，但是這個時候我們會發現，比如不同的PCB板的製程，他有些上面可能刷的是比較亮一點的防護漆，有些就會比較暗像漫反射一樣。這個時候不同的光源，就體現出非常大的一個差異。
第二，就是我們現在用到的視覺，我剛才提到的，主要是一些基於2D的視覺。
在這種高精度的視覺應用裡，我們經常發現的是，標定的好壞會，極大的影響整個方案的精度，最後是否能夠達標。
但是標定呢，這個過程又感覺沒有一個非常快速的方式。比如說我每次更換夾具，或者說客戶端可能會偶爾要進行一些設備的維護啊，或者是搬送。那這時候可能都需要對視覺進行重新的標定。
然後客戶現場的工人也好，或者設備工程師也好。大部分也沒有經過這種專業的訓練。所以往往就需要我們的服務工程師，到現場幫客戶做一個。這樣一個我們覺得很regular的一個動作。這個部分是我們的另一個困擾。就是覺得現在能否有一個快速標定，甚至是不用標定的一個視覺方案。
第三，其實是我們現在自動化行業，大家都在迫切等待的一個部分，就是視覺的缺陷檢測。
但缺陷檢測，這個其實在整個行業都是一個非常非常空缺的地方，畢竟缺陷太多了！我們舉個例子，剛才的那種手機的玻璃的缺陷。
可能劃痕有千變萬化，那不同的廠家對於不同的劃痕，要求都不一樣。這一部分其實是一個非常非常難做一個標準化的缺陷檢測的製程的。
其實我們做自動化的時候大家都在講機器換人，那是不是機器換了人就可以了呢？我們的經驗是人在生產中除了在很多的供應環節，他除了簡單的搬運，還提供了自己的視覺和大腦，他們提供的就是一種缺陷的檢測。
但是如果說比如說有十個缺陷，我們解決了九個還有一個缺陷無法解決。那這個時候其實我這個人工檢測的工位還是沒有辦法進行替代。所以從某種程度上來說。是否有好的缺陷檢測的方案和解決方案，其實是真正實現大量人工替代的一個很重要的環節。
我所知道的很多場景，我有很多做視覺的朋友，也在做這種方面的缺陷檢測，但是這個過程其實非常的困難。
因為缺陷的這種原因，或者說缺陷的形態太多了。現在大家一般在做曲線檢測的時候，採用的那些方案。很多人用的是一些開源的算法，比如opencv，或者是hoken的一些底層的庫，甚至是在別人的視覺上面做二次開發。這樣的一些系統架構也很難在客戶端能夠做一些比如智慧的一些判斷或者一些經驗的累積。所以很難做到真正完整的缺陷的可靠性辨識。
所以這三個應該是我們在應用層中，遇到的最迫切的需求吧，那我們是怎麼解決的？
其實我們現在還無法解決這個問題，因為我們現在還真的沒有在視覺方面，去做什麼樣的工作。但是我們可以做到的是：
比如說我們拿到一個客戶需求，會第一時間通過供應商跟我們的合作夥伴的一個大量測試，來確保一些方案的可行性。同時我們會自己設置一些可能影響這個穩定性和魯棒性的一些干擾因素。盡可能在設備的設計之前，把這些方案性的測試，和這種可以為以後的設計，提供參考性的測試，進行一個完成。
然後在我們設計的過程中，盡量不要觸碰到這些不穩定因素。比如說我們盡量不動視覺方案，或者說如果客戶真的需要變化的時候，我們給他一些我們可控的方式，來引導客戶去進行操作，來規避我剛才提到的這些風險。
關於理想的狀態，我目前也不是很清楚說理想的狀態應該是怎麼樣的，我們內部覺得可能現在的這種視覺的方式，還會有一個很長的路。這個部分要怎麼去完善這種視覺產品的定義，或者是開發可能是需要做視覺的人，和我們這種做自動化的人大家一起坐下來，好好的去理清我們現在所面對的問題和客戶需求，然後進行一個產品的重新規劃和定義。
另外呢，我們其實私底下有跟公司比較資深的做技術的人員討論。我們在想有沒有可能去利用一些仿生物的這種思路，去幫助視覺的算法。而不是說像現在一樣，我們要對每一個缺陷，或者每一種特徵進行一個建模、描述，再進行計算。
Q：怎麼看待中國很多機器人廠商沒有核心技術的現狀？
首先我覺得核心技術還是非常的重要的，如果一個公司沒有核心技術的話，最後一定是死路一條。
對於你說的這個現狀來講，我覺得現在沒有必要太過恐慌，畢竟核心技術是需要時間的，而機器人這個行業在中國其實也處於剛開始的階段。所有的公司其實都需要花時間，對自己進行一個行業的定位和技術方向和路線的一個定位。
同時有了這個定位，即使想做核心技術，也是需要時間一步步的去積累和磨練，不是一個一蹴而就的事情。所以我倒覺得現在我們不必太過去計較說，現在中國廠商沒有核心技術。
另外一個部分其實現在很多的廠商會號稱自己有核心技術。但是這個所謂的技術是不是真的核心呢？或者說我們現在有的這個技術。我們常說機器人裡面幾個核心的技術：減速機、電機、控制器，那未來的機器人是否還真的是這樣。或者說即使我們拿到了一些山寨國外的，或者可能打了些折的這些所謂的核心的東西，那它還是真正有用的核心嗎？我覺得這個部分其實還是有待時間和市場的一個考驗。
針對這個問題，我倒覺得，如果大家很關心機器人這個行業，我覺得應該是可以更關注中國的廠商，有哪一些真的去想清楚了我剛剛提到的，一個自己的行業定位。和未來的發展路線，甚至是自己核心的一個技術路線。
清楚了之後，有沒有在做，有沒有做準備，有沒有計劃，這些其實反而是更重要的事。
實踐才是良藥
石金博為我們重點介紹了CV在工業機器人上的應用，和服務機器人上的區別，以及闡明瞭工業機器人在和自己，和人，和環境三大交互過程中，最大的意義就是在於如何處理意外。
在提到現在工業機器人中推崇的柔性自動化問題時，她以實際經驗向我們展示，現在的自動化還做不到100%的柔性自動化水平，所以我們所謂的柔性一定是在一個範圍內進行的柔性。
作為應用機器人視覺客戶中的一員，他們以自己非常「苦悶」的經驗向大家展示了目前，視覺產品對於光源方案的要求非常非常高，2D視覺中標定的好壞會極大的影響整個方案的精度最後是否能夠達標，視覺的缺陷檢測非常糟糕的一個現狀。
這讓過去一直以為，工業機器人就是個傻乎乎自動化生產線的讀者朋友們，對工業機器人有了重新的認識——工業機器人天生就是一個平台級的東西，它不像服務機器人，只要專注做好每個具體的產品就好，其更多是處理好機器人和自己，和人，和環境交互過程遇到的各種難題，來適應不斷變化的生產車間需求。
