Microsoft Office Labs: Retail Future Vision
 |
來源：RFID世界網
背景簡介
隨著網路業務的快速發展，移動線下營業場所，進入了最困難的冰凍期，面臨著進店客戶減少、客戶結構不合理、精準行銷能力不足等諸多問題。
因此亟需改變以往傳統低效的業務行銷模式，加快大數據變現，開展基於大數據的精細化營運，提高進營業場所消費者行銷成功率，同時提升行銷資源使用效率，實現降本增效。
門市店大腦建設
移動雲計算中心圍繞人、貨、場及三者之間的關係，展開全方位的分析，運用電腦視覺(人工智慧)能力對(1)顧客身份、(2)進離店客流、(3)營業場所熱力情況、(4)店內客戶軌跡等資訊，展開全面分析，實現了整個營業場所的綜合分析，建構了一個針對營業場所廳店營運人員的門市店大腦 。
以前營業場所門市店，只有消費者購買商品的數據，沒有顧客進門後，在營業場所門市行為活動的數據，沒有人與貨交互的數據，沒有貨在場中分布的數據等等。
透過人工智慧賦能的門市店大腦，這些數據你通通可以獲得。真正實現營業場所的「智慧感知」，「智慧營運」。
門店大腦
顧客身份資訊辨識
「知道誰來了」是營業場所最根本的需求，透過進門時的人臉拍攝攝影機，獲取顧客的人臉圖片，傳輸到後台進行客戶身份，及常用屬性特徵辨識。
同時利用傳統的通信行為標籤，為不同類別的客戶，制訂不同的行銷策略，支持營業場所各種場景下的精確行銷。
同時利用傳統的通信行為標籤，為不同類別的客戶，制訂不同的行銷策略，支持營業場所各種場景下的精確行銷。
顧客身份辨識
實現困難
實踐過程發現，顧客身份辨識準確度，及有效辨識率，主要存在兩個層面的難點。
數據層面：
1. 人像庫照片品質：很多智慧零售場景，都缺乏優質的人像圖片，同時獲取的人像數據，存在不同程度的干擾和模糊；
2. 能力圈命中率：提前預判誰會來店裡，降低人臉辨識模型的難度，提前將有限的人臉圖片，導入店裡人像庫(能力圈);
算法層面：
3. 攝影機拍攝效果：再優秀的人臉辨識模型，也很難對一些極端採集的人臉進行辨識，控制前端攝影機拍攝的效果，是辨識率的前提保障；
4. 人臉辨識算法：人臉辨識模型的目標庫，並不能無限累加，並且像營業場所這樣場景的人臉辨識，必須在保證辨識的質(降低誤識率)和量(提升辨識人數)。
解決方案
針對客戶辨識的困難，設計了一套進店客戶辨識行銷和離店二次祥銷總體流程，端到端優化兩個層面的難點，進而提升客戶身份的辨識準確率。
針對人像庫照片存在的品質問題，系統性的對目前庫中的人像照片進行分類，總體來說可以歸為三類，清晰度較高的實景照、略帶模糊的人像照和帶有干擾資訊的人像照。
針對第一類照片，直接可以作為人像庫使用，辨識效果也是最優的；對於模糊的人像照，可以利用圖像增強算法對其處理，達到銳化前景的效果；對於帶干擾資訊的人像照，可以利用生成對抗網路等手段排除干擾。
總體來說，三類人像照品質依次遞減，雖可以透過視覺算法增強圖片的品質，但第一類照片的收集也至關重要。
針對能力圈命中率問題，透過建立事前能力圈和事後能力圈，兩種比對方案的人像庫，事前能力圈(常客模型)是根據近6個月內到店受理過業務的用戶，取到店次數最多的消費者；
事後能力圈是基於信令數據，獲取營業場所營業期間，在周邊基地台範圍(人工篩選)內，出現並滿足一定停留條件的客流能力圈，用於彌補事前能力圈，命中率不高的問題；同時經數據分析，顧客在一段時間內，有多次到店的行為，可以將事後能力圈反哺出來的客戶數據，作為常客添加到事前能力圈中，以增加事前的辨識率。
針對攝影機拍攝問題，選擇一款智慧化的拍攝設備尤為重要，透過調查發現，拍攝設備除了常規的參數(焦距、白平衡、角度)，需要根據實際場景調整之外，還需具備一些人工智慧算法，才能保證拍攝的人臉圖片符合規範。
人臉檢測算法，雖然設備每時每刻，在不停的抓拍圖片，當檢測到人臉時，才會向平台上報；同時，設備每秒抓取的幀數，會在25~30張，設備需要透過人臉品質，擇優算法(主要評估人臉的姿態角度、模糊情況等因素)，從眾多張同一人臉中，選擇一張品質最好的上報。
此外，攝影機處理晶片的架構，也會對抓拍效果產生影響，對比DSP與FPGA晶片，擁有FPGA晶片的攝影機，每秒能處理30幀圖片，完勝每秒處理15幀的DSP，可以很好的避免業務處理性能不足的問題。
針對人臉辨識準確率問題，人臉辨識算法受不同場景影響較大，對標過多數人臉辨識廠家，其中不乏業界的獨角獸，在配合式場景(實驗室場景下)，辨識率可以達到99.9%以上；然而在非配合式場景，在查全率0.8的情況下，能達到95%以上辨識率的模型，已經非常不錯了，各廠家測試結果如下表。
同時，經過調查發現，大規模真實場景的樣本數據，直接決定了深度學習模型的性能，而不同場景下的人臉辨識問題，所需要不同的數據平衡、數據擬合、超參數組合。
因此，一般會基於Pretrain model (在通用的大量的數據訓練的模型)加上專用場景的數據，生成針對場景優化的專用模型，這樣可以保證，該特殊場景下的模型辨識準確率。
總體流程
進離店客流分析
基於雙向人臉辨識攝影機，實現進店客流群體分析，以及客戶停留分析，透過掌握營業場所客流的整體情況，即時調整營業場所營運策略。
進店客流分析 主要是獲取各時段進店客流情況，包括新客(首次進店)、常客構成，客戶的年齡、性別構成等；客戶停留分析是獲取各時段客戶，在店內的停留情況，包括店內客流數，平均停留時間、過客(停留時長小於3分鐘)、意向客(停留時長大於15分鐘)等。
實現困難
實踐過程發現，進離店客流分析，主要有以下三個方面，造成數據統計的誤差。
誤差點1、 系統長時間營運，導致底庫存在過多髒數據，常見的有：存在一個人的多份特徵值，但多份特徵值所表示的含義，是不一樣的顧客；
誤差點2、 顧客進離店時由於佩戴帽子、眼鏡等裝飾，對人臉關鍵特徵的遮擋，增加人臉辨識難度(辨識分數過低/辨識成他人)；
誤差點3、顧客進離店行為隨意性較大，並且從兩側離店的情況佔比較多，導致拍攝的數據，存在較多側臉。
解決方案
針對上述誤差點1，透過建設AB庫的方案，解決目標庫(A庫)中髒數據過多的問題。客戶停留分析的目的，是保持當日進店、離店客流的數據一致性，離店數據只需要在當日進店的數據基礎上，進行辨識即可，因此在原目標庫(A庫)的基礎上，增添一個臨時庫(B庫)，用於當日進離店顧客的數據分析。
針對上述誤差點2，在AB庫建設的基礎上，稍微降低離店人臉辨識的閾值，將盡量多的離店數據與進店數據維持一致。針對誤辨識的情況，之後將考慮使用行人辨識的方案，利用更多人體的特徵資訊(配飾、衣著)，對顧客進行辨識。
針對上述誤差點3，在AB庫建設的基礎上，增加營業場所門口兩側的拍攝設備，主要針對側面離店顧客數據的人臉拍攝，當多個攝影機同時抓拍人臉數據時，系統將會合併相似度較高的人臉，避免重複人臉上報，類似單攝影機的拍攝過程。
AB庫方案
營業場所熱力分析
基於顧客在店內，不同位置的累積駐留時間，分別渲染實景熱圖和全景平面熱力圖，透過熱力圖分析營業場所整體及專櫃區域的熱力分布，指導營業場所優化店內商品佈局。
實現困難
難點1、消費者在真實門市店空間中的精準定位，攝影機所能採集到的消費者資訊，都是在三維空間上的，需要透過空間座標關係，精準映射到平面圖上；
難點2、線下場景下消費者的精準檢測：
1)目標(即消費者，以下都以目標代指)都以非配合時場景出現，被攝影機捕捉到的部位，或頭或臉甚至半身，對於傳統的單一任務檢測來說，難度非常大
2)商品擺放、人群擁擠等情況的普遍存在，目標常常被嚴重遮擋，或與其他目標重疊。
解決方案
針對難點1，我們透過三維空間重建算法，建立實景圖到平面圖的座標映射，依次建立起每個攝影機觀察座標系，到平面空間中的映射關係，並基於特徵比對，對每個進入攝影機監控區域的顧客進行檢測，並透過映射關係，估算其在攝影機觀察座標系中的位置，透過該算法評估，顧客的平面座標誤差範圍在0.5米之內。
針對難點2，座過使用基於CNN + RNN的多任務結構，設計了神經網路，分別來檢測人的頭、臉及身體。其中CNN用於提取圖像中的深層特徵，RNN用於檢測複雜場景下，相互干擾的目標部位。
客戶軌跡追蹤
獲取顧客在店內的活動軌跡，結合區域停留時長，獲得客戶的消費傾向，給顧客在店內的行為活動，打上對應的標籤資訊，為精準行銷提供決策依據。
客戶軌跡追蹤
實現困難
客戶軌跡追蹤，運用了電腦視覺領域中的行人重辨識(reID)技術，需要在多個攝影機拍攝出來的圖像中，辨識相同行人為目標。但現實場景中，客戶的姿勢變化、圖像模糊，以及目標遮擋等問題，對整個行人追蹤過程，提出了巨大的挑戰。
解決方案
採用混合的檢測+追蹤算法，來追蹤特定顧客，使用重辨識算法進行跨攝影機追蹤，最後透過空間定位算法(多場景統一空間映射算法)，計算行人在真實空間中的位置座標，從而進行店內客戶軌跡分析。
檢測算法：基於CNN+RNN的多任務結構，設計了神經網路，分別來檢測人的頭、臉及身體。其中CNN用於提取圖像中的深層特徵，用於重辨識算法；RNN用於檢測複雜場景下，相互干擾的目標部位；
追蹤算法：基於相關濾波(Correlation Filter based)的追蹤算法，在線上「記住」目標的關鍵幀蘊含的特徵，並基於該特徵在影像的幀與幀之間，持續追蹤目標。
重辨識算法：使用STN(Spatial Transformer Network)，對行人進行位置相關特徵採集，並使用Reranking特徵數據庫，進行特徵比對與檢索。在擁擠情況相對良好的情況下，可達到95%的辨識準確率。
總 結
透過人工智慧、大數據賦能的智慧零售，圍繞人、貨、場所構造的，針對營業場所營業人員的門市店大腦，記錄了顧客進店前、進店時到離店後的行為數據，真正實現人的消費數位化、貨的合理佈局、場的千店千面，從而打造全新客戶體驗，升級智慧營運管理，達到促進銷售與客戶雙成長的效益。
0 comments:
張貼留言