案例簡(jiǎn)介

上海音智達(dá)信息技術(shù)有限公司應(yīng)用飛槳提供的PaddleDetection開(kāi)發(fā)套件，基于視頻流數(shù)據(jù)實(shí)現(xiàn)了對(duì)凈化間穿戴檢測(cè)、到崗/離崗檢測(cè)、疲勞檢測(cè)等功能，并在客戶方成功上線，推理速度和準(zhǔn)確率滿足上線要求。

相關(guān)產(chǎn)品

PaddleDetection

合作伙伴簡(jiǎn)介

音智達(dá)（Advanced Analytic Service）是一家專注于幫助企業(yè)做數(shù)字化轉(zhuǎn)型與數(shù)字驅(qū)動(dòng)管理的大數(shù)據(jù)公司。公司提供基于大數(shù)據(jù)技術(shù)的預(yù)測(cè)性分析及商務(wù)智能解決方案，大數(shù)據(jù)軟件產(chǎn)品，和大數(shù)據(jù)SaaS應(yīng)用和DaaS服務(wù)。公司總部位于上海，運(yùn)營(yíng)遍及大中華區(qū)。音智達(dá)為亞洲地區(qū)數(shù)以百計(jì)的跨國(guó)企業(yè)及本土客戶提供數(shù)據(jù)服務(wù)，擁有豐富的數(shù)據(jù)分析與業(yè)務(wù)實(shí)施經(jīng)驗(yàn)，在生命科學(xué)、快消品、汽車、零售、電子消費(fèi)產(chǎn)品、金融、保險(xiǎn)、以及運(yùn)輸行業(yè)享有眾多實(shí)踐成功案例。

業(yè)務(wù)挑戰(zhàn)

在工業(yè)制造現(xiàn)場(chǎng)，人員安全及行為規(guī)范有比較明確、或者非常嚴(yán)格的規(guī)定，例如在清掃化學(xué)藥品時(shí)是否穿戴防護(hù)服、操作設(shè)備時(shí)動(dòng)作是否規(guī)范、在崗或者離崗是否為疲勞工作。使用計(jì)算機(jī)視覺(jué)技術(shù)實(shí)現(xiàn)工作服穿戴檢測(cè)、員工到崗和離崗檢測(cè)、員工疲勞檢測(cè)等人員管理的場(chǎng)景AI化，可以幫助客戶實(shí)現(xiàn)提升工廠人員管理效率和降低企業(yè)管理成本。

市場(chǎng)上現(xiàn)有的解決方案主要有兩種，一種是以智能硬件為主的硬件設(shè)備，這種方案無(wú)法滿足定制化的場(chǎng)景，因?yàn)槊總€(gè)工廠或者每個(gè)車間現(xiàn)場(chǎng)的環(huán)境及規(guī)則都不太一樣；第二種方式是比較通用的AI能力平臺(tái)，或者是AutoML平臺(tái)，這種平臺(tái)需要業(yè)務(wù)方或廠商有一定技術(shù)背景、技術(shù)能力。以上兩種解決方案，目前均無(wú)法在業(yè)務(wù)現(xiàn)場(chǎng)很好的落地。

通過(guò)分析客戶的業(yè)務(wù)場(chǎng)景，大致可分為以下三類：第一類是穿戴監(jiān)測(cè)場(chǎng)景，即在凈化間里面監(jiān)測(cè)是否戴口罩、戴面罩或穿防護(hù)服等防護(hù)用具；第二類是離崗和到崗監(jiān)測(cè)，主要判斷指定人員有沒(méi)有在指定崗位上，或者指定人員是不是離崗超過(guò)一定時(shí)間等類似場(chǎng)景；第三類是疲勞監(jiān)測(cè)判斷。

解決方案

針對(duì)以上幾個(gè)共性問(wèn)題，我們?cè)谠O(shè)計(jì)架構(gòu)上主要從三個(gè)方面考慮：一是可擴(kuò)展性。作為試點(diǎn)項(xiàng)目，當(dāng)前每個(gè)場(chǎng)景僅有一個(gè)攝像頭，應(yīng)考慮后期接入更多攝像頭的可拓展性。針對(duì)這一點(diǎn)要求，每個(gè)場(chǎng)景模塊需要進(jìn)行獨(dú)立開(kāi)發(fā)，并對(duì)應(yīng)一個(gè)單獨(dú)管理的功能；第二是考慮到配置問(wèn)題，希望能夠進(jìn)行集中配置。在開(kāi)發(fā)時(shí)使用配置文件進(jìn)行業(yè)務(wù)參數(shù)和規(guī)則條件的集中配置和管理；第三是與其他模型集成的能力。違規(guī)事件的記錄出來(lái)之后，需要被類似于大屏顯示系統(tǒng)等其他系統(tǒng)進(jìn)行消費(fèi)。

系統(tǒng)組成

系統(tǒng)組成上，主要分為四個(gè)層級(jí)，最下面是硬件層，這里涉及到GPU服務(wù)器，還有網(wǎng)絡(luò)接入的硬件；再往上是操作系統(tǒng)層，主要是一些GPU支持組件；在這上面最主要的AI框架層中，使用了百度PaddleDetection預(yù)訓(xùn)練模型，最上面就是算法的一個(gè)應(yīng)用。

數(shù)據(jù)工作

在數(shù)據(jù)層面比較重要的是考慮到數(shù)據(jù)閉環(huán)，待數(shù)據(jù)采集后進(jìn)行標(biāo)注時(shí)會(huì)有兩個(gè)循環(huán)，一個(gè)是數(shù)據(jù)標(biāo)注、檢查修改到模型訓(xùn)練形成小的循環(huán)，主要用于改善數(shù)據(jù)標(biāo)注質(zhì)量；另一個(gè)是循環(huán)標(biāo)注及模型訓(xùn)練、上線試運(yùn)行、結(jié)果分析到Bad case收集，主要為了提升模型數(shù)量，剛開(kāi)始數(shù)據(jù)收集的數(shù)量并不是特別夠。

算法設(shè)計(jì)

從整體思路來(lái)看，把違規(guī)檢測(cè)的問(wèn)題分解成單幀圖像物體檢測(cè)問(wèn)題與聚合到時(shí)間緯度的規(guī)則判斷問(wèn)題，主要包含凈化間穿戴檢測(cè)、離崗檢測(cè)、化金穿戴檢測(cè)、疲勞檢測(cè)和到崗檢測(cè)這五種場(chǎng)景。首先，我們使用的基礎(chǔ)模型是YOLOv3增強(qiáng)版，考慮到實(shí)時(shí)性要求及GPU顯存要求，五種場(chǎng)景跑在同一個(gè)GPU上面，GPU顯存并不是特別大；第二點(diǎn)是規(guī)則引擎，首先考慮涉及違規(guī)規(guī)則定義。將業(yè)務(wù)規(guī)則轉(zhuǎn)換成單幀物體檢測(cè)的規(guī)則，如用邊框的overlapping作接觸判斷；其次是單幀圖像違規(guī)規(guī)則判斷。當(dāng)前這一幀是否產(chǎn)生違規(guī)行為，最后就是特定的時(shí)間窗口里面判斷是否產(chǎn)生違規(guī)行為，以防止模型在一兩幀里面做出誤判；最后考慮希望快速開(kāi)發(fā)出基準(zhǔn)模型，在試運(yùn)行的時(shí)候收集Bad case進(jìn)行多次迭代優(yōu)化。

首先很快速的進(jìn)行Baseline的構(gòu)建，我們技術(shù)路線在Baseline用的是比較主流，或者說(shuō)是很直接的想法，通過(guò)物體檢測(cè)之后進(jìn)行接觸判斷，再應(yīng)用我們的業(yè)務(wù)規(guī)則，最后得到一個(gè)違規(guī)事件的記錄，快速建立Baseline。重點(diǎn)是對(duì)Baseline的結(jié)果進(jìn)行分析之后做的一些優(yōu)化措施，主要在凈化間穿戴檢測(cè)、化金穿戴檢測(cè)、疲勞檢測(cè)和到崗檢測(cè)這四個(gè)場(chǎng)景里面做了比較多的優(yōu)化措施，比如口罩檢測(cè)這塊，把口罩檢測(cè)分為人臉檢測(cè)和口罩檢測(cè)兩個(gè)任務(wù)來(lái)進(jìn)行，還有在凈化間穿戴檢測(cè)時(shí)由于運(yùn)動(dòng)產(chǎn)生模糊問(wèn)題進(jìn)行數(shù)據(jù)分析工作，類似情況就是在分析問(wèn)題時(shí)著眼于Bad case進(jìn)行有針對(duì)性的分析和優(yōu)化措施。

通過(guò)合適的時(shí)間聚合條件，將單幀違規(guī)信息聚合到事件維度，提高事件級(jí)別的識(shí)別準(zhǔn)確率（precision），迭代期間模型試運(yùn)行測(cè)試時(shí)，收集bad case數(shù)據(jù)，追加標(biāo)注數(shù)據(jù)進(jìn)行迭代訓(xùn)練。

上線后的效果如圖：

價(jià)值成果

工廠人員行為智能監(jiān)控系統(tǒng)，采用計(jì)算機(jī)視覺(jué)識(shí)別技術(shù)，通過(guò)監(jiān)控系統(tǒng)將監(jiān)控區(qū)域內(nèi)的現(xiàn)場(chǎng)圖像傳回安保中心，有異常發(fā)生就會(huì)自動(dòng)發(fā)出警報(bào)、并通知管理人員。此系統(tǒng)可以促進(jìn)操作人員遵守工廠安全管理規(guī)定，確保自身安全。智能工廠安全監(jiān)控系統(tǒng)提供防護(hù)服/防塵服穿戴檢測(cè)、員工異常離崗檢測(cè)、員工疲勞檢測(cè)、員工到崗檢測(cè)等監(jiān)測(cè)功能。

工廠人員行為智能監(jiān)控系統(tǒng)極大改善了工廠安全管理工作。以前我們的管理人員需要花費(fèi)很大精力在員工的行為檢查和教育培訓(xùn)上，但員工的安全意識(shí)在有檢查時(shí)強(qiáng)，在檢查人員不在時(shí)就會(huì)疏忽。每年都存在因?yàn)閱T工不遵守安全管理規(guī)定造成的損失。同時(shí)由于工廠人員流動(dòng)性大，雖然企業(yè)在安全教育培訓(xùn)上的投入很大，但是效果不明顯。

在上線智能工廠安全監(jiān)控系統(tǒng)后，員工的安全意識(shí)大幅度提高；同時(shí)集成的郵件通知與現(xiàn)場(chǎng)報(bào)警功能使得管理人員可以拋棄傳統(tǒng)的人盯眼看的監(jiān)控方式，極大釋放了現(xiàn)場(chǎng)人員管理的人力成本。未來(lái)，我們將考慮把該系統(tǒng)應(yīng)用在更多的業(yè)務(wù)場(chǎng)景，來(lái)釋放管理人員的精力，提升企業(yè)運(yùn)營(yíng)效率。