案例簡介

水稻是我國三大主糧之一。水稻田的田間管理復雜、重復度高（諸如打藥、鋤草等）且工作極其繁重，給從業(yè)人員造成了極大的負擔。蘇州博田利用百度飛槳(PaddlePaddle)的深度學習技術讓拖拉機和農(nóng)業(yè)機器人學會了視覺導航，可以根據(jù)水稻秧苗的種植情況實時調(diào)整航向，避免壓苗等情況出現(xiàn)，從而更好地保養(yǎng)和管理水稻秧苗。這一改進，讓“節(jié)省人力的同時大幅提高農(nóng)作物產(chǎn)量”的夢想成為了現(xiàn)實。

相關產(chǎn)品

PaddleSeg

合作伙伴簡介

蘇州博田自動化技術有限公司是一家專門從事農(nóng)業(yè)智能裝備技術研發(fā)與產(chǎn)業(yè)化的高新技術企業(yè)。公司秉承“科技創(chuàng)新、智能引領、眾創(chuàng)共享、機器助人”的發(fā)展理念，創(chuàng)造性的開發(fā)出植保機器人、果蔬采摘機器人、鋤草機器人、設施農(nóng)業(yè)機器人、農(nóng)機智能管理系統(tǒng)、農(nóng)機輔助導航系統(tǒng)等智能農(nóng)機裝備，多項產(chǎn)品填補國內(nèi)空白，并在全國二十多個省市廣泛應用。

業(yè)務挑戰(zhàn)

由于水稻是按列種植的，列與列之間近似平行，因此，實現(xiàn)農(nóng)機視覺自動導航的基礎在于實時準確地檢測出秧苗列中心線。雖然使用傳統(tǒng)圖像處理算法也能夠提取到秧苗列的中心線，但是自然光照下的水田為非結(jié)構(gòu)化環(huán)境，不同天氣不同時段圖像亮度的差異、水田里夾雜浮萍藍藻等與秧苗特征相似的植物、偶發(fā)缺苗和反光等干擾因素還是對傳統(tǒng)算法的魯棒性形成了很大的挑戰(zhàn)，精準度難以保證。

水田環(huán)境如圖：

解決方案

為解決這一難題，蘇州博田技術人員綜合分析稻田圖像特點，基于百度飛槳(PaddlePaddle)深度學習平臺研發(fā)了水田導航線自動檢測系統(tǒng)。他們應用飛槳圖像分割開發(fā)套件PaddleSeg中的ICNet模型將秧苗按列從背景中分割出來，并以此為基礎實現(xiàn)了秧苗列中心線的精準提取。

第一階段：數(shù)據(jù)集制作

技術人員分別在一天內(nèi)不同時間段采集插秧1周后和插秧3周后兩個典型時期的水稻秧苗的圖片各400幅，并且在每個時段通過設置不同的曝光時間以采集不同亮度的圖片。

第二階段：模型選擇

農(nóng)機視覺導航任務與自動駕駛有一定的相似性，都需要保證一定精度的情況下有高實時性，并且能夠在嵌入式設備等移動端部署。飛槳PaddleSeg語義分割庫支持的主流語義分割網(wǎng)絡之一ICNet，屬于參數(shù)量較小的輕量級語義分割網(wǎng)絡，為自動駕駛等需要低內(nèi)存和高實時性的應用場景而設計，非常適合農(nóng)機視覺導航。與U-Net系列、DeepLab系列等預測精高的網(wǎng)絡相比，ICNet在精度降低較少的情況下大幅度減少了預測時間和占用內(nèi)存，能夠在像1024*2048像素這樣高分辨率的圖像上達到實時效果。

第三階段：模型訓練

在模型訓練過程中，可以通過修改相關配置文件自定義優(yōu)化器、迭代次數(shù)等訓練使用的超參數(shù)，以及訓練時圖像裁剪的尺寸等。此外，飛槳還加入了圖像增強模塊，可以通過修改配置文件決定是否采用圖像增強以及修改圖像增強的策略等，這樣在數(shù)據(jù)量不足的時候也能訓練得到泛化能力強的網(wǎng)絡。模型輸入設為為640 x 512，配置完畢后即可調(diào)用訓練腳本對模型進行訓練。

第四階段：最優(yōu)模型選取

訓練網(wǎng)絡時，每5個epoch保存一次參數(shù)。采用飛槳的可視化工具VisualDL查看訓練的損失值隨訓練輪數(shù)的變化情況以及在驗證集中的準確率，選取在驗證集上準確率最高的模型，這樣可以防止過擬合。

VisualDL可視化圖：

第五階段：測試效果

利用PaddleSeg，蘇州博田農(nóng)業(yè)機器人已經(jīng)擁有排除干擾精確地將秧苗從背景中分割出來、提取外輪廓和原圖特征點、進而準確提取到中間4~5列秧苗中心線的能力，為實現(xiàn)農(nóng)機視覺導航打下了堅實的基礎。自動檢測系統(tǒng)配上GPS，蘇州博田農(nóng)業(yè)機器人已經(jīng)實現(xiàn)從出庫到入庫全程自動導航的無人化作業(yè)，大大減少了人力物力的投入，為農(nóng)民的耕作效率、健康等提供了保障。

分割結(jié)果展示，從左至右為：圖像分割結(jié)果示意圖、原圖特征點提取示意圖、秧苗列中心線提取結(jié)果示意圖。

價值成果

基于飛槳平臺，蘇州博田技術人員實現(xiàn)了在復雜的水田環(huán)境中的視覺導航線提取，提取準確率達到95％以上，處理每幀圖像耗費的時間（包括ICNet網(wǎng)絡的分割預測時間和后續(xù)導航線提取的時間）達到300ms左右，效率滿足農(nóng)機作業(yè)環(huán)境下的速度要求，將農(nóng)民從重復、枯燥的勞動中解放出來。最為顯著的提升是提取導航線精度的提升，使用PaddleSeg之前，蘇州博田試驗過其它多種方法，但遇到特殊工況時精度均難以保證，使用基于PaddleSeg的導航線提取方法后，在試驗圖像中的平均角度誤差從3.27°降低到了1.65°。在反光、缺株等情況下也基本不會出現(xiàn)角度誤差大于5°的情況。

博田的研發(fā)人員稱贊：“PaddleSeg語義分割庫使用簡單，部署方便，功能豐富。可根據(jù)實際需要以及試驗結(jié)果選用不同的分割模型和配置參數(shù)，節(jié)省了很多因‘造輪子’而浪費的時間。這不僅簡化了我們的工作，還真正實現(xiàn)了技術上的革新。大大加快了農(nóng)機智能化發(fā)展的步伐。”

蘇州博田的此項應用為自動導航農(nóng)業(yè)機器人提供了精準、高效、可靠的技術支持，讓農(nóng)機智能化、農(nóng)民職業(yè)化的偉大愿景邁出了重要的一大步，為我國精細農(nóng)業(yè)的推廣起到了促進作用。下一步，蘇州博田還計劃在溫室環(huán)境下果蔬采摘、智能巡檢等設施農(nóng)業(yè)機器人方面應用飛槳，希望未來可以讓更多的農(nóng)業(yè)從業(yè)者能實實在在地感受到智能農(nóng)業(yè)帶來的便利。