日郵物流使用Alteryx，全面提升數據運營效率
用例概述
日郵物流（Yusen Logistics）是世界領先的合同物流和國際貨運代理提供商，涵蓋從獨立運營到全球供應鏈等一系列的解決方案。日郵物流在歐洲、日本、東亞、大洋洲和美洲設有地區總部，在全球45個市場擁有超過24 000名員工，致力于為客戶提供無縫連接的供應鏈解決方案。我們的目標只愿成為您首選的供應鏈物流公司。
我們是Eric Wong和Linda Lo，來自日郵香港全球總部流程管理部門的數據分析師。我們的角色和責任是為業務部門提供可靠和干凈的數據，執行面向業務的分析，并通過我們的分析和工具提供業務洞察。我們每天都會使用Alteryx準備和處理數據。下面將為您介紹使用Alteryx完成的四個用例。第一個和第二個用例展示了我們如何使用Alteryx改進ETL流程和數據驗證流程。第三個用例，您將了解到我們如何使用Alteryx評估我們的運營審核系統，最后，我們將向您展示如何從不同的文件類型中提取數據。
每天的使用讓我們對Alteryx有了更進一步的了解，并真切地感受到了它的用戶友好性。如果沒有系統的IT技術背景，用戶（尤其是初學者）將很難理解和學習數據分析。但是有了Alteryx，所有不同背景和崗位的用戶都可以使用各種內置工具來執行數據轉換，甚至進行預測建模！
用例1 改善ETL流程
業務挑戰
我們公司正在使用BI工具做ETL，處理來自于我們主要的運營系統獲得的數據。由于還需接入更多來自不同系統和部門的數據，我們希望提供一種用戶友好的工具，讓沒有IT背景的業務用戶也可以輕松地理解數據，從而使他們更好地參與公司的數據準備工作。
毫無疑問，我們需要專業的ETL工具來推動ETL流程。因此，我們提取必要的數據并執行ETL，為會計部門端到端創建Excel報表，作為POC來評估Alteryx的性能表現。
我們嘗試解決公司的數據準備和數據融合的問題。它分為三部分。
首先，我們發現業務用戶與IT開發人員之間的溝通是一個耗時的過程。IT開發人員負責數據準備，使用SQL從我們的運營系統中提取數據，然后在業務用戶提出需求后使用腳本在BI工具中進行數據融合。業務用戶和IT開發人員之間總是存在誤解，這再正常不過了。所以，這個過程異常痛苦且漫長。
其次，我們想用Alteryx代替ETL流程，以連接到不同的BI工具以進行進一步的可視化。由于我們在不同國家/地區使用不同的BI工具，我們需要花費更多時間來對融合后的數據進行轉換，以適合各自的BI工具。
公司所有的業務用戶和IT開發人員每天都會遇到這些問題。因此，我們希望業務用戶能夠參與數據準備和數據融合，減少所需總時長。此外，我們還希望有一個可以導出為不同文件格式的工具，允許用戶連接到不同的BI工具，以方便后續使用。
最后，我們需要處理大量數據，包括運營、財務、CRM數據等。但是，僅將數據存儲在BI中，而沒有放在數據倉庫或數據湖中，使我們無法充分利用數據。受限于BI工具自身對諸如API、應用和機器學習的支持，我們并不能輕松連接所有數據。
解決方案
數據：數據來自我們的運營系統和各種Excel映射表。
產品：Alteryx Designer和Alteryx Server
平臺/技術：融合后的數據存儲在Azure中，允許其他用戶直接連接數據結果，并為會計部門生成關鍵的Excel報告
部署：創建工作流，發布到Gallery中，并設置了每日調度。現在我們可以使用各種BI工具和Excel電子表格來可視化數據。
ETL流程概覽
1. 數據提取
2. 匹配文件融合
3. 數據融合
4. 報表準備
獲得收益
完成此POC后，我們總結了Alteryx幾點明顯的優勢。首先，它消除了重復流程，讓我們花費的時間更少 – 新的工作流包含了所有必要的步驟，可以與之前通過傳統ETL獲得相同的結果。盡管報表的呈現形式可能不如專業BI工具那樣豐富，但它為我們給管理層提供關鍵報表節省了大量時間。
在此之前，當業務用戶發現數據差異時，只有IT開發人員能夠進行調查與修改。而現在，業務用戶在以更有效的方式更多地了解公司數據的同時，也能夠自己調查已構建的內容。
最后，我們發現，在POC完成并展示成效后，我們內部的用戶滿意度顯著提高，包括來自管理層和其他部門的同事。他們所有人都認同，無腳本對于我們公司處理數據確實至關重要。
起初，我們從一個簡單的工作流開始，將兩個數據源通過ETL后合并。然后我們發現上手并不難。我們總可以使用少于10種工具來獲取結果。
Alteryx使錯誤跟蹤變得容易，這是平臺的強大組件。用戶還可以看到警告信息，這在其它工具中可能并不常見。此外，大多數工具都有輸入和輸出窗口，使用戶可以輕松查看應用每種工具前后的差異。Alteryx的這一功能非常重要，用戶無需重復運行相同的工作流即可找出差別。對我來說，使用Alteryx進行數據分析就像使用Excel一樣容易。
用例2 優化數據驗證流程
業務挑戰
我們的管理層一直希望能客觀評定公司的業績表現。我們提取各種數據，創建各式各樣的分析和報表，為他們提供準確和可信的報告反映公司的真實情況。
與此同時，運營的職責是將貨運信息輸入到運營系統中。但在此過程中，沒有報告和測量等手段用以實時監測。由于運營與潛在后果沒有關聯起來，因此不會給他們帶來太多直接影響。但如果他們輸入的數據不準確，將會極大地影響我們后續的分析。
解決方案
我們使用Alteryx承擔運營監控的角色，而不是直接獲取數據，然后意識到有錯誤再加以改正。現在我們能夠從數據庫中提取運營數據，然后應用多個驗證工作流來檢查數據質量。如果有任何問題，我們可以導出一些錯誤消息，甚至直接修改數據。在這種情況下，用戶可以立即意識到數據輸入錯誤，并采取措施及時糾正。
上方的粉色框中是驗證的部分。我們應用一些業務邏輯來校驗數據。例如對于空運，我們必須在預計離港時間（ETD，Estimated Time of Departure）（最多30天內）當天或之前簽發《航空主運單》（MAWB，Master AirWay Bill）。錯誤的ETD/ MAWB將導致分支機構或客戶之間的錯誤結算。同時還會影響流量計算。我們檢查兩個日期之間的差距有多大。如果相差大于30天，我們將其視為“不匹配”。
要顯示“不匹配”的消息，我們需要將XML文件導出到我們的eAdaptor，以便將信息傳輸到運營系統。因此，在上方工作流的藍色部分，我們編寫了一個循環，創建包含不正確貨運信息的XML文件 – 消息將發送到運營系統。
之后，我們可以立刻為操作員創建注釋。如果發生任何問題，他們可以立即采取措施，最大程度地減少因輸入錯誤數據而導致的成本。
獲得收益
我們在運營系統中需要介入大量的人工輸入。在此過程中，人為錯誤自然會發生。我們始終強調數據質量的重要性。沒有良好的數據質量做保證，我們在后期將需要大量的KPI、審核和各種調查，并且很難及時反映出實際情況。更重要的是，很難追溯操作員到底做錯了什么。
通過這種新方法，操作員現在可以在編輯貨運數據時接收到消息。追溯他們輸入的錯誤或產生錯誤的原因將容易得多。如果發生任何問題，會立即進行信息傳遞。我們還可以直接修改運營數據以減少手動工作。
用例3 審查評分
業務挑戰
目前，我們將報價信息輸入到一個系統，但該系統與我們的運營系統并沒有打通。對于用戶而言，他們必須在報價系統中查詢客戶價格，然后將信息輸入到我們的主系統中。我們必須來回手動檢查兩個系統。
由于海上運輸的費用計算非常復雜，我們希望將一部分通用流程自動化，以提高查詢流程的效率。我們開發了一個工作流，以根據報價系統審核運營系統中的費用清單。
解決方案
對于報價系統，它提供了REST API連接服務。因此，我們可以直接通過查詢調用報價。為此，我們利用Alteryx處理查詢并利用JSON解析工具下載JSON數據。之后，我們可以將輸出解析至多個表并將其儲存。我們還將其放入一個循環中以提取多個記錄。
通過API獲取數據后，我們現在可以將報價數據（藍色部分）與運營系統的數據（紅色部分）進行比較。在綠色部分，我們應用業務邏輯并做了相應的映射，使兩個系統的主數據保持一致。
獲得收益
在首次試用新方法后，我們用自動化取代了40％的人工檢查。使用Alteryx，可以完成大部分費用清單的審查。因此清單樣本將小得多，花費在人工審查上的工作時間也更少。效率得到極大提升！
用例4 使用Alteryx提取不同文件類型里的數據
業務挑戰
在公司里，我們總會收到來自不同客戶和托運人的預訂。他們會提供各種文件類型（word、pdf、mht、html、jpg、png…）給我們，操作員們不得不手動將信息輸入到我們的運營系統中。該流程手動化程度非常高且極其耗時。
因為我們屬于流程管理團隊，我們的目標是盡可能簡化和減少手動工作。從接收客戶的電子郵件到捕獲基本信息并更新至我們的系統YUNAS，我們都想在Alteryx中嘗試一下！
解決方案
首先，我們提取了與預訂相關的電子郵件，并將它們放入一個中心文件夾以備將來使用。每天可以對此流程進行調度，減少手動工作，并降低忽略郵件的幾率。
接下來，我們必須提取數據并將其輸入到Alteryx中。與加載Excel或數據庫不同，Alteryx無法直接讀取這些文件。為了處理各類文件以實現我們的目標，我們運用了不同的方法來讀取內部數據。
Word
使用“運行命令”工具運行批處理文件。它用于更改文本中的文檔，以便可以在Alteryx中讀取。
MHT / HTML
這類文件的讀取相當簡單直接。我們可以使用“動態輸入”來執行。
由于Alteryx沒有能直接提取PDF內信息的工具。我們使用Gallery中提供的一個工具，并使用R包來讀取PDF。然后便可以直接在Alteryx中讀取PDF文件了。
JPG / PNG
對于圖像，與PDF相同，我們無法將其直接導入到Alteryx。要讀取圖像文件，我們必須使用光學字符識別（OCR）技術。我們使用R包讀取圖像。對于這一部分，您還可以使用商用OCR工具并將其導入至Alteryx，以進行數據轉換或混合。
獲得收益
這是對Alteryx讀取不同的文件類型進行的一次很好的嘗試。數據不僅限于Excel或數據庫，還擴展到文檔和圖像。Alteryx有助于表現OCR功能，這是一種非常有趣的新體驗。將數據輸入Alteryx之后，我們可以為后續步驟執行數據混合。
接著，我們進一步使用Alteryx編寫XML文件，然后將數據傳輸回我們的運營系統。盡管Alteryx并不是執行OCR的專屬工具，但是它高度的靈活性讓我們能夠探索不同的新事物，并帶來無限的可能性。
總而言之，我們為什么需要進行Alteryx POC的原因是我們希望能利用手中擁有的所有數據。數據是我們公司的重要資產。但是，它們是孤立的并存儲在不同的系統中，很難將它們合并在一起，實現端到端每一步的可視化。像ERP系統一樣，最終目標是將所有內容都連接到一個平臺上，實現更優化的管理。營銷數據、會計數據、CRM數據、運營數據、財務數據可以關聯在一起，向我們展示清晰的畫面，指導我們如何改善業務。Alteryx讓我們擁有足夠吸引人的功能，例如自動發送電子郵件和XML導出功能。最后，我們希望在將來減少手動工作，遷移到自動化的未來。
的確，Alteryx令人印象最深刻的詞是“公民數據科學家”。我們很高興看到Alteryx正在逐步實現這一目標。隨著數據變得日益重要，我們不可避免地要接觸多個數據源。學習如何同時處理如此大量的數據和應對各種數據源是未來成功的關鍵。過去，我們從過往的經驗中識別模式來分析數據。但是，這與現代的需求相距甚遠。在Alteryx的幫助下，我相信每個人都一定能并最終成為“公民數據科學家”。
