客戶背景

寧波太平鳥時尚服飾股份有限公司是一家以顧客為中心的時尚品牌零售公司，擁有遍布全國 31 個省市自治區(qū)的 4500 余家實體門店。其中太平鳥電商事業(yè)部，負(fù)責(zé)太平鳥服飾所有電商業(yè)務(wù)。 疫情期間，太平鳥電商的穩(wěn)健增長很大程度上彌補了線下門店無法正常營業(yè)帶來的經(jīng)濟損失。數(shù)字背后，是太平鳥電商踐行 “聚焦時尚、數(shù)據(jù)驅(qū)動、全網(wǎng)零售” 戰(zhàn)略的結(jié)果。

面臨挑戰(zhàn)

對源庫性能影響較大

集成商開發(fā)的采集程序是通過批量抽取的方式同步數(shù)據(jù)，抽取頻率過高會嚴(yán)重影響業(yè)務(wù)庫的性能，甚至導(dǎo)致鎖表

源端和目的地數(shù)據(jù)不一致

批量抽取要求表有增量識別字段，且要保證增量字段在數(shù)據(jù)發(fā)生變更時能更新，否則無法同步增量數(shù)據(jù)。另外批量方式不支持刪除操作，會導(dǎo)致源端和目的地數(shù)據(jù)量不一致

源端表結(jié)構(gòu)變化時無法自動適配

業(yè)務(wù)系統(tǒng)由于需求變更，版本更新時可能會修改表結(jié)構(gòu)，比如增加新字段，現(xiàn)有采集程序無法自動捕獲 DDL 變更，自動修改數(shù)據(jù)目的地表結(jié)構(gòu)，會出現(xiàn)源端和目的地表結(jié)構(gòu)不一致等情況

解決方案

流式處理，秒級延遲

DataPipeline 的 agent 技術(shù)可支持解析 Oracle RAC 集群的 redo 以及 archive log，通過流式處理框架，實現(xiàn)秒級延遲。該方式無需批量查詢數(shù)據(jù)庫，對數(shù)據(jù)源的資源占用很少，最大程度減少對業(yè)務(wù)庫的影響

解析日志，保障數(shù)據(jù)一致性

DataPipeline 可解析日志中的 DML 操作語句，支持 insert update 及 delete 操作，此外產(chǎn)品從框架層面支持 “At Least Once”，保障端到端的一致性

自適應(yīng)表結(jié)構(gòu)變化，自動同步

DataPipeline 能自適應(yīng)表結(jié)構(gòu)變化，通過任務(wù)配置相應(yīng)策略，即可實現(xiàn)表結(jié)構(gòu)變化的自動同步，當(dāng)出現(xiàn)字段增刪的情況時，無需人工干預(yù)即可完成表結(jié)構(gòu)自動同步

客戶價值

高性能低延遲的實時數(shù)據(jù)同步

在不影響業(yè)務(wù)庫性能的前提下，實現(xiàn)了高性能低延遲的實時數(shù)據(jù)同步功能，且能保證數(shù)據(jù)一致性，滿足了數(shù)據(jù)團隊的用數(shù)需求

降低運維成本，提升效率

簡單友好的操作界面，可快速搭建數(shù)據(jù)同步管道，并且自適應(yīng)表結(jié)構(gòu)變化，極大減輕了運維壓力，提高了團隊的工作效率

擴展數(shù)據(jù)團隊服務(wù)能力

除關(guān)系型數(shù)據(jù)庫外還支持多種數(shù)據(jù)源，如 FTP、API 等，幫助客戶快速接入如阿里媽媽的營銷數(shù)據(jù)等更多的平臺數(shù)據(jù)，迅速提升數(shù)據(jù)服務(wù)器能力