客戶背景

寧波太平鳥時尚服飾股份有限公司是一家以顧客為中心的時尚品牌零售公司，擁有遍布全國 31 個省市自治區的 4500 余家實體門店。其中太平鳥電商事業部，負責太平鳥服飾所有電商業務。 疫情期間，太平鳥電商的穩健增長很大程度上彌補了線下門店無法正常營業帶來的經濟損失。數字背后，是太平鳥電商踐行 “聚焦時尚、數據驅動、全網零售” 戰略的結果。

面臨挑戰

對源庫性能影響較大

集成商開發的采集程序是通過批量抽取的方式同步數據，抽取頻率過高會嚴重影響業務庫的性能，甚至導致鎖表

源端和目的地數據不一致

批量抽取要求表有增量識別字段，且要保證增量字段在數據發生變更時能更新，否則無法同步增量數據。另外批量方式不支持刪除操作，會導致源端和目的地數據量不一致

源端表結構變化時無法自動適配

業務系統由于需求變更，版本更新時可能會修改表結構，比如增加新字段，現有采集程序無法自動捕獲 DDL 變更，自動修改數據目的地表結構，會出現源端和目的地表結構不一致等情況

解決方案

流式處理，秒級延遲

DataPipeline 的 agent 技術可支持解析 Oracle RAC 集群的 redo 以及 archive log，通過流式處理框架，實現秒級延遲。該方式無需批量查詢數據庫，對數據源的資源占用很少，最大程度減少對業務庫的影響

解析日志，保障數據一致性

DataPipeline 可解析日志中的 DML 操作語句，支持 insert update 及 delete 操作，此外產品從框架層面支持 “At Least Once”，保障端到端的一致性

自適應表結構變化，自動同步

DataPipeline 能自適應表結構變化，通過任務配置相應策略，即可實現表結構變化的自動同步，當出現字段增刪的情況時，無需人工干預即可完成表結構自動同步

客戶價值

高性能低延遲的實時數據同步

在不影響業務庫性能的前提下，實現了高性能低延遲的實時數據同步功能，且能保證數據一致性，滿足了數據團隊的用數需求

降低運維成本，提升效率

簡單友好的操作界面，可快速搭建數據同步管道，并且自適應表結構變化，極大減輕了運維壓力，提高了團隊的工作效率

擴展數據團隊服務能力

除關系型數據庫外還支持多種數據源，如 FTP、API 等，幫助客戶快速接入如阿里媽媽的營銷數據等更多的平臺數據，迅速提升數據服務器能力