在 360基礎(chǔ)運(yùn)維平臺項目中的實踐
API 網(wǎng)關(guān)選型
2019 年 10 月，我們團(tuán)隊計劃改造 360 基礎(chǔ)運(yùn)維平臺的網(wǎng)關(guān)層，當(dāng)時我們主要調(diào)研了社區(qū)幾個比較活躍的網(wǎng)關(guān)，如 Kong，Orange，Apache APISIX，最終選擇了 Apache APISIX 當(dāng)時主要是考慮到 Apache APISIX 的存儲選型 etcd 比較符合我們的使用場景。
線上運(yùn)行情況
目前我們添加到網(wǎng)關(guān)的 API 數(shù)量接近 900 個，日均 PV 1000 萬左右，從監(jiān)控系統(tǒng)來看，網(wǎng)關(guān)以及我們各個微服務(wù)均運(yùn)行良好。
- 日均 PV
- 網(wǎng)關(guān) POD 監(jiān)控
- 微服務(wù)負(fù)載監(jiān)控圖
基礎(chǔ)運(yùn)維平臺架構(gòu)圖
下圖是我們運(yùn)維平臺項目最終的架構(gòu)圖，網(wǎng)關(guān)服務(wù)我們部署在公司的容器云上，etcd 服務(wù)我們是在 3 臺虛機(jī)上部署了一套集群。
容器化開發(fā)和部署
接下來我具體介紹一下我們是如何使用 Apache APISIX 搭建網(wǎng)關(guān)服務(wù)的，首先先給大家看下我們網(wǎng)關(guān)項目的代碼結(jié)構(gòu)
之前我給王院生(Apache APISIX PMC 之一 )看我們的項目代碼結(jié)構(gòu)時，他驚訝的問我，說怎么沒有看到 Apache APISIX 的 core 代碼。
實際上這是我們在使用容器安裝 Apache APISIX 時探索出來的一條道路。它給我們帶來最大的好處是，我們業(yè)務(wù)的代碼和 Apache APISIX 的核心代碼完全分開，方便 Apache APISIX 升級，也方便我們的業(yè)務(wù)代碼迭代。
插件化開發(fā)
1、項目插件介紹
正如在上面代碼結(jié)構(gòu)圖中所看到的，我們項目的 apisix 目錄里面有兩個目錄，libs 和 plugins，libs 里面我們放一些常用的類庫，plugins 里面存放我們自定義的業(yè)務(wù)插件，我們所有的業(yè)務(wù)都采用插件機(jī)制來開發(fā)。 下圖是我們項目中目前使用到的插件。
稍微解釋一下，我們項目的入口域名有兩個，一個是提供給 openApi 訪問的，認(rèn)證插件使用的是 Basic Auth，一個是提供給 web 瀏覽器訪問的，認(rèn)證插件使用的是 web auth(cookie 認(rèn)證)。
對應(yīng) OpenResty 的請求處理流程，我們的插件主要集中在 access 和 log 階段
| 插件 | 階段 | 描述 |
|---|---|---|
| ip-restriction | access_by_lua | ip 限流，使用 apisix 原生插件 |
| basic-auth | access_by_lua | 對 openApi 請求用戶鑒權(quán)，自研插件 |
| web-auth | access_by_lua | 對 webApi 請求用戶鑒權(quán)，自研插件 |
| limit-rate | access_by_lua | 對請求實現(xiàn)用戶級別和用戶+請求參數(shù)級別的限流，自研插件 |
| proxy-rewrite | access_by_lua,balancer_by_lua | 對請求進(jìn)行轉(zhuǎn)發(fā)，設(shè)置接口級別的超時時間，自研插件 |
| log | log_by_lua | 將請求日志記錄到 kafka，再通過 logstash 讀到 es 中，自研插件 |
| alarm | log_by_lua | 根據(jù)響應(yīng)的 statusCode 來報警，自研插件 |
2、Etcd 緩存對象
etcd 緩存對象的原理是利用 etcd 的 watch 功能，將數(shù)據(jù)從 etcd 緩存到內(nèi)存對象中，業(yè)務(wù)使用的時候直接從內(nèi)存中讀取，避免網(wǎng)絡(luò) io 消耗，etcd 的 watch 功能又保障了數(shù)據(jù)的實時性，Apache APISIX 的這一特性，簡直是讓人拍案叫絕。
上線后遇到的問題
crontab 清理日結(jié)
由于我們網(wǎng)關(guān)部署在容器，運(yùn)行一段時間之后，日志文件超過了默認(rèn)的配額 50G，后來我們在鏡像里面默認(rèn)安裝了 cron 和 logrotate，然后在容器 entrypoint 里面開啟了 cron 用來解決這個問題。
感謝
最后特別感謝一下 Apache APISIX 的貢獻(xiàn)者們，貼出 Apache APISIX 官網(wǎng)[2] 和 Apache APISIX Github 地址[3]
References
[1] etcd 官方文檔: https://doczhcn.gitbook.io/etcd/index
[2] Apache APISIX 官網(wǎng): https://apisix.apache.org/
[3] Apache APISIX Github 地址: https://github.com/apache/apisix
以上就是本次分享的內(nèi)容~
如果有什么建議，也可以在我們評論區(qū)留言，供大家參考學(xué)習(xí)。
