一文帶你系統梳理Google三駕馬車

接地氣的陳老師

+ 關注

2022-09-16 10:16

684次閱讀

不知道大家在工作中，有沒有遇到過這類同學：他們無論做什么項目，好像都能夠抓到問題的本質，做得「游刃有余」。

我也經常碰到這類數據同學，每次我向他們請教究竟是如何做到的，他們給出的答案都少不了這一個： 讀經典論文 。

確實，關于學習和處理問題的方式，他們和很多普通數據人不太一樣。

比如，在面對一個異常復雜的系統時，我們不可避免會遇到一些問題，但大部分人的解決方式很簡單：去群里問別人有沒有可靠的解決方案，或是在技術社區搜索答案。

但很少人會想到看論文，去挖整個系統的「來龍去脈」。

這也能理解，畢竟說到讀論文，就是一個字：難。

一是原版論文都是英文，理解起來太費勁；二是學習資料良莠不齊，很難靠自己梳理出一條清晰的學習路徑，去深入了解并建立數據系統的底層知識體系。

但要想成為真正的優秀數據工程師，把技術研究精深，我認為「讀經典論文」是必不可少的，也是最快的學習方式。

因為最核心的東西，就在其中，一旦看懂，就可以「 觸類旁通」，從使用到開發，很多細節通過腦補就可以猜個八九不離十。

而且，在如今的互聯網時代，到處可見「分布式系統」，尤其是「大數據」時代到來之后， 各種優秀的分布式系統層出不窮，但它們實現的本質，都源于那幾篇經典的研究和論文。

其中對分布式系統工程實踐領域，貢獻最大的公司是 Google，Google 的基礎設施有三駕馬車，分別是《Google File System》、《Google MapReduce》以及《Google BigTable》。

Google 發表了這三篇論文以后，基本上「奠定」了業界大規模分布式存儲系統的理論基礎。

現如今非常流行的 HDFS、MapReduce、Hbase ，以及國產數據庫軟件 TiDB、OceanBase 都是參考這幾篇經典論文設計的，可見這些基礎原理的重要性。

會用某個開源框架，是懂了「基礎招式」。看開源框架的源碼，是「武功秘籍」，能讓你更高效地 debug。那研讀論文，就是真正的「內功心法」。

武功招式可能每年都在更新迭代，但內功心法卻不僅只在今時今日有用，更能讓你一輩子受益。

我也能理解，在大部分數據人的工作中，都忙著實現業務功能。90% 的工作是重復的邏輯堆砌，10% 涉及到底層、架構或核心算法的東西，而實際上， 正是這 10%，決定了你和頂級數據工程師的差距。

那么，讀經典論文有什么好的方法嗎？

網上這類的資料其實并不多，最近看到極客時間專門做了個專欄《 大數據經典論文解讀》，我第一時間買來看了看，看目錄發現內容太全了，基本覆蓋了讀論文的痛點問題。

這個專欄的作者是徐文浩，簡單介紹下，他是 bothub.ai 創始人，一個創業的程序員，正在工業界的實戰經驗非常豐富。寫過各種大型企業軟件，從零開始搭建支撐每天百億流量的廣告算法系統，提升了十倍以上的廣告收入和 ROI。

可能更出名的，是他的另一個爆款專欄《深入淺出計算機組成原理》，我 2 刷過了。只能說「太會講了」，把底層知識講得清晰透徹，還吸引著讀者深挖下去，功力可見一斑。目前有超過 25000 人訂閱，也是出于對他的認可，所以上線時，毫不猶豫就買了他的新課。

這個論文解讀課，總結來說，就是讓你從經典論文入手，提升問題解決能力。

專欄精進了 10 余篇數據工程師必讀的經典論文，給出一條大數據系統底層知識學習路徑，還有工業級數據系統迭代方案。你不僅獲得一些大數據的知識，更能從系統架構、計算機底層原理層面，獲得深入而長久的成長。

我一直認為，學習是自我驅動，要學會自己「找食物」，而不是「等著喂」。現在我把很靠譜的老師和學習方法，推薦給你，剩下的就看你自己了。

除了老師是工業界大牛這個點外，專欄還有其他幾個比較吸引我的地方：

1、超 10 篇必讀經典論文精講

從最經典的 Google 三駕馬車：GFS、MapReduce 和 Bigtable 這三篇「經典論文」開始講起，幫你理解大數據系統面對的主要挑戰，以及應對這些挑戰的架構設計方法。

進一步地，帶你一起來看大數據系統依賴的分布式鎖 Chubby、序列化和 RPC 方案 Thrift，讓你能夠將架構設計和計算機底層原理結合到一起，掌握好計算機科學的底層原理。

2、簡化大數據論文的脈絡關系

前面我也提到過，我們面對的是異常復雜的系統，而徐文浩幫大家簡化過了大數據論文「脈絡關系」，讓你在對某一篇論文感到困惑的時候，可以通過脈絡圖翻看它前后對應的論文，找到對應問題的來龍去脈，讓你在研讀大數據論文的時候，有一個清晰的方向。

3、剖析論文核心思想

專欄一共 36 講，手把手帶你剖析論文「核心思想」，帶大家深入體會「大型系統」瓶頸的完善過程，并給你真實、具體且獨到的高手思路和經驗觀點。最終讓大家能夠得到的衍生性啟發，「舉一反三」的思路開拓，從而在平時工作中應用、改進和創新。

說了這么多，來看目錄，我 相信它會成為一個經典專欄。

最后，我想和你分享一句話： 認真研讀「經典論文」，是每一個數據人的成年禮，希望你可以把握這次機會，一起共勉。

本文來自微信公眾號“接地氣的陳老師”（ID:gh_abf29df6ada8），作者：，36氪經授權發布。

国产精一区二区_午夜视频99_免费白白视频_中文字幕一区免费