一文帶你系統(tǒng)梳理Google三駕馬車

接地氣的陳老師

+ 關(guān)注

2022-09-16 10:16

705次閱讀

不知道大家在工作中，有沒有遇到過這類同學(xué)：他們無論做什么項(xiàng)目，好像都能夠抓到問題的本質(zhì)，做得「游刃有余」。

我也經(jīng)常碰到這類數(shù)據(jù)同學(xué)，每次我向他們請教究竟是如何做到的，他們給出的答案都少不了這一個(gè)： 讀經(jīng)典論文 。

確實(shí)，關(guān)于學(xué)習(xí)和處理問題的方式，他們和很多普通數(shù)據(jù)人不太一樣。

比如，在面對一個(gè)異常復(fù)雜的系統(tǒng)時(shí)，我們不可避免會(huì)遇到一些問題，但大部分人的解決方式很簡單：去群里問別人有沒有可靠的解決方案，或是在技術(shù)社區(qū)搜索答案。

但很少人會(huì)想到看論文，去挖整個(gè)系統(tǒng)的「來龍去脈」。

這也能理解，畢竟說到讀論文，就是一個(gè)字：難。

一是原版論文都是英文，理解起來太費(fèi)勁；二是學(xué)習(xí)資料良莠不齊，很難靠自己梳理出一條清晰的學(xué)習(xí)路徑，去深入了解并建立數(shù)據(jù)系統(tǒng)的底層知識(shí)體系。

但要想成為真正的優(yōu)秀數(shù)據(jù)工程師，把技術(shù)研究精深，我認(rèn)為「讀經(jīng)典論文」是必不可少的，也是最快的學(xué)習(xí)方式。

因?yàn)樽詈诵牡臇|西，就在其中，一旦看懂，就可以「 觸類旁通」，從使用到開發(fā)，很多細(xì)節(jié)通過腦補(bǔ)就可以猜個(gè)八九不離十。

而且，在如今的互聯(lián)網(wǎng)時(shí)代，到處可見「分布式系統(tǒng)」，尤其是「大數(shù)據(jù)」時(shí)代到來之后， 各種優(yōu)秀的分布式系統(tǒng)層出不窮，但它們實(shí)現(xiàn)的本質(zhì)，都源于那幾篇經(jīng)典的研究和論文。

其中對分布式系統(tǒng)工程實(shí)踐領(lǐng)域，貢獻(xiàn)最大的公司是 Google，Google 的基礎(chǔ)設(shè)施有三駕馬車，分別是《Google File System》、《Google MapReduce》以及《Google BigTable》。

Google 發(fā)表了這三篇論文以后，基本上「奠定」了業(yè)界大規(guī)模分布式存儲(chǔ)系統(tǒng)的理論基礎(chǔ)。

現(xiàn)如今非常流行的 HDFS、MapReduce、Hbase ，以及國產(chǎn)數(shù)據(jù)庫軟件 TiDB、OceanBase 都是參考這幾篇經(jīng)典論文設(shè)計(jì)的，可見這些基礎(chǔ)原理的重要性。

會(huì)用某個(gè)開源框架，是懂了「基礎(chǔ)招式」。看開源框架的源碼，是「武功秘籍」，能讓你更高效地 debug。那研讀論文，就是真正的「內(nèi)功心法」。

武功招式可能每年都在更新迭代，但內(nèi)功心法卻不僅只在今時(shí)今日有用，更能讓你一輩子受益。

我也能理解，在大部分?jǐn)?shù)據(jù)人的工作中，都忙著實(shí)現(xiàn)業(yè)務(wù)功能。90% 的工作是重復(fù)的邏輯堆砌，10% 涉及到底層、架構(gòu)或核心算法的東西，而實(shí)際上， 正是這 10%，決定了你和頂級數(shù)據(jù)工程師的差距。

那么，讀經(jīng)典論文有什么好的方法嗎？

網(wǎng)上這類的資料其實(shí)并不多，最近看到極客時(shí)間專門做了個(gè)專欄《 大數(shù)據(jù)經(jīng)典論文解讀》，我第一時(shí)間買來看了看，看目錄發(fā)現(xiàn)內(nèi)容太全了，基本覆蓋了讀論文的痛點(diǎn)問題。

這個(gè)專欄的作者是徐文浩，簡單介紹下，他是 bothub.ai 創(chuàng)始人，一個(gè)創(chuàng)業(yè)的程序員，正在工業(yè)界的實(shí)戰(zhàn)經(jīng)驗(yàn)非常豐富。寫過各種大型企業(yè)軟件，從零開始搭建支撐每天百億流量的廣告算法系統(tǒng)，提升了十倍以上的廣告收入和 ROI。

可能更出名的，是他的另一個(gè)爆款專欄《深入淺出計(jì)算機(jī)組成原理》，我 2 刷過了。只能說「太會(huì)講了」，把底層知識(shí)講得清晰透徹，還吸引著讀者深挖下去，功力可見一斑。目前有超過 25000 人訂閱，也是出于對他的認(rèn)可，所以上線時(shí)，毫不猶豫就買了他的新課。

這個(gè)論文解讀課，總結(jié)來說，就是讓你從經(jīng)典論文入手，提升問題解決能力。

專欄精進(jìn)了 10 余篇數(shù)據(jù)工程師必讀的經(jīng)典論文，給出一條大數(shù)據(jù)系統(tǒng)底層知識(shí)學(xué)習(xí)路徑，還有工業(yè)級數(shù)據(jù)系統(tǒng)迭代方案。你不僅獲得一些大數(shù)據(jù)的知識(shí)，更能從系統(tǒng)架構(gòu)、計(jì)算機(jī)底層原理層面，獲得深入而長久的成長。

我一直認(rèn)為，學(xué)習(xí)是自我驅(qū)動(dòng)，要學(xué)會(huì)自己「找食物」，而不是「等著喂」。現(xiàn)在我把很靠譜的老師和學(xué)習(xí)方法，推薦給你，剩下的就看你自己了。

除了老師是工業(yè)界大牛這個(gè)點(diǎn)外，專欄還有其他幾個(gè)比較吸引我的地方：

1、超 10 篇必讀經(jīng)典論文精講

從最經(jīng)典的 Google 三駕馬車：GFS、MapReduce 和 Bigtable 這三篇「經(jīng)典論文」開始講起，幫你理解大數(shù)據(jù)系統(tǒng)面對的主要挑戰(zhàn)，以及應(yīng)對這些挑戰(zhàn)的架構(gòu)設(shè)計(jì)方法。

進(jìn)一步地，帶你一起來看大數(shù)據(jù)系統(tǒng)依賴的分布式鎖 Chubby、序列化和 RPC 方案 Thrift，讓你能夠?qū)⒓軜?gòu)設(shè)計(jì)和計(jì)算機(jī)底層原理結(jié)合到一起，掌握好計(jì)算機(jī)科學(xué)的底層原理。

2、簡化大數(shù)據(jù)論文的脈絡(luò)關(guān)系

前面我也提到過，我們面對的是異常復(fù)雜的系統(tǒng)，而徐文浩幫大家簡化過了大數(shù)據(jù)論文「脈絡(luò)關(guān)系」，讓你在對某一篇論文感到困惑的時(shí)候，可以通過脈絡(luò)圖翻看它前后對應(yīng)的論文，找到對應(yīng)問題的來龍去脈，讓你在研讀大數(shù)據(jù)論文的時(shí)候，有一個(gè)清晰的方向。

3、剖析論文核心思想

專欄一共 36 講，手把手帶你剖析論文「核心思想」，帶大家深入體會(huì)「大型系統(tǒng)」瓶頸的完善過程，并給你真實(shí)、具體且獨(dú)到的高手思路和經(jīng)驗(yàn)觀點(diǎn)。最終讓大家能夠得到的衍生性啟發(fā)，「舉一反三」的思路開拓，從而在平時(shí)工作中應(yīng)用、改進(jìn)和創(chuàng)新。

說了這么多，來看目錄，我 相信它會(huì)成為一個(gè)經(jīng)典專欄。