英特爾在半導(dǎo)體工藝改進(jìn)、在世界各地建造新的晶圓廠和制造工廠、新的封裝技術(shù)甚至軟件方面投入了大量的賭注。其中一個(gè)賭注，或者可能是一組賭注，是 oneAPI 和數(shù)據(jù)并行 C++ (DPC++)，這是一種開放的跨架構(gòu)編程模型，可讓開發(fā)人員自由地使用跨多個(gè)架構(gòu)的單一代碼庫(kù)和并行編程變體基于 Khronos SYCL 的 C/C++。這些賭注旨在使軟件開發(fā)人員更容易為基于異構(gòu)計(jì)算架構(gòu)的系統(tǒng)創(chuàng)建相對(duì)可移植的代碼。

James Reinders 在離開四年后最近回到了英特爾。他之前在英特爾工作了 27 年，擁有豐富的并行處理經(jīng)驗(yàn)。他是《Data Parallel C++: Mastering DPC++ for Programming of Heterogeneous Systems using C++ and SYCL》一書的作者。

本文作者Steven Leibson最近花了一個(gè)小時(shí)采訪 Reinders，他涵蓋了廣泛的話題。以下是他對(duì)與并行處理和異構(gòu)計(jì)算相關(guān)的一組選定主題的觀點(diǎn)的編輯。

“oneAPI 和 SYCL 都是基礎(chǔ)工具，它們共享基于開放規(guī)范和開放項(xiàng)目的加速計(jì)算愿景。oneAPI 和 SYCL 都必須滿足多個(gè)供應(yīng)商和多個(gè)架構(gòu)的需求。不僅僅是一個(gè)供應(yīng)商的需求。不僅僅是 GPU、CPU 或 FPGA。這些工具需要最大程度地開放，我們才能弄清楚如何使它們開放，因?yàn)檫@些語言和編程環(huán)境為您所做的其他一切事情提供了高性能基礎(chǔ)。”

“Python 主要是用 C 編寫的。關(guān)鍵庫(kù)也是用 C 編寫的，所以在開發(fā) oneAPI 時(shí)并不是說你忽略了 Python。如果你打好基礎(chǔ)，其他好事就會(huì)發(fā)生。OneAPI 說：“嘿，C 或 C++ 語言不是全世界。你需要庫(kù)，你需要工具。你需要其他語言。” 因此，oneAPI 是一個(gè)籠統(tǒng)的名稱，不僅適用于語言，而且適用于開發(fā)異構(gòu)計(jì)算軟件所需的所有其他東西。”

關(guān)于David Hennessy和John Patterson的 “Golden Age of Computers”。

“David Hennessy和John Patterson是我們行業(yè)的傳奇人物。在過去四年中，無論何時(shí)他們公開發(fā)表演講，他們都會(huì)討論計(jì)算機(jī)體系結(jié)構(gòu)的新黃金時(shí)代。我通常指向最多的版本是他們?cè)?2019 年初發(fā)表在 Communications of the ACM 中的文章，在那里他們很好地討論了計(jì)算機(jī)體系結(jié)構(gòu)隨著時(shí)間的推移的進(jìn)展，并最終給出了答案。他們說我們正在進(jìn)入一個(gè)新的計(jì)算機(jī)架構(gòu)黃金時(shí)代，在這個(gè)時(shí)代，專門的領(lǐng)域特定架構(gòu) (DSA) 越來越多地用于加速工作負(fù)載并獲得更好的每瓦性能，這是一些問題的驅(qū)動(dòng)關(guān)注點(diǎn)。OneAPI 旨在在統(tǒng)一的編程環(huán)境中處理這些 DSA。”

“如果您只看英特爾的產(chǎn)品組合，就會(huì)發(fā)現(xiàn)我們擁有各種加速功能。我們將專用硬件加速器與我們的處理器放在同一個(gè)芯片上。我們有 GPU。我們有 FPGA。我們有 Gaudi，它針對(duì)深度學(xué)習(xí)進(jìn)行了優(yōu)化。我們有區(qū)塊鏈 ASIC，我們有研究項(xiàng)目，包括神經(jīng)形態(tài)計(jì)算和圖形方面的工作，而這只是英特爾。你更廣泛地進(jìn)入這個(gè)行業(yè)，你會(huì)看到更多的多樣性。

“真正讓我明白這一切的是即將使用 UCIe，即 Universal Chiplet Interconnect Express。你知道，在過去，我們插入 PCIe 卡以將不同的功能放入計(jì)算機(jī)中，包括聲卡和一些早期的圖形加速器。這個(gè)想法是，如果你想要一個(gè)加速器或執(zhí)行特殊功能的東西，甚至是聲卡，你可以把它放在主板插槽中。

“現(xiàn)在的問題是，當(dāng)你構(gòu)建芯片時(shí)，你會(huì)做什么？沒有插槽。我們的設(shè)計(jì)越來越多地是由chiplet或tiles制成的多芯片設(shè)備。[英特爾的頂級(jí) GPU] Ponte Vecchio 由數(shù)量驚人的chiplet組成，有 47 個(gè)tiles。當(dāng)它們來自不同的供應(yīng)商時(shí)，你如何讓所有這些tiles相互交談？

“你可以標(biāo)準(zhǔn)化他們相互交談的方式。有一點(diǎn)是臨時(shí)完成的。你知道，英特爾不久前有一個(gè) SKU，我們將處理器與 AMD GPU 配對(duì)。顯然，有人就這些設(shè)備如何相互通信達(dá)成了一致。這是創(chuàng)建標(biāo)準(zhǔn)的自然原因。

“假設(shè)英特爾有一個(gè)使用此標(biāo)準(zhǔn)的 Xeon CPU。其他一些公司，也許是一家初創(chuàng)公司，可以開發(fā)一個(gè)chiplet，做一些非常具體的事情。如果該chiplet也采用該標(biāo)準(zhǔn)，那家初創(chuàng)公司突然可以要求英特爾將他們的chiplet粘貼到同一個(gè)封裝中的至強(qiáng) CPU 上。然后，您可以將該增強(qiáng)型 Xeon CPU 放入您可以從戴爾或其他供應(yīng)商處獲得的標(biāo)準(zhǔn)主板中。這就是 UCIe 的用途。

“這種能力有直接的好處。您不必設(shè)計(jì)新系統(tǒng)或主板。您只需在現(xiàn)有系統(tǒng)中部署增強(qiáng)型 CPU。

“然后問題是，將軟件安裝到這樣的系統(tǒng)中有多難？如果軟件工具已經(jīng)為這種多供應(yīng)商多架構(gòu)做好了準(zhǔn)備，并且如果這些工具包括編譯器、庫(kù)和性能分析工具，那么為這種增強(qiáng)架構(gòu)開發(fā)軟件就會(huì)容易得多。軟件的進(jìn)入門檻降低了。由于轉(zhuǎn)向chiplet和采用標(biāo)準(zhǔn)chipelt互連，硬件的進(jìn)入門檻降低了，然后您可以更快地進(jìn)入市場(chǎng)。”

“Codeplay 公司上市了，英特爾決定收購(gòu)它們。我很激動(dòng)。我和 Codeplay 的人一起工作過，并且很喜歡和他們一起工作。他們已經(jīng)在 Nvidia 和 AMD GPU 上工作了一段時(shí)間，但作為一家商業(yè)公司，他們一直在尋找可以承保他們工作的人。客戶會(huì)想要嗎？一些實(shí)驗(yàn)室有時(shí)會(huì)給他們種子資金，但不足以使他們的工作完全產(chǎn)品化。我有點(diǎn)猶豫要不要說“空白支票”，但他們現(xiàn)在基本上有一張來自英特爾的空白支票來生產(chǎn)他們的工作，他們不需要擔(dān)心其他人會(huì)為此付費(fèi)。您應(yīng)該會(huì)在今年晚些時(shí)候看到此次收購(gòu)的結(jié)果。

“您將看到他們的工具與英特爾發(fā)布的 SYCL 集成，因此 SYCL/DPC++ 最終能夠針對(duì)英特爾、Nvidia 和 AMD 的所有 GPU。知情人士可以在去年使用開源工具構(gòu)建此類軟件。但是讓我們面對(duì)現(xiàn)實(shí)吧，我們大多數(shù)人都想盡可能地懶惰。我真的很喜歡通過單擊下載二進(jìn)制文件、安裝它并讓它正常工作，而不是從開源文件構(gòu)建它并閱讀大量說明將文件轉(zhuǎn)換為可用工具。

“我們還將 oneAPI 社區(qū)的管理權(quán)移交給 Codeplay，他們會(huì)將其轉(zhuǎn)變?yōu)樾袠I(yè)驅(qū)動(dòng)的東西。我們說它是行業(yè)驅(qū)動(dòng)的，但英特爾必須緊緊握住筆才能讓行業(yè)驅(qū)動(dòng)它。現(xiàn)在 Codeplay 將運(yùn)行該節(jié)目以幫助過渡到完全的行業(yè)控制。

“你知道，Codeplay 雇傭了近 100 名工程師。ArrayFire 有四個(gè)。所以，這兩家公司的收購(gòu)在這方面是不同的。但是 ArrayFire 的人非常有才華，他們顯然與公司和技術(shù)有著深厚的歷史。他們是真正的先驅(qū)。

“當(dāng)我與 ArrayFire 的首席執(zhí)行官兼聯(lián)合創(chuàng)始人 John [Melonakos] 會(huì)面時(shí)，我請(qǐng)他寫一些關(guān)于此次收購(gòu)的事情，他寫的內(nèi)容真的很謙虛。我說：“天哪！你們是開拓者。我們需要比這更多的東西！” 約翰同意了，所以我添加了一些關(guān)于 ArrayFire 開創(chuàng)性工作的內(nèi)容，因?yàn)槲曳浅Ｏ矚g他們所做的事情。我們非常高興能有他們加入。

“你知道，ArrayFire 的人開發(fā)了很多東西，最終成為 MATLAB 中的并行工具包和相關(guān)工具。他們將其出售或許可這些工具，然后創(chuàng)建了一個(gè)非常易于使用的便攜式 GPU 內(nèi)在函數(shù)庫(kù)。這些內(nèi)在函數(shù)只在任何人的 GPU 上運(yùn)行。因此，他們正在解決為 GPU 編寫代碼的問題，而無需在 [Nvidia 的] CUDA 中編寫代碼，這樣軟件開發(fā)人員就可以利用任何人的 GPU。Facebook 的一些研究人員使用 ArrayFire 的內(nèi)在函數(shù)來開發(fā)機(jī)器學(xué)習(xí)代碼并獲得了驚人的加速。他們的代碼比 CUDA 實(shí)現(xiàn)更好，這對(duì) ArrayFire 的人來說是一個(gè)真實(shí)的證明。他們真正了解如何優(yōu)化 GPU 性能。任何 GPU。”

“我看到 oneAPI 將在未來幾年內(nèi)取得一些重大進(jìn)展。首先，我們必須證明 oneAPI 適用于英特爾。我們已經(jīng)完成了一項(xiàng)出色的工作，展示了一個(gè) API 在我們的 CPU 和 FPGA 上的出色表現(xiàn)。每個(gè)人都在等待 [支持] [Intel] GPU Ponte Vecchio 及其繼任者。這將會(huì)發(fā)生。誕生一個(gè)新的架構(gòu)總是很痛苦的，不管我們?cè)趺凑f它不會(huì)。我已經(jīng)經(jīng)歷了好幾次了，所以我認(rèn)為這將非常令人興奮。我對(duì) Ponte Vecchio 的所作所為感到非常興奮。

“但證明 oneAPI 真正滿足英特爾的需求和英特爾客戶的全面需求是第一個(gè)重大挑戰(zhàn)。下一個(gè)挑戰(zhàn)是證明 oneAPI 也適用于其他架構(gòu)。所以，我提到的關(guān)于 Codeplay 的事情，關(guān)于 Nvidia 和 AMD 的支持……在接下來的幾年里，你會(huì)看到一些有趣的結(jié)果。今年我們將發(fā)布更多結(jié)果，但在接下來的幾年中，我認(rèn)為它將成為一個(gè)共識(shí)，即 oneAPI 對(duì)于針對(duì)來自多個(gè)供應(yīng)商的多個(gè)架構(gòu)的軟件開發(fā)人員來說是可行的。目前，有大量證據(jù)表明這一點(diǎn)，早期采用者在過去幾年發(fā)表了大量整潔的論文，顯示出積極的結(jié)果，但這還不是常識(shí)。估計(jì)兩年后 它會(huì)成為常識(shí)。這是我的期望。

“所以這是高水平。oneAPI 到底是什么？您將在英特爾創(chuàng)新活動(dòng)中看到它。將 oneAPI 開發(fā)和支持轉(zhuǎn)移到 Codeplay 是標(biāo)準(zhǔn)發(fā)展的下一步。我認(rèn)為英特爾在推出 oneAPI 方面做得很好，但現(xiàn)在它需要額外的幫助，所以英特爾需要放手一點(diǎn)。我正在幫助英特爾做到這一點(diǎn)，并鼓勵(lì)業(yè)界告訴我們什么是最重要的，以引導(dǎo) oneAPI 從這里向前發(fā)展。”