四、架構(gòu)解析之Tensor核心、AI加速

NVIDIA在伏特架構(gòu)上引入了全新的專用處理模塊Tensor Core，也就是張量計(jì)算核心，重點(diǎn)用來(lái)支持深度學(xué)習(xí)、高性能計(jì)算(也是晶體管大戶)。

圖靈架構(gòu)則是在游戲卡上引入Tensor Core，同時(shí)針對(duì)游戲圖形應(yīng)用做了大量的調(diào)整優(yōu)化，尤其是浮點(diǎn)精度方面。

Tensor的意思是張量，不同于我們常見(jiàn)的標(biāo)量(零維)、矢量(一維)、矩陣(三維)，擁有三維或者更高維度，簡(jiǎn)單地說(shuō)就是一個(gè)數(shù)據(jù)容器，可以包含多個(gè)維度的數(shù)據(jù)。

現(xiàn)在火熱的深度學(xué)習(xí)，就運(yùn)用了超大規(guī)模的數(shù)據(jù)運(yùn)算，其中就經(jīng)常會(huì)用到矩陣融合乘加(FMA)運(yùn)算，Tensor核心就是為這種矩陣數(shù)學(xué)運(yùn)算專門服務(wù)的。

它可以對(duì)兩個(gè)4×4 FP16浮點(diǎn)矩陣進(jìn)行相乘操作，然后將結(jié)果加入到另一個(gè)4×4 FP16/FP32浮點(diǎn)矩陣中，最終輸出新的4×4 FP16/FP32矩陣，這叫做混合精度數(shù)學(xué)運(yùn)算，因?yàn)檩斎刖仃囀前刖?，結(jié)果則可以達(dá)到全精度。

每個(gè)時(shí)鐘周期內(nèi)，圖靈架構(gòu)的Tensor核心可以執(zhí)行64個(gè)FMA運(yùn)算，從而大大加速矩陣運(yùn)算，可用于新的神經(jīng)實(shí)時(shí)圖形渲染、深度學(xué)習(xí)訓(xùn)練和推理。

圖靈架構(gòu)每個(gè)SM陣列里有8個(gè)Tenor核心，總計(jì)576個(gè)，完整支持114TFlops FP16浮點(diǎn)運(yùn)算(每秒114萬(wàn)億次)，同時(shí)支持228TOPS INT8、455TOPS INT4整數(shù)運(yùn)算(每秒228億次、455億次)，后者是伏特架構(gòu)里沒(méi)有的。

NVIDIA把看起來(lái)高深莫測(cè)的Tensor核心放到游戲卡里，顯然不是做專業(yè)運(yùn)算的，其深度學(xué)習(xí)能力也是為游戲服務(wù)的，結(jié)合新的神經(jīng)圖形框架(Neural Graphics Framework)，簡(jiǎn)稱NGX，可以在游戲中實(shí)現(xiàn)DLSS深度學(xué)習(xí)超采樣抗鋸齒、AI Super Rez超級(jí)分辨率、AI Slow-Mo慢動(dòng)作、AI InPainting等等。

這些計(jì)算繁瑣、資源消耗巨大的操作，在以往也可以實(shí)現(xiàn)，但會(huì)付出很大的代價(jià)，效果也不盡如人意，如今有了新的Tensor核心，就可以建立屬于GPU核心自己的DNN深度神經(jīng)網(wǎng)絡(luò)，將AI融入游戲。

NVIDIA已經(jīng)向游戲引擎開(kāi)放NGX API，將其融入其中，實(shí)現(xiàn)底層加速。

另外和很多AI應(yīng)用類似，NVIDIA GeForce Experience軟件的作用也非常重要，它會(huì)自動(dòng)匹配顯卡型號(hào)，從云端訓(xùn)練的AI模型哪里下載相應(yīng)的NGX軟件包，并定期更新，達(dá)到越用越好、甚至是因人而異的效果。

AI Super Rez：有點(diǎn)類似高清視頻中常見(jiàn)的Up Scaling，但是引入了人工智能和深度學(xué)習(xí)之后，可以實(shí)現(xiàn)近乎“無(wú)損放大”，原來(lái)的畫(huà)面分辨率放大2倍、4倍乃至8倍，仍然清晰銳利。

AI Slow-Mo：超級(jí)慢動(dòng)作我們并不陌生，現(xiàn)在不少高端手機(jī)都支持240FPS、480FPS乃至是960FPS的慢動(dòng)作視頻錄制。圖靈架構(gòu)可以對(duì)普通的30FPS視頻進(jìn)行智能插幀運(yùn)算，得到240FPS/480FPS的慢動(dòng)作視頻，也就是說(shuō)你不需要專門的高幀率攝像頭，就可以獲得很流暢的慢動(dòng)作視頻。

AI InPainting：可以抹掉畫(huà)面中不需要的內(nèi)容，也可以智能補(bǔ)全缺失的內(nèi)容，完全超越PS摳圖的存在。它同樣來(lái)自現(xiàn)實(shí)中大量真實(shí)世界圖片的訓(xùn)練推理。

其實(shí)，慢動(dòng)作和修圖這兩項(xiàng)在之前就曾有相關(guān)報(bào)道，顯然NVIDIA在硬件、算法兩個(gè)方面都實(shí)現(xiàn)了真正的突破。

接下來(lái)就是重中之重的DLSS(深度學(xué)習(xí)超采樣抗鋸齒)。

我們知道，傳統(tǒng)的光柵化圖形渲染畫(huà)面會(huì)存在各總各樣的鋸齒(狗牙)，所以GPU廠商都會(huì)在后期處理中加入各種各樣的AA抗鋸齒技術(shù)，但傳統(tǒng)抗鋸齒都是由GPU去運(yùn)算的，效果參差不齊不說(shuō)，最關(guān)鍵的是會(huì)消耗大量的GPU資源，開(kāi)啟之后讓游戲卡得沒(méi)法玩再正常不過(guò)了。

DLSS深度采樣超采樣抗鋸齒則和傳統(tǒng)抗鋸齒技術(shù)走了一條完全不同的路，它是在NVIDIA超級(jí)計(jì)算機(jī)上進(jìn)行訓(xùn)練，而不再消耗GPU本身的資源。

針對(duì)每一款游戲，NVIDIA會(huì)在運(yùn)算建立對(duì)應(yīng)的訓(xùn)練神經(jīng)網(wǎng)絡(luò)，收集大量的64x超采樣數(shù)據(jù)，對(duì)像素點(diǎn)進(jìn)行64次偏移著色合成輸出，理論上可以獲得近乎完美的抗鋸齒平滑效果，同時(shí)還會(huì)對(duì)比和普通渲染畫(huà)面之間的差異，調(diào)整網(wǎng)絡(luò)權(quán)重，反復(fù)迭代，最后獲得更合理的抗鋸齒畫(huà)面效果，還可以避免傳統(tǒng)TAA時(shí)間抗鋸齒的運(yùn)動(dòng)模糊等問(wèn)題。

云端訓(xùn)練完成后，NVIDIA會(huì)通過(guò)GFE軟件將成果分發(fā)給玩家，再用到游戲中，而且隨著游戲運(yùn)行得越多，DLSS學(xué)習(xí)效果就會(huì)越來(lái)越優(yōu)化，甚至每個(gè)玩家都可以得到屬于自己的不同效果。

當(dāng)然了，這也意味著NVIDIA需要和每一款游戲或者每一個(gè)游戲引擎合作，去進(jìn)行專門的優(yōu)化，還是相當(dāng)費(fèi)時(shí)費(fèi)力的，不過(guò)考慮到NVIDIA在游戲行業(yè)廣泛深入的合作關(guān)系，這方面倒不必?fù)?dān)心。

尤其是隨著合作優(yōu)化的深入，NVIDIA完全可以建立起屬于自己的技術(shù)壁壘，讓對(duì)手望塵莫及，進(jìn)一步帶動(dòng)大量玩家忠實(shí)地跟隨NVIDIA。

更神奇的是，DLSS因?yàn)榛静恍枰腉PU本地資源，因此可以大大釋放GPU性能，讓其專心渲染游戲，提升性能。

比如根據(jù)官方數(shù)據(jù)，Epic的《滲透者》(Infiltrator)游戲里，4K分辨率下1080 Ti開(kāi)啟TAA平均幀率還不到40FPS，2080 Ti開(kāi)啟DLSS則能達(dá)到80FPS，提升了整整一倍！

游戲支持方面也不是啥大事兒，RTX 20系列發(fā)布之初就有16款游戲(PPT上寫(xiě)錯(cuò)了)，現(xiàn)在產(chǎn)品還沒(méi)完全上市就已經(jīng)增加到25款。

首發(fā)名單如下：

－ 《方舟：生存進(jìn)化》 (Ark: Survival Evolved)

－ 《原子之心》 (Atomic Heart)

－ 《無(wú)畏》 (Dauntless)

－ 《最終幻想XV》 (Final Fantasy XV)

－ 《破碎之地》 (Fractured Lands)

－ 《殺手2》 (Hitman 2)

－ 《奈恩群島》 (Islands of Nyne)

－ 《逆水寒》 (Justice)

－ 《劍網(wǎng)3》 (JX3)

－ 《機(jī)甲戰(zhàn)士5：雇傭兵》 (Mechwarrior 5:Mercenaries)

－ 《絕地求生》 (PlayerUnknown’s Battlegrounds)

－ 《遺跡：灰燼重生》 (Remnant: From the Ashes)

－ 《英雄薩姆4：星球惡棍》 (Serious Sam 4: PlanetBadass)

－ 《古墓麗影：暗影》 (Shadow of the Tomb Raider)

－ 《鍛造競(jìng)技場(chǎng)》 (The Forge Arena)

－ 《少數(shù)幸運(yùn)兒》 (We Happy Few)

新增名單如下：

－ 《暗黑血統(tǒng)3》(Darksiders 3)

－ 《飛向月球：財(cái)富》(Deliver Us The Moon: Fortuna)

－ 《恐懼群狼》(Fear the Wolves)

－ 《地獄之刃：塞娜的獻(xiàn)祭》(Hellblade: Senua's Sacrifice)

－ 《KINETIK》

－ 《前哨零》(Outpost Zero)

－ 《超殺：行尸走肉》(Overkill's The Walking Dead)

－ 《人渣》(SCUM)

－ 《風(fēng)暴奇兵》(Stormdivers)

這其中有5款游戲同時(shí)支持RTX光線追蹤和DLSS抗鋸齒技術(shù)，分別是《原子之心》、《逆水寒》、《劍網(wǎng)3》、《機(jī)甲戰(zhàn)士5：雇傭兵》、《古墓麗影：暗影》。