疫情的到來(lái)，讓人臉解鎖功能低下了的頭顱。
當(dāng)口罩成為我們出街必備的單品，在解鎖手機(jī)時(shí)，我們總要經(jīng)歷‘人臉識(shí)別失敗’—‘輸入密碼’的繁瑣過(guò)程。這不由得讓人懷念起指紋識(shí)別的好。
為了優(yōu)化人臉解鎖的體驗(yàn)，今年早些時(shí)候國(guó)外創(chuàng)業(yè)者Danielle Baskin推出了一款帶有面部信息的口罩。該產(chǎn)品通過(guò)提取用戶的面部信息，然后印在口罩外側(cè)，用戶戴上口罩后就可以拼湊成完整的臉部。
不過(guò)這個(gè)產(chǎn)品的解鎖成功率尚不明確，并且沒(méi)有大量的樣本驗(yàn)證。那么如何讓人臉識(shí)別系統(tǒng)，不再被口罩困擾呢？
一些網(wǎng)友漸漸發(fā)現(xiàn)，隨著戴口罩的時(shí)間越來(lái)越久，手機(jī)似乎在一次次人臉解鎖失敗中找到了‘經(jīng)驗(yàn)’，逐漸能夠識(shí)別成功戴著口罩的自己。
靠著這個(gè)思路，一些科技博主也分享了更的教程，比如戴著口罩反復(fù)解鎖，人臉識(shí)別不成功就立即輸入密碼，循環(huán)這個(gè)動(dòng)作30分鐘左右，手機(jī)便能識(shí)別出戴著口罩的自己了。
不過(guò)在實(shí)踐的過(guò)程中，網(wǎng)友們表示不同機(jī)型的‘學(xué)習(xí)’速度不一。有人將上述動(dòng)作重復(fù)了20分鐘便已成功，但有的人重復(fù)了上千次，手機(jī)仍然無(wú)法識(shí)別戴著口罩的自己。
為什么會(huì)出現(xiàn)這種情況呢？其實(shí)答案關(guān)乎手機(jī)的AI學(xué)習(xí)能力。
深度學(xué)習(xí)利器——NPU
如果你有關(guān)注近兩年的手機(jī)發(fā)布會(huì)，你一定發(fā)現(xiàn)了手機(jī)廠商們?cè)诮榻BSoC芯片時(shí)，都會(huì)提到NPU的升級(jí)。
所謂NPU，就是指神經(jīng)網(wǎng)絡(luò)處理器。在一個(gè)手機(jī)芯片中，一般會(huì)分為幾個(gè)功能區(qū)，發(fā)布會(huì)常提的有三個(gè)：一是擅長(zhǎng)處理繁復(fù)任務(wù)和發(fā)號(hào)指令的CPU，二是擅長(zhǎng)圖形處理的GPU，再者就是擅長(zhǎng)處理人工智能任務(wù)的NPU。
雖然NPU‘占地’沒(méi)有CPU和GPU大，但其能力卻不容忽視，一臺(tái)手機(jī)的智慧程度，主要依賴它。
上文提到的訓(xùn)練手機(jī)識(shí)別戴口罩的自己，便主要?dú)w功于NPU的能力。攝像頭捕捉到人臉畫(huà)面后，CPU和GPU會(huì)在極短的時(shí)間內(nèi)對(duì)圖片進(jìn)行預(yù)處理，然后NPU、GPU來(lái)檢測(cè)、提取特征，CPU、GPU和NPU共同完成人臉的識(shí)別和分類。
得益于日益強(qiáng)大的算力，整個(gè)過(guò)程已經(jīng)能夠做到‘無(wú)感’的程度。在我們拿起手機(jī)的一瞬間，上述流程便已處理完畢。
而NPU的加入，讓手機(jī)可以認(rèn)識(shí)不同狀態(tài)的你。早上剛醒時(shí)，即便面部浮腫，手機(jī)也知道這就是你。甚被馬蜂蟄了，嘴巴腫成‘香腸’，手機(jī)依然能夠識(shí)別出來(lái)。
所以經(jīng)過(guò)一定量的訓(xùn)練后，手機(jī)便可以‘無(wú)懼口罩’并認(rèn)出你了。
實(shí)際上，如果只依靠算法，CPU和GPU也可以配合完成學(xué)習(xí)。但缺點(diǎn)是效率低，且功耗大。據(jù)《汽車電子與軟件》介紹，CPU和GPU需要用到數(shù)千條指令完成的神經(jīng)元處理，NPU只需要一條或幾條就能完成。
另外在同等功耗下，NPU的性能是GPU的18倍?？梢钥闯鯪PU在深度學(xué)習(xí)的處理效率方面優(yōu)勢(shì)明顯。
說(shuō)到這不得不提一下NPU的工作原理。之所以NPU的學(xué)習(xí)效率高，不是因?yàn)樗攘?lsquo;六個(gè)核桃’，而是它在電路層模擬人類神經(jīng)元和突觸。并且用深度學(xué)習(xí)指令集，直接處理大規(guī)模的神經(jīng)元和突觸。通過(guò)突出權(quán)重實(shí)現(xiàn)儲(chǔ)存和計(jì)算一體化，NPU的一條指令，便能勝任以往CPU和GPU的上千條指令。
打個(gè)不那么恰當(dāng)?shù)谋扔?，這就像京東物流實(shí)現(xiàn)的倉(cāng)儲(chǔ)、物流一體化一樣，極大地提高了送貨效率，當(dāng)天買甚當(dāng)天就能送到。
NPU并不雞肋
國(guó)內(nèi)早研究NPU的企業(yè)當(dāng)屬寒武紀(jì)。2017年發(fā)布的麒麟970芯片，就曾采用寒武紀(jì)的NPU架構(gòu)。麒麟970也成為世界移動(dòng)端AI芯片。
據(jù)華為介紹，集成NPU單元的麒麟970，相較于四個(gè)Cortex-A73核心，在處理同樣的AI應(yīng)用任務(wù)時(shí)，擁有大約50倍能效和25倍性能優(yōu)勢(shì)。例如在圖像識(shí)別速度上，可達(dá)到約2000張/分鐘，遠(yuǎn)高于業(yè)界同期水平。
11天后，iPhone 8/8 Plus、iPhone X攜帶著A11仿生芯片面世，蘋(píng)果在發(fā)布會(huì)上表示這是其有史以來(lái)強(qiáng)大、智能的芯片。
A11 Bionic是蘋(píng)果以‘仿生’命名的處理器，也是蘋(píng)果款支持AI加速的處理器。比如在人臉識(shí)別的功能上，其神經(jīng)網(wǎng)絡(luò)引擎，讓A11支持速度高達(dá)每秒6000億次運(yùn)算識(shí)別。
也是從這一年開(kāi)始，越來(lái)越多的廠商開(kāi)始重視手機(jī)AI能力的宣傳。比如華為主打的AI攝影、超級(jí)夜景、隔空手勢(shì)等功能；iPhone引以為傲的Face ID、人像虛化、Deep Fusion（深度融合）等功能，都緊緊依賴著NPU的能力。
自2019年6月開(kāi)始，隨著麒麟810的發(fā)布，華為開(kāi)始使用自研達(dá)芬奇架構(gòu)的手機(jī)AI芯片。達(dá)芬奇架構(gòu)的巧妙之處在于各單元分工清晰，可以實(shí)現(xiàn)更的AI計(jì)算。
據(jù)《電子產(chǎn)品世界》介紹，達(dá)芬奇架構(gòu)核心的3D Cube、Vector向量計(jì)算單元、Scalar標(biāo)量計(jì)算單元等，都各自負(fù)責(zé)不同的運(yùn)算任務(wù)實(shí)現(xiàn)并行化計(jì)算模型，共同保障AI計(jì)算的處理。實(shí)現(xiàn)高算力、高能效、靈活可裁剪的特性。
在剛結(jié)束不久的Mate 40系列發(fā)布會(huì)上，華為強(qiáng)調(diào)麒麟9000芯片的NPU升級(jí)到達(dá)芬奇架構(gòu)2.0版本，算力翻番。AI計(jì)算能力更強(qiáng)的同時(shí)，能效提升了15%，網(wǎng)絡(luò)運(yùn)行性能也提升了20%。
蘇黎世聯(lián)邦理工學(xué)院推出的AI Benchmark榜單中，麒麟9000摘得安卓陣營(yíng)的桂冠，分?jǐn)?shù)是高通驍龍865+的兩倍多。
還記得上文提到的麒麟970每分鐘可識(shí)別2000張圖像的能力嗎？麒麟9000已經(jīng)進(jìn)化到2000張/秒的速度。另外，發(fā)布會(huì)展示的AI隔空手勢(shì)、AI靈動(dòng)熄屏、AI字幕等，也都是其NPU能力的顯現(xiàn)。
讓我印象尤為深刻的是‘智感支付’功能，當(dāng)手機(jī)感知到靠近掃碼盒時(shí)，便會(huì)自動(dòng)彈出付款碼頁(yè)面，一氣呵成完成支付。這代表著理想的智能終端的方向：向‘知你’、‘懂你’、‘幫你’的方向邁進(jìn)。
而第四代iPad Air在發(fā)布之時(shí)，蘋(píng)果也著重強(qiáng)調(diào)了其NPU能力的精進(jìn)。相比A12仿生處理器，A14仿生新一代神經(jīng)網(wǎng)絡(luò)引擎讓機(jī)器學(xué)習(xí)性能快達(dá)兩倍。
超高的機(jī)器學(xué)習(xí)速度，讓A14仿生芯片可以實(shí)現(xiàn)超級(jí)像素功能，搭配pixelmator使用，放大裁切后的照片，像素會(huì)自動(dòng)增補(bǔ)，讓照片更清晰。
反映到iPhone 12系列上，計(jì)算攝影能力也得到了改進(jìn)。舉個(gè)小例子，在延時(shí)攝影時(shí)，手機(jī)會(huì)自動(dòng)計(jì)算被攝物體，如果是在拍車流，那么手機(jī)便會(huì)自動(dòng)降低快門速度，讓車燈呈現(xiàn)拖影的感覺(jué)，畫(huà)面流動(dòng)感更強(qiáng)。
新一代的iPhone在Deep Fusion、HDR視頻等方面，與iPhone 11相比都有著肉眼可見(jiàn)的變化。這都得益于A14強(qiáng)大的AI計(jì)算能力。
我們可以對(duì)NPU期待什么？
雖然移動(dòng)端NPU在近兩、三年才開(kāi)始被廠商宣傳，實(shí)際上和它相關(guān)的概念在2013年就已出現(xiàn)。
當(dāng)時(shí)，高通希望通過(guò)一種模仿人腦的計(jì)算結(jié)構(gòu)，縮小普通機(jī)器運(yùn)算與人腦之間的差距，這種通過(guò)模擬神經(jīng)元的運(yùn)算處理器，被高通稱之為‘Zeroth’。
高通的Zeroth芯片，運(yùn)算結(jié)構(gòu)模仿了人類生物神經(jīng)細(xì)胞的運(yùn)作模式，是從大腦結(jié)構(gòu)層面模仿的。而NPU則是在大腦功能層面模仿的，兩者的方向并不一致。而高通也一直堅(jiān)持了自己的方向，沒(méi)有加入獨(dú)立NPU的大軍，而是堅(jiān)持著人工智能引擎AI Engine的方向。
據(jù)‘芯智訊’報(bào)道，在高通驍龍845發(fā)布之時(shí)，一些外界聲音批評(píng)高通沒(méi)有順應(yīng)NPU的趨勢(shì)，以于在AI能力上落后。而高通副總裁兼移動(dòng)業(yè)務(wù)總經(jīng)理Alex Katouzian回應(yīng)稱，高通雖然沒(méi)有獨(dú)立的神經(jīng)網(wǎng)絡(luò)引擎單元，但是采用了更為彈性的機(jī)器學(xué)習(xí)架構(gòu)（AI Engine），在通用平臺(tái)內(nèi)做內(nèi)核優(yōu)化，分布在CPU、GPU、DSP等每個(gè)單元上，從而可以針對(duì)不同移動(dòng)終端提供彈性調(diào)用各個(gè)處理單元。
你可以這樣理解：NPU的方向是分工明確，每個(gè)單元的集約化程度較高；而高通AI Engine的方向是‘有活大家一起干’。
直到采用第五代多核人工智能引擎AI Engine的驍龍865系芯片發(fā)布時(shí)，高通依舊沒(méi)有踏入NPU的道路。
不過(guò)實(shí)際使用中，高通驍龍865的學(xué)習(xí)能力依然值得肯定。比如我在近半個(gè)月使用搭載高通驍龍865+的vivo X50 Pro+時(shí)，每天解鎖十次左右，它現(xiàn)在已經(jīng)能成功識(shí)別出戴口罩的我了。
但從數(shù)據(jù)上看，其AI學(xué)習(xí)能力，已落后麒麟9000和A14仿生不少。NPU一次次用數(shù)據(jù)證明了自己的AI實(shí)力，高通下一代AI Engine能否力挽狂瀾，我們還需等待875系列芯片的面世才能知道。
人工智能時(shí)代，我希望看到的場(chǎng)景是，手機(jī)不再是被動(dòng)響應(yīng)用戶需求的終端，而是能夠主動(dòng)分析、感知用戶當(dāng)下的需求，并可以預(yù)先提供相關(guān)服務(wù)的智慧終端。
在這方面，各家廠商還都處在起步階段。比如在應(yīng)用建議上，目前做的的個(gè)人認(rèn)為是小米。通過(guò)時(shí)間和場(chǎng)景等因素的分析，每次它都能‘猜到’我想打開(kāi)的軟件，并智能排序在顯眼的位置。而Mate40系列支持的‘智感支付’更無(wú)疑在AI道路上走在了前列，也給了我們更多的想象空間。
值得注意的是，除了手機(jī)，NPU也逐漸應(yīng)用到平板電腦、筆記本電腦等移動(dòng)端上。蘋(píng)果近日發(fā)布的M1芯片，就擁有16核的NPU，每秒可以執(zhí)行11萬(wàn)億次運(yùn)算，將機(jī)器學(xué)習(xí)的速度提升11倍，這是傳統(tǒng)PC難以企及和比擬的。
而搭載M1芯片的MacBook系列、Mac mini將帶來(lái)哪些使用體驗(yàn)上的變化，相信令人期待。
在當(dāng)前的軟件生態(tài)下，移動(dòng)端CPU和GPU的提升，對(duì)于用戶日常使用來(lái)說(shuō)已經(jīng)感知不強(qiáng)了。比如一臺(tái)iPhone XS和一臺(tái)iPhone 12相比，在應(yīng)用的流暢性上幾近一致。更加影響用戶體驗(yàn)的，是機(jī)器學(xué)習(xí)能力的變化。這也是為什么我們要關(guān)注NPU的發(fā)展。
或許再過(guò)十年，當(dāng)AI技術(shù)發(fā)展地更為成熟，‘智能’手機(jī)是時(shí)候改名為‘智慧’手機(jī)了。
