【導(dǎo)讀】視頻正在成為AI時(shí)代最重要的數(shù)據(jù)入口。據(jù)統(tǒng)計(jì)，超過80%的AI模型訓(xùn)練和推理數(shù)據(jù)來源于視頻，視頻不僅是連接物理世界與數(shù)字世界的重要媒介，也成為智能汽車、機(jī)器人、安防、XR等應(yīng)用獲取環(huán)境信息的核心載體。
由于視頻分辨率從4K到8K和10K，視頻分辨率在不斷提升，使得海量數(shù)據(jù)需要壓縮。此時(shí)，專用于視頻編解碼處理的VPU已成為各類視頻應(yīng)用的核心引擎。
VPU也是安謀科技這家公司“All in AI”的重要一環(huán)。在今年WAIC上，安謀科技首度揭秘新一代'玲瓏'VPU產(chǎn)品——'武當(dāng)'，并分享AI端到端視頻編碼技術(shù)。安謀科技VPU研發(fā)總監(jiān)黃鑫向EEWorld詳細(xì)介紹了這款產(chǎn)品的細(xì)節(jié)。
AI正在打開視頻壓縮的新維度
黃鑫表示，隨著AI技術(shù)快速發(fā)展，視頻正在經(jīng)歷從“服務(wù)人類觀看”到“服務(wù)機(jī)器理解”的轉(zhuǎn)變，視頻壓縮技術(shù)也迎來了新的發(fā)展方向。
過去，傳統(tǒng)視頻主要解決手機(jī)存儲(chǔ)、社交分享和網(wǎng)絡(luò)傳輸?shù)葐栴}，核心目標(biāo)是滿足人眼的主觀視覺體驗(yàn)。但隨著AI與視頻深度融合，視頻正在成為AI系統(tǒng)感知和理解現(xiàn)實(shí)世界的重要數(shù)據(jù)來源。從人形機(jī)器人、機(jī)器狗，到自動(dòng)駕駛和各類視覺感知設(shè)備，大量AI應(yīng)用都需要通過視頻數(shù)據(jù)完成訓(xùn)練和推理。在這一過程中，視頻不再只是內(nèi)容的載體，而成為AI的“輸入數(shù)據(jù)”。
黃鑫認(rèn)為，視頻作為連接物理世界和虛擬世界的橋梁，其數(shù)據(jù)質(zhì)量直接影響AI模型的訓(xùn)練效果和推理精度。如果視頻壓縮過程中產(chǎn)生過多信息損失，將影響整個(gè)AI系統(tǒng)的性能。因此，未來VPU的設(shè)計(jì)理念也需要發(fā)生改變，從過去服務(wù)人眼視覺，轉(zhuǎn)向服務(wù)機(jī)器視覺，AI正在打開視頻壓縮的新維度。
基于這一趨勢(shì)，玲瓏VPU正在推動(dòng)視頻編碼技術(shù)演進(jìn)。傳統(tǒng)視頻編碼主要依賴CPU進(jìn)行控制，VPU根據(jù)指令完成編碼任務(wù)。而新一代VPU則開始融合輕量級(jí)AI算子，通過內(nèi)容感知能力實(shí)現(xiàn)更加智能的視頻壓縮。
“武當(dāng)”有什么不一樣
今年3月，安謀科技正式發(fā)布首款A(yù)I VPU產(chǎn)品“峨眉”，并首次透露下一代產(chǎn)品代號(hào)“武當(dāng)”。在本屆WAIC上，安謀科技進(jìn)一步揭開了“武當(dāng)”VPU的技術(shù)細(xì)節(jié)，展示了其面向AI視頻應(yīng)用的新一代視頻壓縮能力。
作為新一代產(chǎn)品，'武當(dāng)'全面繼承了上一代CAE（Content Adaptive Encoding，內(nèi)容自適應(yīng)編碼）技術(shù)優(yōu)勢(shì)，在保持行業(yè)領(lǐng)先編碼畫質(zhì)的基礎(chǔ)上，PPA（性能、功耗、面積）綜合指標(biāo)較上一代提升超過40%，同時(shí)進(jìn)一步完善編碼器規(guī)格，能夠覆蓋更加豐富的視頻應(yīng)用場(chǎng)景，為智能終端和邊緣AI提供更高效的視頻處理能力。
黃鑫解析，CAE位于視頻編碼流程前端，在數(shù)據(jù)搬運(yùn)過程中同步完成圖像處理和語(yǔ)義解析，并將分析結(jié)果傳遞給后續(xù)編碼模塊。通過這種方式，VPU能夠根據(jù)不同視頻場(chǎng)景進(jìn)行動(dòng)態(tài)優(yōu)化，例如航拍、游戲、監(jiān)控等場(chǎng)景均可以獲得不同程度的碼率節(jié)省。
除此之外，在“峨眉”的基礎(chǔ)上，下一代“武當(dāng)”VPU進(jìn)一步進(jìn)行了全面升級(jí)。
第一，在性能和能效方面，“武當(dāng)”支持8K 30fps視頻編碼，能夠滿足更多AI應(yīng)用場(chǎng)景需求，同時(shí)芯片面積相比上一代降低約40%。
第二，在視頻格式支持方面，“武當(dāng)”進(jìn)一步擴(kuò)展了編碼能力，支持YUV422專業(yè)視頻格式，并支持Raw Data壓縮，可以減少數(shù)據(jù)轉(zhuǎn)換環(huán)節(jié)，更好服務(wù)AI訓(xùn)練和專業(yè)視覺應(yīng)用。同時(shí)，其支持最高1Gbps碼率，可滿足人形機(jī)器人等Physical AI應(yīng)用對(duì)于高質(zhì)量視覺數(shù)據(jù)的需求。
第三，“武當(dāng)”繼續(xù)繼承“峨眉”的智能感知編碼能力，在編碼質(zhì)量方面進(jìn)一步提升，并支持靈活配置不同編碼檔位。目前，其最高配置已經(jīng)能夠達(dá)到軟件編碼的水平。在面向AI應(yīng)用的非規(guī)則運(yùn)動(dòng)場(chǎng)景中，相比傳統(tǒng)方案還可以實(shí)現(xiàn)額外5%至10%的編碼質(zhì)量提升。
全新的AI VPU端到端訓(xùn)練框架
黃鑫表示，玲瓏VPU的技術(shù)路線并不會(huì)止步于內(nèi)容感知編碼，而是正在向端到端AI視頻編碼方向演進(jìn)。
未來的視頻編碼技術(shù)將圍繞兩個(gè)方向持續(xù)發(fā)展：一個(gè)方向是從當(dāng)前基于CAE的局部?jī)?yōu)化，進(jìn)一步拓展到端到端全局優(yōu)化；另一個(gè)方向是從過去主要針對(duì)人眼視覺體驗(yàn)的編碼目標(biāo)，擴(kuò)展到針對(duì)不同AI任務(wù)的專項(xiàng)優(yōu)化。
目前，玲瓏VPU正在探索基于AI訓(xùn)練的視頻編碼框架。在訓(xùn)練階段，通過引入前處理網(wǎng)絡(luò)、VPU虛擬編碼器、具體AI任務(wù)模型，通過聯(lián)合訓(xùn)練和反向傳播優(yōu)化編碼策略，使壓縮效果與AI任務(wù)精度達(dá)到最佳平衡。
在部署階段，前置網(wǎng)絡(luò)將進(jìn)一步優(yōu)化，并與玲瓏VPU編碼器進(jìn)行深度融合，使AI VPU成為真正具備任務(wù)感知能力的視頻編碼器。
這一思路帶來了顯著的實(shí)際收益。測(cè)試結(jié)果顯示，在目標(biāo)追蹤任務(wù)（Ostrack/ViT-Base）中，AI編碼方案能夠?qū)崿F(xiàn)18.3%的碼率節(jié)省；在動(dòng)作識(shí)別任務(wù)（SlowFast）中，可實(shí)現(xiàn)12.0%的碼率節(jié)省。這意味著，在保證AI識(shí)別精度基本不變的前提下，系統(tǒng)能夠進(jìn)一步降低視頻傳輸帶寬和存儲(chǔ)成本，為邊緣AI部署帶來更高的效率。
黃鑫表示，未來玲瓏VPU不僅希望優(yōu)化傳統(tǒng)視頻觀看體驗(yàn)，更希望針對(duì)不同AI應(yīng)用實(shí)現(xiàn)數(shù)據(jù)壓縮和任務(wù)精度的雙向優(yōu)化。通過引入多模態(tài)參數(shù)配置、前后端AI網(wǎng)絡(luò)，玲瓏VPU希望實(shí)現(xiàn)“人眼看得清”和“AI看得懂”的統(tǒng)一。
“如果說未來AI需要擁有類似人類的視覺能力，那么視頻就是連接AI與真實(shí)世界的重要窗口。玲瓏VPU希望成為AI視覺引擎，讓人類看清世界，也讓AI真正理解世界?！秉S鑫表示。
從“峨眉”到“武當(dāng)”，安謀科技的目標(biāo)更遠(yuǎn)了
回顧過去，“玲瓏”已推出六款產(chǎn)品：2021年的V5/V7主要增加了AVS 2.0的Decoder，H.264、H.265的編碼質(zhì)量提高了15%；2022年 “玲瓏”V6/V8增加了AV1的Decoder，H.264的編碼質(zhì)量相比V5/V7提高了10%；2024年 “玲瓏”V510/V710增加了H.266的編碼器和解碼器；2025年 “玲瓏”V520LE是專門為監(jiān)控打造的編解碼一體產(chǎn)品；2026年3月推出代號(hào)為“峨眉”的V560/V760，成為面向AI應(yīng)用的新一代視頻處理器IP。
回顧“玲瓏”VPU的發(fā)展，每一次迭代都圍繞三個(gè)核心目標(biāo)展開：讓編碼標(biāo)準(zhǔn)更先進(jìn)、讓編碼質(zhì)量更優(yōu)秀、讓單核性能更高效?！拔洚?dāng)”V620/V820作為第七款產(chǎn)品，同樣也在圍繞這三個(gè)目標(biāo)展開工作。
從更長(zhǎng)遠(yuǎn)來看，'玲瓏'VPU的發(fā)展目標(biāo)已經(jīng)不再局限于傳統(tǒng)視頻編碼器。基于全新的AI訓(xùn)練框架，安謀科技正在推動(dòng)AI端到端視頻編碼技術(shù)持續(xù)演進(jìn)。
