您的當(dāng)前位置:首頁(yè) >休閑 >巨人網(wǎng)絡(luò)AI Lab發(fā)布多模態(tài)生成新成果,相關(guān)技術(shù)將開(kāi)源 正文
時(shí)間:2025-12-01 06:16:06 來(lái)源:網(wǎng)絡(luò)整理編輯:休閑
新浪科技訊 11月27日下午消息,巨人網(wǎng)絡(luò)AI Lab與清華大學(xué)SATLab、西北工業(yè)大學(xué)聯(lián)合推出三項(xiàng)音視頻領(lǐng)域的多模態(tài)生成技術(shù)成果,相關(guān)研究成果將陸續(xù)在GitHub、HuggingFace等平臺(tái)開(kāi)源
新浪科技訊 11月27日下午消息,巨人巨人網(wǎng)絡(luò)AI Lab與清華大學(xué)SATLab、網(wǎng)絡(luò)西北工業(yè)大學(xué)聯(lián)合推出三項(xiàng)音視頻領(lǐng)域的布多多模態(tài)生成技術(shù)成果,相關(guān)研究成果將陸續(xù)在GitHub、模態(tài)HuggingFace等平臺(tái)開(kāi)源。生成術(shù)
本次發(fā)布的新成三項(xiàng)研究成果——音樂(lè)驅(qū)動(dòng)的視頻生成模型YingVideo-MV、零樣本歌聲轉(zhuǎn)換模型YingMusic-SVC與歌聲合成模型YingMusic-Singer,果相關(guān)技展現(xiàn)了團(tuán)隊(duì)在音視頻多模態(tài)生成技術(shù)上的開(kāi)源最新成果。
據(jù)悉,巨人YingVideo-MV模型實(shí)現(xiàn)“一段音樂(lè)加一張人物圖像”即可生成一個(gè)音樂(lè)視頻片段。網(wǎng)絡(luò)該模型能夠?qū)σ魳?lè)進(jìn)行節(jié)奏、布多情緒與內(nèi)容結(jié)構(gòu)的模態(tài)多模態(tài)分析,從而使鏡頭運(yùn)動(dòng)與音樂(lè)的生成術(shù)高度同步,具備推、新成拉、果相關(guān)技搖、移等鏡頭語(yǔ)言,并通過(guò)長(zhǎng)時(shí)序一致性機(jī)制,有效緩解了長(zhǎng)視頻中常見(jiàn)的人物“畸變”與“跳幀”現(xiàn)象。
在音頻領(lǐng)域,YingMusic-SVC主打“真實(shí)歌曲可用”的零樣本歌聲轉(zhuǎn)換能力。它通過(guò)針對(duì)真實(shí)音樂(lè)場(chǎng)景的全面優(yōu)化,有效抑制了伴奏、和聲與混響對(duì)歌聲轉(zhuǎn)換的干擾,顯著降低了破音與高音失真的風(fēng)險(xiǎn),為高質(zhì)量的音樂(lè)再創(chuàng)作提供了穩(wěn)定的技術(shù)支撐。
而YingMusic-Singer歌聲合成模型則支持在給定旋律下輸入任意歌詞,即可生成發(fā)音清晰、旋律穩(wěn)定的自然歌聲。該模型的主要特點(diǎn)在于能夠靈活適應(yīng)不同長(zhǎng)度的歌詞,并支持零樣本音色克隆,提升了AI演唱在創(chuàng)作過(guò)程中的靈活度與實(shí)用性,降低音樂(lè)創(chuàng)作的門檻。
橫看成嶺側(cè)成峰 烏江寨圍甲揭開(kāi)黔閩陣容面紗2025-12-01 05:55
四川省原副省長(zhǎng)、公安廳原廳長(zhǎng)葉寒冰被“雙開(kāi)”2025-12-01 05:41
印尼東爪哇省發(fā)生5.2級(jí)地震,巴厘島有震感2025-12-01 05:13
新能源汽車已成市場(chǎng)主流 換電模式引領(lǐng)行業(yè)變革2025-12-01 04:40
無(wú)恥之輩,別壞了她的名聲2025-12-01 04:40
距臺(tái)灣僅110公里,日防相視察小島執(zhí)意部署導(dǎo)彈2025-12-01 04:22
“小作文”掀翻萬(wàn)億AI龍頭?工業(yè)富聯(lián)緊急澄清“英偉達(dá)下場(chǎng)”傳言2025-12-01 04:11
周期拐點(diǎn)遲遲未現(xiàn),前三季度海天精工陷“增收不增利”僵局2025-12-01 04:00
競(jìng)彩大勢(shì):霍芬海姆主場(chǎng)值得信任 巴薩大勝可期2025-12-01 03:57
美國(guó)9月PCE通脹指標(biāo)和個(gè)人收入報(bào)告將在12月5日發(fā)布2025-12-01 03:45
樂(lè)弈場(chǎng)第16屆月賽如期而至 張弘弢榮獲雙冠王2025-12-01 06:02
一家三口被親戚拐賣30年后父女重聚,山西稷山縣工作組赴四川通江調(diào)查2025-12-01 05:51
歐洲股市受美聯(lián)儲(chǔ)官員鴿派言論提振而上漲 諾和諾德下跌2025-12-01 05:27
加印同意再啟貿(mào)易談判2025-12-01 05:10
吉林設(shè)立冰雪假期:全省義務(wù)教育學(xué)校放假,鼓勵(lì)職工帶薪休假2025-12-01 05:09
大騙子為何要當(dāng)“首席科學(xué)家”?起底“郭博士”的生意經(jīng):蹭圈子、騙補(bǔ)助、套融資,企圖達(dá)成商業(yè)閉環(huán)2025-12-01 04:44
蘇州華興源創(chuàng)科技股份有限公司關(guān)于可轉(zhuǎn)換公司債券2025年度付息的公告2025-12-01 04:35
我國(guó)啟動(dòng)聚變領(lǐng)域國(guó)際科學(xué)計(jì)劃2025-12-01 04:31
奧巴馬曬“全家?!?,61歲前第一夫人暴瘦后越發(fā)像老公,引發(fā)熱議2025-12-01 04:01
神舟二十二號(hào)飛行任務(wù)標(biāo)識(shí)發(fā)布2025-12-01 03:43