(相關(guān)資料圖)
清華大學(xué)電子工程系日前與字節(jié)跳動(dòng)的火山語(yǔ)音團(tuán)隊(duì)攜手合作，推出一款開源大語(yǔ)言模型 SALMONN。SALMONN 模型支持語(yǔ)音、音頻以及音樂輸入，它可以感知和理解不同類型的音頻內(nèi)容輸入，并具備多語(yǔ)言語(yǔ)音識(shí)別和翻譯以及語(yǔ)音推理等功能。
官方表示，SALMONN 支持語(yǔ)音、音頻以及音樂輸入，可以感知和理解不同類型的音頻內(nèi)容輸入，并具備多語(yǔ)言語(yǔ)音識(shí)別和翻譯以及語(yǔ)音推理等功能。
目前 SALMONN 能夠勝任英語(yǔ)語(yǔ)音識(shí)別、英語(yǔ)到中文的語(yǔ)音翻譯、情感識(shí)別、音頻字幕生成、音樂描述等重要的語(yǔ)音和音頻任務(wù)，同時(shí)又涌現(xiàn)出多種在模型訓(xùn)練中沒有專門學(xué)習(xí)過的多語(yǔ)言和跨模態(tài)能力，涵蓋非英語(yǔ)語(yǔ)音識(shí)別、英語(yǔ)到（中文以外）其他語(yǔ)言的語(yǔ)音翻譯、對(duì)語(yǔ)音內(nèi)容的摘要和關(guān)鍵詞提取、基于音頻的故事生成、音頻問答、語(yǔ)音和音頻聯(lián)合推理等任務(wù)。
目前該模型已經(jīng)發(fā)布于 GitHub 中。
關(guān)鍵詞：
福建省首個(gè)公用型原油保稅倉(cāng)庫(kù)在泉州斗尾港區(qū)啟用 記者從泉州海關(guān)獲悉，8月22日，在泉州斗尾港區(qū)中化青蘭山10 泊位，經(jīng)泉
車展陣容曝光 MG Cyberster將首次亮相 [愛卡汽車?國(guó)內(nèi)新車?原創(chuàng)] MG官方正式公布了成都車展參展陣容，傳
我國(guó)首個(gè)獨(dú)立知識(shí)產(chǎn)權(quán)的大連達(dá)思科航運(yùn)指數(shù)發(fā)布 8月18日，大連東北亞國(guó)際航運(yùn)中心和國(guó)際物流中心建設(shè)10周年高端論壇， 
再下一城！中國(guó)U18男籃71分大勝中國(guó)澳門 明天下午17：00，中國(guó)U18男籃將迎戰(zhàn)中國(guó)香港隊(duì)，球迷朋友可以登錄企鵝 
李易峰回國(guó)后顯窘狀！獨(dú)自窮游頂烈日排隊(duì)買票，幫老人抬繩有善心 近日，消失將近一年的李易峰罕見現(xiàn)身成都機(jī)場(chǎng)，還有很多粉絲去接機(jī)，場(chǎng) 非對(duì)稱“降息”！8月LPR報(bào)價(jià)出爐：1年期降10BP，5年期按兵不動(dòng) 非對(duì)稱“降息”！8月LPR報(bào)價(jià)出爐：1年期降10BP，5年期按兵不動(dòng),降息,央 清華聯(lián)合字節(jié)，開源聽覺大語(yǔ)言模型SALMONN 清華大學(xué)電子工程系日前與字節(jié)跳動(dòng)的火山語(yǔ)音團(tuán)隊(duì)攜手合作，推出一款開
