機器之心報道

作者：澤南

(相關資料圖)

騰訊這個重量級玩家終于出手了。

上個星期，國內首批大模型備案獲批，開始面向全社會開放服務，大模型正式進入了規模應用的新階段。在前期發布應用的行列中，有些科技巨頭似乎還沒有出手。

很快到了 9 月 7 日，在 2023 騰訊全球數字生態大會上，騰訊正式揭開了混元大模型的面紗，并通過騰訊云對外開放。

作為一個超千億參數的大模型，混元使用的預訓練語料超過兩萬億 token，憑借多項獨有的技術能力獲得了強大的中文創作能力、復雜語境下的邏輯推理能力，以及可靠的任務執行能力。

騰訊集團副總裁蔣杰表示：「騰訊混元大模型是從第一個 token 開始從零訓練的，我們掌握了從模型算法到機器學習框架，再到 AI 基礎設施的全鏈路自研技術。」

打開大模型，全部都是生產力

騰訊一直表示在大模型的相關方向上早已有所布局，專項研究一直有序推進。

這個不是「新技術」的大模型是什么級別？在大會上蔣杰通過直接詢問混元大模型的方式透露了一些基本信息，它的參數量是千億級，訓練用的數據截止到今年 7 月份，此外騰訊也表示大模型的知識將會每月更新。

騰訊在現場展示了「騰訊混元大模型小程序」、騰訊文檔中的 AI 助手以及騰訊會議 AI 助手的能力。

機器之心第一時間獲得測試資格嘗試了一番，首先是微信小程序。

一進小程序，我們發現其中的內容不亞于其他家大模型產品的獨立 APP。這里有一個「靈感發現」，看看混元都能做些什么：

從生產力、生活、娛樂到編程開發，它開放的能力可謂非常全面了，符合一個千億級大模型的身份。那么混元真的能有效地完成這些任務嗎？

我要寫一份 PPT，只想好了主題卻不知從何寫起，問一下混元大模型。只需幾秒，AI 就給了一份分出七個部分的大綱，每一部分里也包含細分的點：

輸入一篇 arXiv 上 9 月份谷歌提交的論文《RLAIF: Scaling Reinforcement Learning from Human Feedback with AI Feedback》摘要和介紹部分，長長的好幾段，很多大模型根本不支持這么多輸入內容，混元大模型直接進行了總結順便翻譯成中文。

大概意思是在說，大模型訓練中人類反饋的強化學習（RLHF）也是可以被 AI 替代的？

一個到了實用階段的大模型，是可以幫我們寫代碼的。現在我們給 AI 一段代碼，讓它解釋一下其中看不懂也沒有注釋清楚的內容：

它詳細解釋了平方根倒數算法里面數字的意義（不過對注釋理解得不太透徹）。或許過不了多久，我們做開發的時候就離不開大模型了。

然后是騰訊文檔。很多人已經把 GPT-4 等大模型工具用在了自己的工作流程中，混元大模型在騰訊文檔推出的智能助手功能中已有應用。在 PC 端新建智能文檔，輸入 “/”，就能根據需求實現內容生成、翻譯、潤色等操作。

隨后輸入自然語言指令，大模型的生成能力就可以幫你在騰訊文檔中進行長文本總結歸納：

看起來會對寫論文很有用。

當然，如果你給出了一個主題，它能進行文本創作，你再選定生成內容的一部分，AI 也可以多次細化編輯。寫完了還能一鍵翻譯：

此外，表格的數據計算和圖表生成也都是一句話的事。

目前這些功能正在內測階段，將在成熟后面向用戶開放。

混元大模型在騰訊會議中的應用可以幫助一時走神的你。比如在會議進行當中，你可以隨時問 AI 助手剛才發言的人說了些什么，或是剛才那兩個人到底在爭論些什么，AI 可以悄悄把內容幫你總結成一小段話，列出清楚的一二三條來。

當然，會開完以后混元大模型也可以更快更全面地總結會議內容，標注好待辦事項。

已覆蓋騰訊超過 50 個業務

蔣杰總結了混元大模型的三大特點：具備強大的中文創作能力、復雜語境下的邏輯推理能力以及可靠的任務執行能力。

目前不少業內大模型在場景中的應用依然有限，主要問題集中在容錯率高，只適用于任務簡單的休閑場景。騰訊在算法層面進行了一系列自研創新，提高了模型可靠性和成熟度。

騰訊集團副總裁蔣杰在活動中。

針對大模型容易「胡言亂語」的問題，騰訊優化了預訓練算法及策略，通過自研的「探真」技術，讓混元大模型的「幻覺」相比主流開源大模型降低了 30-50%。

「業界的做法是提供搜索增強，知識圖譜等『外掛』來提升大模型開卷考試的能力。這種方式增加了模型的知識，但在實際應用中存在很多局限性，」蔣杰表示。「混元大模型在開發初期就考慮完全不依賴外界數據的方式，進行了大量研究嘗試，我們找到的預訓練方法，很大程度上解決了幻覺的問題。」

騰訊還通過強化學習的方法，讓模型學會識別陷阱問題，通過位置編碼的優化，提高了模型處理超長文的效果和性能。在邏輯方面，騰訊提出了思維鏈的新策略，讓大模型能夠像人一樣結合實際的應用場景進行推理和決策。

騰訊混元大模型能夠理解上下文的含義，具有長文記憶能力，可以流暢地進行專業領域的多輪對話。除此之外，它還能進行文學創作、文本摘要、角色扮演等內容創作，做到充分理解用戶意圖，并高效、準確的給出有時效性的答復。這樣的技術落地之后，才能真正提升生產力。

寫一篇 4000 字的內容，GPT-4 也達不到要求，混元大模型可以做到。

在中國信通院《大規模預訓練模型技術和應用的評估方法》的標準符合性測試中，混元大模型共測評 66 個能力項，在「模型開發」和「模型能力」兩個領域的綜合評價獲得了當前最高分。在主流的評測集 MMLU、CEval 和 AGI-eval 上，混元大模型均有優異的表現，特別是在中文的理科、高考題和數學等子項上表現突出。?

構建大模型的意義在于行業應用。據了解，騰訊內部已有超過 50 個業務和產品接入并測試了騰訊混元大模型，包括騰訊云、騰訊廣告、騰訊游戲、騰訊金融科技、騰訊會議、騰訊文檔、微信搜一搜、QQ 瀏覽器等，并取得了初步效果。騰訊的程序員們，已經在用大模型工具提高開發效率了。

此外，騰訊還通過自研機器學習框架 Angel，使模型的訓練速度相比業界主流框架提升 1 倍，推理速度比業界主流框架提升 1.3 倍。?

用于構建大模型的基礎設施也沒有拉下。此前騰訊曾表示已于今年年初構建了大規模算力中心，近期 MiniMax 和百川智能旗下的大模型都使用了騰訊的算力。

騰訊也在致力于把行業數據與自身能力相結合，基于外部客戶的行業化數據來解決行業特定問題，與實體行業結合，不斷推動大模型的社會、經濟利益和商業價值。

「根據公開數據顯示，國內已有 130 個大模型發布。其中既有通用模型也有專業領域模型。混元作為通用模型能夠支持騰訊內部的大部分業務，今天我展示的幾個深度接入的業務都有很大的用戶量。大模型已在我們的核心領域獲得了深度應用，」蔣杰說道。「我大模型首先是服務企業本身，其次是通過騰訊云對外開放。」

在開放給客戶使用時，混元大模型將作為騰訊云模型即服務 MaaS 的底座。客戶既可以直接調用混元 API，也能將混元作為基座模型，為不同的產業場景構建專屬應用。

可見，騰訊在大模型領域的策略講究的是一個穩字：專注打好基礎，不急于拿出半成品展示。而這一出手，就展現出了過硬的實力。

不過大模型的發展還在繼續，正如蔣杰所言：「毫不夸張地說，騰訊已經全面擁抱大模型。我們的能力一直在演進，相信 AIGC 的潛力是無限的，我們已在路上。」

關鍵詞：