你錄下課堂、訪談或家人討論後,可能想快點找出其中一句話。你仍要先確認工具聽不聽得懂你的語言和聲音。
NVIDIA在2026年10月28日公開這個模型。這個模型叫做Nemotron 3.5 Transcribe。
它是一種把錄音變成文字的模型,也能翻譯和標出發言輪次。這些功能要分開測,不能只看一個總分。
Nemotron能做什麼,不能先想成什麼?
這個模型把聽聲音的工具和寫文字的工具放在一起。它能聽錄音,再依照你的要求產生不同形式的文字。
NVIDIA表示,它能轉錄40種語言,也就是把聲音寫成文字。它能做31種語言和英文互譯,還有13種語言支援發言者標記。這三組數字不是同一件事。
發言者標記會把不同聲音分成不同輪次。例如,它可能標成第一位和第二位說話者。它不能證明這兩個聲音真正屬於誰。
模型也能用平常說話的指令選擇逐字稿形式。例如,你可以要求保留口頭語,或整理重複的句子。但是提示詞只是要求格式,不能保證姓名和專有名詞都正確。
NVIDIA官方介紹列出Nemotron的轉錄、翻譯和說話者標記能力。官方說明也把它放在錄音後處理的情境,不是直播字幕服務。
這跟你有什麼關係
想像你和同學做自然課報告。你們先用手機錄下討論,回家再請電腦把內容寫出來。這樣可以幫你找出誰負責查資料,也能回到錄音裡找老師說過的提醒。
但是,台灣學生的錄音可能有台灣華語、台語、英語和校名混在一起。教室裡也可能有風扇聲、翻書聲和幾個人同時說話。模型寫著支援中文,不等於它一定聽得懂這些情況。
如果逐字稿只是幫你找回報告內容,少數錯字可能還能靠回聽修正。如果它要當成班會紀錄,就要請熟悉現場的人核對。若內容涉及同學姓名或錄音保存,還要先問老師和學校的資料規定。
在台灣,個人資料保護法會影響學校和團隊怎麼處理能辨認個人的資料。你不必自己判斷法律細節,可以先問老師,也能到法務部網站查官方資訊。這比把同學的真實錄音直接上傳到陌生服務安全。
多語支援不代表每句都能直接用
語言只是測試的第一步。口音、混合語言、專有名詞、同時說話和收音距離,都可能改變錯誤的樣子。
例如,NVIDIA與一家教學平台公開一個課堂示範。課程結束後,系統才把錄音交給這個模型,產生有時間標記的文字。學生可以搜尋詞語,再跳回錄音的對應位置。
這個示範說明錄音後複習可以怎麼做。它沒有證明直播時一定夠快,也沒有證明大班課程一定能穩定運作。課堂示範文章說明錄音結束後才產生逐字稿。
另一個案例使用印度醫療語音資料。特定測試裡,詞錯率從22.44%降到12.17%。但品牌藥名完全吻合率仍只有36.6%。
這是特定資料和方法的結果,不是台灣會議的保證。
詞錯率會計算文字和錄音差了多少。分數變低代表整體文字較接近錄音,卻不代表姓名、地名和專業詞都沒有錯。
混合語言也要另外測。一篇收錄在醫學研究資料庫的研究,使用英語和印度語言混在一起的錄音。研究中的單語模型表現比預期差。
這提醒我們,支援多語和一句話裡切換語言是兩種問題。
醫學研究資料庫收錄的混合語言研究介紹成人與兒童的英印混語資料。它的結果只適用於研究使用的資料和模型,不能直接當成這個模型的成績。
自己部署前,要先看硬體和資料
自己部署,意思是把模型和運算設備放在自己的環境裡使用。這樣做前,要先看模型版本、顯示卡、錄音數量和希望多久得到結果。
NVIDIA模型卡列出一張高階顯示卡和80GB記憶體的部署基準。GB用來表示記憶體容量,80GB不是每台家用電腦都有的大小。模型能用較少的活躍參數,也不代表整個模型不占記憶體。
模型可透過不同的推論工具提供服務。它也有幾種保存數字的版本。保存方式會影響速度、記憶體和結果,不能只看名稱選擇。
官方模型卡列出一套模型授權。開放權重表示可以取得模型參數,不表示程式、資料集和外掛都用同一套規定。部署前要把每個元件的授權記下來。
錄音留在自己的環境,可以少一段資料傳送路徑。但是它不會自動處理個人資料。團隊仍要決定誰能查看、保存多久、何時刪除,以及誰要核對錯誤文字。
用一小批錄音先做驗收
驗收就是事先寫清楚什麼結果才算可以使用。不要只拿一段安靜的單人錄音測試,因為真正使用時可能有口音、雜音和多人說話。
第一步,先說清楚任務。你要的是逐字稿、整理稿、翻譯、時間標記,還是發言者輪次?不同答案需要不同測試。
第二步,準備一批有代表性的錄音。可以包含台灣華語、台語或英語夾雜、多人重疊和遠處收音。錄音使用前,要先確認自己有權處理它。
第三步,請熟悉內容的人做一份人工校對稿。再讓現行工具和Nemotron處理同一批錄音,這樣才知道哪個流程真的比較好。
第四步,把錯誤分開記錄。文字錯誤、專有名詞錯誤、發言者分錯、等待時間和人工修改時間,都不要混成一個分數。
第五步,先訂好回退方法。回退指的是模型不可靠時,改回原本的人工流程。測試通過後,也要繼續抽查新錄音,因為一次測試不能代表所有情況。
最後要比較的是整個工作流程。Nemotron可能適合錄音後整理。但是直播字幕、台灣華語混台語和正式紀錄,都要先用自己的錄音證明品質。
常見問題
第一題:Nemotron支援繁體中文嗎?
官方矩陣列出普通話轉錄和英文互譯。但是它沒有把台灣華語、台語混說或繁體字格式列成單獨保證。要用自己的錄音測試,再決定是否需要人工修改。
第二題:它可以直接做即時會議字幕嗎?
目前公開示範是在錄音結束後送出音訊,再產生有時間標記的逐字稿。這不能證明直播時的延遲和穩定性。
第三題:說話者標記就是認出與會者嗎?
不是。它只是在錄音中分出不同的聲音或發言輪次。若文字要當成決議或正式紀錄,還是要由熟悉會議的人核對。
這些資料是從哪裡來的
- NVIDIA Nemotron 3.5 Transcribe 官方介紹(NVIDIA)說明語言、轉錄形式、錄音長度與說話者標記
- NVIDIA Nemotron 3.5 Transcribe 與 Granary v2(Hugging Face)說明多語轉錄、提示調整與測試案例
- Agora與NVIDIA Nemotron的課堂錄音示範(Agora)說明錄音後產生逐字稿和時間標記的示範流程
- HiACC:成人與兒童英印混語語料研究(PubMed)說明混合語言資料與單語模型測試的差別