跳到主要內容
Lab Grimoire
TW EN
請喝咖啡
LLM 原理

語音模型怎麼運作:語音辨識把聲音轉成字,語音合成把字念出來

語音模型分兩個方向:語音辨識(ASR)把錄音轉成逐字稿,語音合成(TTS)把文字念成聲音。本文用 Whisper 與 Tacotron 2 說明兩者如何經過頻譜圖運作,適合會議記錄與字幕,以及專有名詞、雜音、多人說話與憑空寫出的句子等常見錯誤。

作者
CY
發表
更新
AI 從原理到實戰 · 第 25/89 篇
語音模型怎麼運作:語音辨識把聲音轉成字,語音合成把字念出來

兩個方向:聽和說

想像一下,你把一小時的會議錄音交給手機,拿回逐字稿,再請它念出其中一段。

這兩步各由一種語音模型負責:語音辨識(ASR)讀進聲音,輸出逐字稿;語音合成(TTS)讀進文字,輸出念出來的聲音。你知道它們怎麼辦到的嗎?

在 AI 模型種類地圖上,語音模型負責聲音和文字之間的轉換,手機語音輸入、影片自動字幕和導航報路聲都靠它。

Summary: 語音模型

語音辨識怎麼運作

語音辨識先把聲音轉成一張頻譜圖:橫軸是時間,縱軸是頻率,顏色深淺代表各頻率有多強。

頻譜圖就像一份樂譜,模型讀譜後逐段寫出文字。以 Whisper 為例,研究團隊從網路收集約 68 萬小時「音訊配逐字稿」資料訓練它,涵蓋多種語言,所以不必為單一情境重新訓練,也能處理不同口音與錄音品質。不過它學到的是哪種聲音圖樣常對應哪些字,所以輸出的是最可能的文字,未必和原音一字不差。

語音合成怎麼運作

語音合成走反方向:文字先變成頻譜圖,再變成可以播放的波形。

Tacotron 2 是常見的例子,分成兩段。第一段模型讀文字,預測對應的頻譜圖;第二段是聲碼器(vocoder),把頻譜圖轉成一個個聲音取樣點,就像樂手照著樂譜演奏。它用的聲碼器是改良過的 WaveNet,一種逐點產生波形的模型。語音助理常把三類模型串在一起:語音辨識聽懂你說的話,大型語言模型想出回答,語音合成再念出來。

適合做什麼

語音辨識適合把堆積的口說內容變成可搜尋、可編輯的文字,例如會議記錄、訪談逐字稿和影片字幕。

一小時的研究會議錄音先轉成逐字稿,再交給大型語言模型整理重點,你只需要校對,省下重聽錄音用掉的時間。語音合成適合把文字念出來,例如替視障讀者朗讀網頁,或替長文產生有聲版本。

容易出錯的地方

為什麼專有名詞最容易出錯?因為藥名、基因名、人名在訓練資料裡出現得少,模型容易聽成發音相近的常見詞。

口音重、背景雜音吃掉部分字音,或幾個人同時說話時,錯誤也會變多。逐字稿不會標出每句話是誰說的,要分出講者得另做一步語者分段(speaker diarization)。工具支援自訂詞彙表時,先放進會出現的專有名詞;OpenAI 的語音轉文字文件也建議用提示改善名稱、縮寫和專業詞彙的辨識。

語音辨識還可能寫出通順、錄音裡卻沒有的句子。Koenecke 等人 2024 年發表的研究分析了 Whisper 的逐字稿,發現約 1% 含有整句憑空出現的內容,停頓較長的錄音更常發生。這項研究也有限制:它測的是當時的版本,之後版本的比例可能不同。所以引用逐字稿前,要先回到錄音核對。語音合成也能模仿特定人的聲音,使用前要先取得本人同意。

和其他模型的分工

拿到逐字稿之後的工作,通常交給別類模型。

要摘要或改寫,交給大型語言模型;要替每段逐字稿貼上固定標籤,例如「決議」「待辦」,或從中圈出藥名,編碼器分類與序列標註模型更快,也更便宜。視覺語言模型如同語音模型,把非文字的輸入帶進文字,只是它的入口是圖片。先看你手上的資料:如果是錄音,第一步就是語音辨識。

參考文獻

  1. https://arxiv.org/abs/2212.04356
  2. https://arxiv.org/abs/1712.05884
  3. https://arxiv.org/abs/1609.03499
  4. https://arxiv.org/abs/2402.08021
  5. https://developers.openai.com/api/docs/guides/speech-to-text

常見問題

語音辨識的逐字稿是否可以直接拿來引用?

引用前最好回到錄音核對。語音辨識輸出的是模型認為最可能的文字,專有名詞可能被聽成發音相近的常見詞,也可能出現錄音裡沒有的整句內容。2024 年一項分析 Whisper 逐字稿的研究發現,約 1% 的逐字稿含有憑空出現的片語或句子,停頓較長的錄音更常發生;研究測的是當時的版本,之後的版本比例可能不同。做會議記錄或字幕時可以先用逐字稿,但要引用某人說過的話,請以原始錄音為準。

逐字稿為什麼分不出是誰在說話?

語音辨識模型的工作是把聲音轉成文字,它不負責判斷講者是誰。要標出每句話由哪位講者說出,需要另一個步驟,叫做語者分段(speaker diarization)。有些工具會把兩個步驟包在一起提供,但幾個人同時說話時,兩個步驟都容易出錯,重要的對話仍要人工確認。

覺得有幫助? RSS · X · 請我喝杯咖啡