W12/語音 AI 實驗室
多媒體系統・MS-115 日間部・Week 12

聽起來自然、辨識得出來、是不是真的

TTS 把文字變成聲音,STT 把聲音變回文字。這一週的實驗都在拆這三個問題:合成的聲音自然嗎?辨識正確率多少?這段錄音可信嗎?三個問題要分開回答,也要用不同的證據回答。頁面上的人聲是程式合成的示範聲音。

TTSText → 聲學表示(常見是 Mel)→ Vocoder → Waveform
STT/ASRWaveform → 辨識模型 → 文字 → 時間戳記、字幕
可信度訊號線索 + 來源情境 + 外部查證,不是聽起來像就算數
動畫講解

先看三支短動畫

每支 40 秒左右,沒有旁白,適合邊播邊講,可以全螢幕播放。

1・文字 ⇄ 聲音:TTS 與 STT兩條流程與閉環實驗(12.1、12.6、12.15)
2・CER 怎麼算替換、刪除、插入與正規化規則(12.11–12.13)
3・聽起來像,不等於是本人深偽證據卡的三類證據(12.17–12.21)
語音合成 TTS12.1–12.5:流程、Mel、Vocoder、聲音特徵、盲測
實驗 1・12.1、12.6

TTS 與 STT:資料在每一站長什麼樣子?

點流程上的每一站,看資料變成什麼形式。上面一排是 TTS,下面一排是 STT。兩條接起來,就是 12.15 的閉環實驗。


      
    
實驗 2・12.2

Mel 頻譜:把頻率軸換成「人耳的尺」

第十章的頻譜圖,頻率軸是等距的 Hz。人耳對低頻的差異比較敏感,Mel 尺度把低頻拉開、高頻壓縮:m = 2595 · log10(1 + f/700)。再用一組三角形濾波器,把每個時間點的頻譜加總成 n_mels 個數字。

顯示
頻率換算


        
        
動手:比較 Hz 和 Mel 兩種顯示:0–1000 Hz 那一段在哪一種圖上占比較多空間?n_mels 降到 8 時,還分得出母音嗎?

Mel 濾波器組:每個三角形是一個 Mel 頻帶,低頻窄、高頻寬

實驗 3・12.1–12.2

只有 Mel,聲音回得來嗎?

傳統神經 TTS 先預測 Mel 頻譜,再交給 Vocoder 變成波形。Mel 只留下「每個頻帶有多大聲」,相位和細節都丟了。這裡用 Griffin-Lim 演算法猜回相位,聽聽看差多少:差的那一截,就是神經 Vocoder 要補的。


        
動手:疊代 0 次(隨機相位)和 30 次差在哪?n_mels 從 128 降到 16,聲音少了什麼?為什麼現代 TTS 要用神經網路當 Vocoder?

原始頻譜圖(0–5000 Hz)

重建後的頻譜圖

頻譜誤差(越小越像)
計算時間
實驗 4・12.3

誰在說話?內容和聲音特徵可以分開

同一句話,換一組「聲音特徵」就像換一個人說。這裡只用兩個特徵:音高(聲帶)和共振峰位置(聲道長短)。真實的 Speaker Embedding 是一串數字向量(ZONOS3-Mini 用 192 維),模型拿它當條件生成聲音。Voice Conversion 則是保留內容、只換這些特徵。

預設說話者
動手:只改 f0、不改共振峰,像不像同一個人變調?只改共振峰呢?哪一個比較像「換了一個人」?這也是 W11 pitch_shift 會影響說話者身分的原因。

簡化的「說話者空間」:每個點是一個說話者。真實的 Embedding 有上百個維度,但道理一樣:距離近的聲音聽起來像。

和說話者 C 的距離
最接近的預設說話者
實驗 5・12.4–12.5、12.24

TTS 三版本盲測

固定文字,只改一個變因(聲音或語速),產生三個版本,打亂成 A、B、C 再評分。這裡用你的瀏覽器和作業系統內建的語音;作業請用 Colab 的 edge-tts 或 ZONOS3-Mini 產生音檔。

只改一個變因

動手:請兩位同學在不知道設定的情況下評分,再按「揭曉設定」。評分最高的版本,是你一開始猜的那個嗎?
延伸・12.3、12.16、12.22

ZONOS3-Mini:開放權重的語音合成與聲音複製

ZONOS3-Mini 是 Zyphra(美國舊金山)在 2026 年 11 月 9 日發布的 TTS 模型,權重以 Apache 2.0 授權公開。它支援華語在內的 43 種語言,輸出 44.1 kHz,也能用一小段參考錄音做零樣本聲音複製。本週用它來實際觀察 12.3 的 Speaker Condition 和 12.16 的深偽風險。

模型規格

架構
稀疏 Mixture of Experts,總參數約 8 億,每步約 1 億在運算
語言
43 種,華語代碼是 cmn(不是 zh)
輸出
44,100 Hz 單聲道
聲音來源
27 個內建聲音、參考錄音、或 192 維 Speaker Embedding
授權
權重 Apache 2.0、執行程式 MIT

在 Colab 怎麼用

from transformers import AutoModel
model = AutoModel.from_pretrained(
    "Zyphra/ZONOS3-Mini-hf", trust_remote_code=True
).to("cuda")
out = model.generate("大家好,歡迎來到多媒體系統課程。",
                     voice="Meilin", language="cmn", seed=0)
# out.waveform、out.sampling_rate(44100)

建議用 T4 GPU 執行階段。情緒、語速、逐字控制在 Zyphra 的瀏覽器 Voice Studio 和 GitHub 版本才有,Transformers 版沒有。

對應本章概念

  • 12.3 Speaker Condition:model.embed_speaker() 把一段聲音變成 192 維向量,再當條件生成。Colab 會算各聲音之間的相似度矩陣。
  • 12.5 盲測:同一句話換 3–4 個內建聲音,和 edge-tts 放進同一張評分表。
  • 12.16–12.17 深偽:只用自己的聲音複製一次,再和自己的真實錄音做盲測、算相似度,體會「聽起來像」為什麼不能當身分驗證。

課程安全界線(12.22)

  • 可以:自己錄的聲音、TTS 內建聲音、虛構角色、有授權的資料集。
  • 不可以:未經同意複製真實可辨識的人、冒充他人、把合成聲音當真實錄音、任何欺騙用途。
  • 本課程不允許複製第三人的聲音,即使對方口頭同意也一樣。
  • 開放權重不代表你有權使用任何人的聲音。作品要附揭露紀錄(見下方產生器)。
語音辨識 STT12.6–12.15:Whisper、CER/WER、正規化、時間戳記
實驗 6・12.11–12.13

CER/WER 計算器:錯在哪裡,一格一格看

把模型輸出和人工確認過的參考答案對齊,數替換 S、刪除 D、插入 I。WER = (S+D+I)/N,N 是參考答案的詞數;CER 改成以字計算。中文沒有空白分詞,所以通常用 CER。分數之前,先決定正規化規則。

範例
計算單位
正規化規則
動手:同一組答案,先不勾任何規則算一次,再全部勾起來算一次。分數差多少?所以報告 CER 時,一定要寫出你用了哪些規則。
CER
替換 S
刪除 D
插入 I
參考長度 N

上排參考、下排輸出。替換 刪除 插入

正規化後的參考
正規化後的輸出

實驗 7・12.7–12.10、延伸一

Whisper:選模型是取捨,時間戳記要人工檢查

Whisper 有 tiny、base、small、medium、large、turbo 幾種大小。模型越大通常越準,但要更多記憶體、跑得更慢;而且同一個模型在不同錄音、語言、硬體上表現會不一樣。下表是 OpenAI 官方 README 的大約值,你的電腦要自己量。

比較指標
model = whisper.load_model("small")
result = model.transcribe("lecture.wav", language="zh",
    initial_prompt="以下為繁體中文資訊課程內容,"
                   "包含 NumPy、librosa、STFT、"
                   "Whisper、OpenCV 等專有名詞。")
for seg in result["segments"]:
    print(f"[{seg['start']:7.2f} → {seg['end']:7.2f}] {seg['text']}")
動手:initial_prompt 是提示不是保證:它可能讓專有名詞更準,但不會保證輸出繁體中文。Whisper 輸出簡體時,轉換也是處理流程的一部分,要寫進報告。

相對速度是以 large 為 1 的官方大約值(在 A100 上測英文轉寫)。中文、你的 GPU、錄音品質都會讓數字不同。

把 segments 轉成 SRT 字幕

時間戳記是模型估計的,語速快、多人同時說話、靜音、背景音樂都可能讓它飄掉。做字幕一定要人工校對時間與專有名詞。

深偽與揭露12.16–12.23:身分驗證、證據卡、揭露紀錄
實驗 8・12.17–12.21、12.26

深偽證據卡:不要只回答真或假

先處理一個情境,再填證據卡。證據分三類:可觀察的訊號、來源與情境、外部查證。結論寫信心程度,「證據不足」也是合理的答案。

證據卡(Markdown,可貼進作業)

        

偵測器分數只是其中一項訊號證據,不是測謊機;它在新的生成器、語言、壓縮格式上可能失準。

實驗 9・12.23

揭露紀錄產生器

只要作品用了合成語音,就附上揭露紀錄:工具、聲音、輸入、後製、有沒有複製真人聲音、最後人工確認。用模型或 API 時,再加上版本、日期、參數,讓別人能重現。

後製
Audio Disclosure
檢核・12.28–12.29

做完實驗,檢查一下

點選答案,會立刻告訴你對不對和原因。