聽起來自然、辨識得出來、是不是真的
TTS 把文字變成聲音,STT 把聲音變回文字。這一週的實驗都在拆這三個問題:合成的聲音自然嗎?辨識正確率多少?這段錄音可信嗎?三個問題要分開回答,也要用不同的證據回答。頁面上的人聲是程式合成的示範聲音。
先看三支短動畫
每支 40 秒左右,沒有旁白,適合邊播邊講,可以全螢幕播放。
TTS 與 STT:資料在每一站長什麼樣子?
點流程上的每一站,看資料變成什麼形式。上面一排是 TTS,下面一排是 STT。兩條接起來,就是 12.15 的閉環實驗。
Mel 頻譜:把頻率軸換成「人耳的尺」
第十章的頻譜圖,頻率軸是等距的 Hz。人耳對低頻的差異比較敏感,Mel 尺度把低頻拉開、高頻壓縮:m = 2595 · log10(1 + f/700)。再用一組三角形濾波器,把每個時間點的頻譜加總成 n_mels 個數字。
Mel 濾波器組:每個三角形是一個 Mel 頻帶,低頻窄、高頻寬
只有 Mel,聲音回得來嗎?
傳統神經 TTS 先預測 Mel 頻譜,再交給 Vocoder 變成波形。Mel 只留下「每個頻帶有多大聲」,相位和細節都丟了。這裡用 Griffin-Lim 演算法猜回相位,聽聽看差多少:差的那一截,就是神經 Vocoder 要補的。
原始頻譜圖(0–5000 Hz)
重建後的頻譜圖
誰在說話?內容和聲音特徵可以分開
同一句話,換一組「聲音特徵」就像換一個人說。這裡只用兩個特徵:音高(聲帶)和共振峰位置(聲道長短)。真實的 Speaker Embedding 是一串數字向量(ZONOS3-Mini 用 192 維),模型拿它當條件生成聲音。Voice Conversion 則是保留內容、只換這些特徵。
簡化的「說話者空間」:每個點是一個說話者。真實的 Embedding 有上百個維度,但道理一樣:距離近的聲音聽起來像。
TTS 三版本盲測
固定文字,只改一個變因(聲音或語速),產生三個版本,打亂成 A、B、C 再評分。這裡用你的瀏覽器和作業系統內建的語音;作業請用 Colab 的 edge-tts 或 ZONOS3-Mini 產生音檔。
ZONOS3-Mini:開放權重的語音合成與聲音複製
ZONOS3-Mini 是 Zyphra(美國舊金山)在 2026 年 11 月 9 日發布的 TTS 模型,權重以 Apache 2.0 授權公開。它支援華語在內的 43 種語言,輸出 44.1 kHz,也能用一小段參考錄音做零樣本聲音複製。本週用它來實際觀察 12.3 的 Speaker Condition 和 12.16 的深偽風險。
模型規格
- 架構
- 稀疏 Mixture of Experts,總參數約 8 億,每步約 1 億在運算
- 語言
- 43 種,華語代碼是
cmn(不是 zh) - 輸出
- 44,100 Hz 單聲道
- 聲音來源
- 27 個內建聲音、參考錄音、或 192 維 Speaker Embedding
- 授權
- 權重 Apache 2.0、執行程式 MIT
在 Colab 怎麼用
from transformers import AutoModel
model = AutoModel.from_pretrained(
"Zyphra/ZONOS3-Mini-hf", trust_remote_code=True
).to("cuda")
out = model.generate("大家好,歡迎來到多媒體系統課程。",
voice="Meilin", language="cmn", seed=0)
# out.waveform、out.sampling_rate(44100)
建議用 T4 GPU 執行階段。情緒、語速、逐字控制在 Zyphra 的瀏覽器 Voice Studio 和 GitHub 版本才有,Transformers 版沒有。
對應本章概念
- 12.3 Speaker Condition:
model.embed_speaker()把一段聲音變成 192 維向量,再當條件生成。Colab 會算各聲音之間的相似度矩陣。 - 12.5 盲測:同一句話換 3–4 個內建聲音,和 edge-tts 放進同一張評分表。
- 12.16–12.17 深偽:只用自己的聲音複製一次,再和自己的真實錄音做盲測、算相似度,體會「聽起來像」為什麼不能當身分驗證。
課程安全界線(12.22)
- 可以:自己錄的聲音、TTS 內建聲音、虛構角色、有授權的資料集。
- 不可以:未經同意複製真實可辨識的人、冒充他人、把合成聲音當真實錄音、任何欺騙用途。
- 本課程不允許複製第三人的聲音,即使對方口頭同意也一樣。
- 開放權重不代表你有權使用任何人的聲音。作品要附揭露紀錄(見下方產生器)。
CER/WER 計算器:錯在哪裡,一格一格看
把模型輸出和人工確認過的參考答案對齊,數替換 S、刪除 D、插入 I。WER = (S+D+I)/N,N 是參考答案的詞數;CER 改成以字計算。中文沒有空白分詞,所以通常用 CER。分數之前,先決定正規化規則。
上排參考、下排輸出。替換 刪除 插入
| 正規化後的參考 | |
|---|---|
| 正規化後的輸出 |
Whisper:選模型是取捨,時間戳記要人工檢查
Whisper 有 tiny、base、small、medium、large、turbo 幾種大小。模型越大通常越準,但要更多記憶體、跑得更慢;而且同一個模型在不同錄音、語言、硬體上表現會不一樣。下表是 OpenAI 官方 README 的大約值,你的電腦要自己量。
model = whisper.load_model("small")
result = model.transcribe("lecture.wav", language="zh",
initial_prompt="以下為繁體中文資訊課程內容,"
"包含 NumPy、librosa、STFT、"
"Whisper、OpenCV 等專有名詞。")
for seg in result["segments"]:
print(f"[{seg['start']:7.2f} → {seg['end']:7.2f}] {seg['text']}")
相對速度是以 large 為 1 的官方大約值(在 A100 上測英文轉寫)。中文、你的 GPU、錄音品質都會讓數字不同。
時間戳記是模型估計的,語速快、多人同時說話、靜音、背景音樂都可能讓它飄掉。做字幕一定要人工校對時間與專有名詞。
深偽證據卡:不要只回答真或假
先處理一個情境,再填證據卡。證據分三類:可觀察的訊號、來源與情境、外部查證。結論寫信心程度,「證據不足」也是合理的答案。
偵測器分數只是其中一項訊號證據,不是測謊機;它在新的生成器、語言、壓縮格式上可能失準。
揭露紀錄產生器
只要作品用了合成語音,就附上揭露紀錄:工具、聲音、輸入、後製、有沒有複製真人聲音、最後人工確認。用模型或 API 時,再加上版本、日期、參數,讓別人能重現。
做完實驗,檢查一下
點選答案,會立刻告訴你對不對和原因。