W11/剪輯實驗室
多媒體系統・MS-115 日間部・Week 11

剪輯聲音,就是在改數字

裁切、調音量、淡入淡出、混音、去停頓、變速變調,背後都是對一串樣本做運算。每個實驗都照同一條線走:剪輯操作 → 訊號改變 → 聽到的結果。先戴耳機、音量調小,先預測再按播放。頁面上的人聲是程式合成的示範聲音。

剪輯操作pydub 的一行程式:切片、+6、overlay…
訊號改變樣本被取出、相乘、相加、重新排列
聽到的結果變短、變大聲、喀聲、破音、變尖…
動畫講解

先看三支短動畫

每支 45 秒左右,可以全螢幕播放,沒有旁白,適合邊播邊講。看完再往下動手做。

1・剪輯,就是在改樣本裁切、增益、淡入、混音與削波(11.1–11.3)
2・Podcast 自動剪輯器偵測非靜音 → 壓縮停頓 → 調音量 → 匯出(11.9–11.17)
3・變速 vs 變調直接加速、time_stretch、pitch_shift 差在哪(11.21–11.24)
基本操作11.1–11.8:裁切、增益、淡入淡出、混音、正規化
實驗 1・11.1、11.6

裁切:取出一段樣本

裁切就是從樣本序列裡取一段。pydub 的切片單位是毫秒,audio[5000:15000] 是第 5 到 15 秒;audio[5:15] 只有 10 毫秒。


        
動手:先按 audio[5:15]:你以為是 10 秒,聽到了什麼?再把起點拖到一個字的正中間,播放時開頭有沒有「喀」一聲?

整段錄音,橘色是切片範圍

切片放大:看頭尾是不是切在波形中間

切片長度
樣本數(毫秒 × 22,050 ÷ 1000)
開頭第一個樣本的值
實驗 2・11.1、11.7

增益:每個樣本乘同一個數

調音量就是乘法:新樣本 = 樣本 × 10dB/20。+6 dB 約等於乘 2,−6 dB 約等於乘 0.5。乘完超過 ±1 的部分存不下,會被削平。


        
        
動手:先預測:這段聲音的 Peak 約 −5 dBFS,加幾 dB 會開始削波?加到 +12 dB 時,聲音除了變大聲還多了什麼?

紅線:±1(0 dBFS),超出的樣本被削平並標成紅色

振幅倍數
max dBFS
被削波的樣本
實驗 3・11.1、11.8

淡入淡出:隨時間變化的增益

淡入是把樣本乘上一條從 0 慢慢升到 1 的曲線(包絡)。切在波形中間時,聲音瞬間從 0 跳到某個值,就會聽到「喀」;淡入幾十毫秒就能消掉。Crossfade 則是前一段淡出、後一段淡入,兩段重疊相加。


        
        
動手:fade_in 從 0 調到 10 ms、30 ms、300 ms,喀聲什麼時候消失?300 ms 之後聽起來還自然嗎?Crossfade 拉長時,總長度怎麼變?

輸出長度
第一個樣本跳多大
實驗 4・11.2–11.3、11.7

混音:逐點相加,小心削波

voice.overlay(bgm) 把兩段樣本逐點相加。兩段各自都沒有超過 0 dBFS,加起來卻可能超過。混音前先把各軌調小,留一點空間(headroom)。


        
動手:先預測:人聲 Peak 約 −5 dBFS、音樂約 −4 dBFS,兩個都 0 dB 疊起來會不會削波?要把音樂調到幾 dB 才不會?

白:人聲 橘:音樂 下方是相加結果,紅色是削波的位置

人聲 max dBFS
音樂 max dBFS
混音 max dBFS
被削波的樣本
實驗 5・11.4、11.13–11.15

三種「正規化」不是同一件事

Peak 正規化看最大的一瞬間;平均 dBFS 調整看整段 RMS(停頓也算進去);LUFS 是依人耳加權、並排除太小聲片段的響度。同一段錄音,三種方法給的增益可能差很多。

來源
試聽
動手:比較「有長停頓」和「停頓已壓縮」:平均 dBFS 法給的增益差多少?哪一種方法會讓 max dBFS 超過 0?這就是 11.13 說「長停頓會拉低平均值」的意思。

LUFS 是簡化版:單聲道、BS.1770 的 K 加權與兩段門檻,數字可能和專業響度表差一點。

Podcast 自動剪輯11.9–11.17:偵測非靜音、壓縮長停頓、調整音量
實驗 6・11.9–11.14

detect_nonsilent:哪裡在說話?

pydub 每隔一小段,計算接下來 min_silence_len 毫秒的 RMS;低於 silence_thresh 就算靜音。剩下的就是非靜音段。這裡的程式照 pydub 的演算法寫,步進 10 ms。

來源
門檻

        
動手:① min_silence_len 從 300 試到 1200 ms,非靜音段數怎麼變?② 把背景噪音調大:固定門檻 −40 還切得出停頓嗎?換成相對門檻呢?③ 來源切到「整段靜音」,相對門檻會怎樣?

波形:綠色是非靜音段,灰色是被判定為靜音的範圍

每 10 ms 的音量(dBFS),橘線是門檻

compact_long_silence 的結果(同一個時間尺度,看它短了多少)

門檻(dBFS)
非靜音段
原始長度
壓縮後

實驗 7・11.15–11.17、11.27

Podcast 自動剪輯器:用你的錄音試試

把講義 11.17 的完整流程搬到瀏覽器:壓縮長停頓 → 平均音量調到目標 → 淡入淡出 → 加片頭片尾。上傳一段 1–3 分鐘的說話錄音(WAV、MP3、M4A),檔案只在你的瀏覽器裡處理,不會上傳到任何地方。

目前使用示範錄音

動手:用自己的錄音跑一次,填作業的測量表:長度、門檻、min_silence_len、keep_gap_ms、dBFS、max dBFS。至少寫三條聆聽筆記:停頓自然嗎?有沒有切到字尾?音量穩嗎?

處理前

處理後(同一個時間尺度)

混音與效果11.18–11.24:背景音樂、濾波、變速變調
實驗 8・11.18–11.19

背景音樂:多小聲才不搶話?

講義用 bgm - 18 先把音樂整體壓低,再疊上人聲。Ducking 更進一步:有人說話時把音樂再壓低,停頓時再升回來。

BGM 增益

        
動手:比較 −12、−18、−24 dB:哪一個「聽得到音樂、又聽得清楚說話」?用下面的「人聲比音樂大多少」當證據,不要只憑喜好。開 Ducking 後,停頓時音樂會發生什麼事?

白:人聲 橘:音樂(已套增益) 綠線:音樂的增益曲線

說話時,人聲比音樂大多少
混音 max dBFS
實驗 9・11.20

濾波:只動某一段頻率

這段錄音混了 60 Hz 的電源嗡嗡聲和高頻嘶嘶聲。High-pass 讓高於截止頻率的聲音通過,用來去低頻;Low-pass 讓低於截止頻率的通過,用來去高頻。回想第十章的頻譜:濾波就是改頻譜的形狀。

濾波器斜率

        
動手:High-pass 拉到 100 Hz,嗡嗡聲還在嗎?說話聲有沒有變?Low-pass 拉到 1,500 Hz,嘶嘶聲沒了,但人聲聽起來像隔著什麼?pydub 的濾波器是一階,斜率很緩,切換成四階比較看看。

頻譜(對數頻率軸):灰線是原始,橘線是濾波後,虛線是截止頻率

實驗 10・11.21–11.24

變速 vs 變調

直接加快播放,波形被壓短,每秒振動次數變多,時間和音高一起變。librosa.effects.time_stretch 和 pitch_shift 用 STFT 和相位聲碼器把兩件事拆開。這裡的相位聲碼器照 librosa 的作法寫(n_fft 1024、hop 256)。


        
動手:三種模式都設成「快 1.25 倍/高 4 個半音」,比較長度和音高。再把 rate 拉到 0.5 或 n_steps 拉到 ±12:程式沒出錯,聲音哪裡不自然?

原始頻譜圖(0–4000 Hz),橫軸是時間

處理後頻譜圖,時間尺度和上面相同:看長度、看橫線的高度

原始長度
處理後長度
基頻(原本 150 Hz)
檢核・11.28

做完實驗,檢查一下

點選答案,會立刻告訴你對不對和原因。