Short-Time Fourier Transform短時傅立葉轉換短時間フーリエ変換

9.1 Why Time–Frequency Analysis?9.1 為什麼需要時頻分析？9.1 なぜ時間周波数解析が必要か

Every transform we have used so far — DTFT, $z$-transform, DFT — analyzes a signal as a whole. The basis functions $e^{j\omega n}$ extend over all time, so a single Fourier coefficient mixes together contributions from the entire signal. That is perfectly adequate for stationary signals（平穩訊號）whose spectral content does not change, but most signals we actually care about — speech, music, radar returns, biomedical signals — are nonstationary（非平穩訊號）: their frequency content evolves with time. A melody is precisely a sequence of different frequencies at different times.目前為止我們用過的每一種轉換——DTFT、$z$ 轉換、DFT——都是把訊號當成一個整體來分析。基底函數 $e^{j\omega n}$ 在所有時間上延伸，所以單一個傅立葉係數會把整段訊號的貢獻全部混在一起。對於頻譜內容不隨時間改變的平穩訊號，這樣完全夠用；但我們真正在乎的訊號——語音、音樂、雷達回波、生醫訊號——多半是非平穩的：它們的頻率內容會隨時間演變。一段旋律正是不同的頻率出現在不同的時刻。ここまで使ってきた変換 —— DTFT、$z$ 変換、DFT —— はいずれも信号を全体として解析する。基底関数 $e^{j\omega n}$ は全時間にわたって広がっているので、一つのフーリエ係数には信号全体からの寄与が混ざり合っている。スペクトルの内容が変化しない定常信号であればそれで十分だが、我々が実際に扱いたい信号 —— 音声、音楽、レーダ反射波、生体信号 —— の多くは非定常である。すなわち周波数成分が時間とともに移り変わる。旋律とはまさに、異なる周波数が異なる時刻に並んだ列にほかならない。

9.1.1 The Fourier transform hides timing9.1.1 傅立葉轉換藏起了時間資訊9.1.1 フーリエ変換は時間情報を隠す

The lecture opens with the Fourier transform of an amplitude-modulated sine: the FT shows which frequencies are present, but tells us almost nothing about when they occur. Here is the cleanest demonstration. Take two signals built from the same two tones, played in opposite order:這一講從一個調幅正弦波的傅立葉轉換開始：傅立葉轉換告訴我們有哪些頻率存在，卻幾乎完全不告訴我們它們何時出現。下面是最乾淨的一個示範。取兩個由同樣兩個音調構成、但播放順序相反的訊號：講義は振幅変調された正弦波のフーリエ変換から始まる。フーリエ変換はどの周波数が存在するかは示すが、それがいつ生じたかはほとんど教えてくれない。もっとも明快な実例を挙げよう。同じ二つの純音から作られ、順序だけを入れ替えた二つの信号を考える。

9.1.2 FT of short segments9.1.2 短片段的傅立葉轉換9.1.2 短い区間のフーリエ変換

The fix suggested by the slides is intuitive: if the spectrum changes with time, chop the signal into short segments and Fourier-transform each segment separately. Within a segment of a few tens of milliseconds, speech or music is approximately stationary（短時間內近似平穩）, so a per-segment spectrum is meaningful. Doing this for every segment position, and stacking the resulting spectra side by side as columns of an image, is exactly the idea of the spectrogram （頻譜圖／聲譜圖）, and the underlying transform is the Short-Time Fourier Transform (STFT, 短時傅立葉轉換).投影片給出的解法很直觀：既然頻譜會隨時間改變，那就把訊號切成一段一段的短片段，再對每一段分別做傅立葉轉換。在幾十毫秒的片段之內，語音或音樂近似是平穩的，所以逐段的頻譜就有意義了。對每一個片段位置都這麼做，再把得到的頻譜一欄一欄並排堆成一張影像，這正是頻譜圖（聲譜圖）的想法，而其背後的轉換就是短時傅立葉轉換（Short-Time Fourier Transform, STFT）。スライドが示す対処法は直観的である。スペクトルが時間とともに変わるのなら、信号を短い区間に切り分け、各区間を別々にフーリエ変換すればよい。数十ミリ秒の区間の中であれば、音声や音楽はほぼ定常とみなせるので、区間ごとのスペクトルには意味がある。これをすべての区間位置について行い、得られたスペクトルを画像の列として横に並べたものが、まさにスペクトログラムの考え方であり、その基礎にある変換が短時間フーリエ変換（Short-Time Fourier Transform, STFT）である。

9.1.3 Worked example: an amplitude-modulated sine9.1.3 範例：一個調幅正弦波9.1.3 例題：振幅変調された正弦波

The two sections above state the problem and name the cure. This section works the lecture's own motivating example all the way through, because it answers a question the statement of the problem leaves open: the whole-signal transform does not lose the modulation, so where exactly does the modulation go? The answer turns out to be concrete and checkable, and it is what makes the STFT feel inevitable rather than merely convenient.前面兩小節一個講出問題、一個講出解法。這一小節把講義自己用來引出 STFT 的例子從頭做完一遍，因為問題的陳述留下了一個沒有回答的疑問：整段轉換並沒有把調變弄丟，那麼調變究竟跑到哪裡去了？答案是具體而且可以驗算的，而且正是這個答案讓 STFT 變成非做不可，而不只是比較方便。前の二つの小節は、一方が問題を述べ、他方が処方を名指した。本小節では、講義が STFT を導くのに用いたその例題を最後まで解いてみる。問題の述べ方だけでは答えの出ない疑問が残っているからである。全体を一度に変換しても変調が失われるわけではない。では変調はいったいどこへ行くのか。その答えは具体的で検算もでき、しかも STFT を単に便利なものではなく避けて通れないものに変えるのは、まさにこの答えである。

The signal訊號本身信号そのもの

Take a slowly amplitude-modulated (AM) sine: a fast carrier whose height is scraped up and down by a slow envelope.取一個慢速調幅（AM）的正弦波：一個變化很快的載波，它的高度被一個變化很慢的包絡上下刮動。ゆっくり振幅変調（AM）された正弦波を取る。速く振動する搬送波の高さが、ゆっくりした包絡によって上下に削られている信号である。

The envelope $A[n]$ is $0$ at $n=0$ and at $n=N$, and reaches its maximum $A[N/2]=1-\cos\pi=2$ in the middle, so the waveform is a spindle: pinched at both ends, fattest in the centre. What we would intuitively like the analysis to tell us is one sentence: the frequency stays fixed at $\omega_0$, but the strength grows from nothing, peaks, and dies away again.包絡 $A[n]$ 在 $n=0$ 與 $n=N$ 處為 $0$，在正中間達到最大值 $A[N/2]=1-\cos\pi=2$，所以波形是一個紡錘形：兩端收細、中間最胖。直覺上我們希望分析結果告訴我們的，就是一句話：頻率固定在 $\omega_0$，但強度由無到有、到達頂點、再消失。包絡 $A[n]$ は $n=0$ と $n=N$ で $0$ となり、中央で最大値 $A[N/2]=1-\cos\pi=2$ に達する。したがって波形は紡錘形である。両端がすぼまり、中央がもっとも太い。直観的に解析に言ってほしいのは一文に尽きる。周波数は $\omega_0$ に固定されたまま、強さが無から立ち上がり、頂点を過ぎ、ふたたび消えてゆく。

What a whole-signal DFT shows整段做 DFT 會看到什麼全体を一度に DFT すると何が見えるか

Expand the product with the product-to-sum identity — the one written in green in the corner of the slide:用和差化積公式把乘積展開——也就是投影片角落用綠字寫的那一條：積和の公式で積を展開する。スライドの隅に緑の字で書かれているあの式である。

Applying it to $\cos\frac{2\pi n}{N}\cos\omega_0 n$ and keeping the leading $\cos\omega_0 n$ untouched turns the one modulated tone into a sum of three unmodulated ones:把它用在 $\cos\frac{2\pi n}{N}\cos\omega_0 n$ 上，前面那一項 $\cos\omega_0 n$ 原封不動，於是一個被調變的音調變成了三個沒有被調變的音調之和：これを $\cos\frac{2\pi n}{N}\cos\omega_0 n$ に適用し、先頭の $\cos\omega_0 n$ はそのまま残すと、変調された一つの音が変調されていない三つの音の和に変わる。

So an $N$-point DFT of the whole record shows three closely spaced lines and nothing else:所以對整段紀錄做 $N$ 點 DFT，看到的就是三根靠得很近的譜線，此外什麼都沒有：したがって全記録に対する $N$ 点 DFT に現れるのは互いに近接した三本の線だけであり、それ以外には何もない。

• the middle one at $\omega_0$ — bin $k$ — with amplitude $1$;中間那根在 $\omega_0$，也就是第 $k$ 個頻格，振幅為 $1$；中央の一本は $\omega_0$、すなわち第 $k$ ビンにあり、振幅は $1$ である。
• two sidebands at $\omega_0\pm 2\pi/N$ — the immediately adjacent bins $k\pm1$ — each with amplitude $\tfrac12$ and carrying a minus sign.兩側的側波帶在 $\omega_0\pm 2\pi/N$，也就是緊鄰的頻格 $k\pm1$，各自振幅 $\tfrac12$，而且帶著負號。両側の側波帯は $\omega_0\pm 2\pi/N$、すなわちすぐ隣のビン $k\pm1$ にあり、振幅はそれぞれ $\tfrac12$ で、しかも負号を背負っている。

The sideband-to-centre height ratio is therefore $1:2$, exactly the proportion drawn on the slide. Its two labels $N/2$ and $N$ fix the convention: a bin-centred cosine of amplitude $a$ puts $|X[k]|=aN/2$ into each of the bins $\pm k$, so the plain two-sided magnitudes here are $N/2$ at the carrier and $N/4$ at each sideband, while folding the negative-frequency bin onto the positive one — the one-sided reading the slide uses — doubles both to $N$ and $N/2$. The ratio $2:1$ is the same under either convention; only the absolute heights move.所以側波帶與中間的高度比是 $1:2$，正是投影片圖上畫出來的比例。圖上標的兩個數字 $N/2$ 與 $N$ 把慣例定了下來：一個正好落在頻格中心、振幅為 $a$ 的餘弦，會在 $\pm k$ 兩個頻格各放進 $|X[k]|=aN/2$，所以這裡未經折疊的雙邊振幅是載波處 $N/2$、每個側波帶 $N/4$；而把負頻率那一格折疊到正頻率上——也就是投影片採用的單邊讀法——會讓兩者都加倍成 $N$ 與 $N/2$。$2:1$ 這個比值在兩種慣例下都一樣，動的只是絕對高度。したがって側波帯と中央の高さの比は $1:2$ であり、まさにスライドの図に描かれた比例である。図に添えられた二つの数 $N/2$ と $N$ が流儀を決めている。ビンの中心にぴったり乗った振幅 $a$ の余弦は、$\pm k$ の両方のビンに $|X[k]|=aN/2$ を置く。よってここで折り返しを行わない両側振幅は、搬送波で $N/2$、各側波帯で $N/4$ となる。負の周波数のビンを正の側へ折り返すと——スライドが採る片側の読み方である——どちらも倍になって $N$ と $N/2$ になる。比 $2:1$ はどちらの流儀でも同じであり、動くのは絶対的な高さだけである。

Where the modulation hides: beating調變藏在哪裡：拍変調はどこに隠れるのか：うなり

Three static lines are a very odd-looking answer to "the strength grows and dies away". The slide says the spectrum represents the modulation only indirectly, and the mechanism is beating（拍）: three sinusoids of almost the same frequency drift in and out of step with one another, and their sum is alternately cancelled and reinforced. Evaluate the three terms at the two instants that matter.三根靜止不動的譜線，拿來回答「強度由小變大再變小」，看起來實在很不對勁。投影片說頻譜只是間接表示調變，而其機制就是拍（beating）：三個頻率幾乎相同的正弦波彼此的步調會慢慢錯開又對上，於是它們的和時而互相抵消、時而互相加強。把這三項在兩個關鍵時刻算出來就看得很清楚。静止した三本の線は、「強さが大きくなってまた小さくなる」への答えとしてはいかにも奇妙に見える。スライドはスペクトルが変調を間接的にしか表さないと言う。その仕組みがうなり（beating、拍）である。周波数のほとんど等しい三つの正弦波は、互いの歩調が少しずつずれてはまた揃い、その和は打ち消し合ったり強め合ったりを繰り返す。鍵となる二つの時刻で三項を評価すれば、それがはっきり見える。

At $n=0$ all three cosines are in step, the two negative halves eat the positive whole, and the sum is exactly $0$ — the pinched end of the spindle. By $n=N/2$ each sideband has slipped a half-turn relative to the carrier, so its own sign has flipped; combined with the minus sign it already carried, both sidebands now add, and the sum is $2$ — the fat middle. Nothing in the picture moved: the three amplitudes $1,-\tfrac12,-\tfrac12$ are constants for all time. What changed is only the relative phase of three fixed sinusoids.在 $n=0$ 時三個餘弦步調一致，兩個負的一半把正的一整份吃掉，和恰好是 $0$——紡錘形收細的那一端。到了 $n=N/2$，每個側波帶相對於載波都已經滑過了半圈，自身的正負號因此翻轉；再配上它原本就帶著的負號，兩個側波帶現在變成相加，和是 $2$——紡錘形最胖的中間。圖上什麼都沒有動：三個振幅 $1,-\tfrac12,-\tfrac12$ 對所有時間都是常數。改變的只有三個固定正弦波之間的相對相位。$n=0$ では三つの余弦の歩調が揃っており、負の半分が二つで正の一つ分を食い尽くすので、和はちょうど $0$ になる。紡錘形のすぼまった端である。$n=N/2$ に至ると、各側波帯は搬送波に対して半回転だけずれており、それ自身の符号が反転している。もともと背負っていた負号と合わさって、二つの側波帯はいまや加わる側に回り、和は $2$ となる。紡錘形の太い中央である。図の上では何も動いていない。三つの振幅 $1,-\tfrac12,-\tfrac12$ はすべての時刻について定数である。変わったのは、三つの固定した正弦波どうしの相対位相だけである。

What we wanted instead我們真正想要的是什麼本当に欲しかったもの

The description we actually want is the one we started from, $x[n]=A[n]\cos\omega_0 n$: one frequency $\omega_0$, with a height $A[n]$ that drifts slowly. §9.1.2 has already named the way to get it — cut the signal up and transform each piece — and this example makes the condition on the cut precise:我們真正想要的描述，就是一開始寫下的那一個：$x[n]=A[n]\cos\omega_0 n$——一個頻率 $\omega_0$，高度 $A[n]$ 隨時間慢慢變化。§9.1.2 已經點出了取得它的辦法——把訊號切開、每段各自轉換——而這個例子把「怎麼切」的條件講得很精確：本当に欲しい記述は、最初に書き下したものそのものである。$x[n]=A[n]\cos\omega_0 n$、すなわち一つの周波数 $\omega_0$ と、ゆっくり動く高さ $A[n]$ である。§9.1.2 はそれを得る手立て——信号を切り、各片を変換する——をすでに名指している。この例題は、その切り方に課される条件を正確にしてくれる。

1. Cut $x[n]$ into short frames, each of length $L$.把 $x[n]$ 切成短音框，每段長度 $L$。$x[n]$ を長さ $L$ の短いフレームに切る。
2. Make $L$ short enough that the slow $A[n]$ is nearly constant within one frame. This is the whole condition.$L$ 要短到讓慢變的 $A[n]$ 在一段之內幾乎是常數。整個條件就只有這一句。ゆっくり変わる $A[n]$ が一つのフレームの中でほぼ定数とみなせる程度に $L$ を短くする。条件はこれに尽きる。
3. DFT each frame on its own. At $\omega_0$ it gives one peak, of height roughly that frame's $A$.每一段各做一次 DFT。在 $\omega_0$ 處得到一根峰，高度約等於該段的 $A$。各フレームを個別に DFT する。$\omega_0$ に一つのピークが立ち、その高さはおよそそのフレームの $A$ になる。
4. Lay the per-frame spectra out along time, and the peak height is seen to rise and fall.把各段的頻譜依時間排好，就看得到峰的高度起伏。フレームごとのスペクトルを時間に沿って並べれば、ピークの高さが上下するのが見える。

Written out, frame $m$ starts at $mR$ and its spectrum is寫成式子，第 $m$ 個音框起點在 $mR$，其頻譜為式に書けば、第 $m$ フレームは $mR$ から始まり、そのスペクトルは次のようになる。

— which is §9.2.2's $X_m[k]$ with $L$ written for the frame length and $R$ for the hop. Note what the cutting already costs: chopping a signal into frames is itself a multiplication by a rectangular window, so every leakage problem met in §9.3.1 applies here without exception. In practice one therefore uses a tapered $w[n]$, Hann being the usual choice, and overlaps adjacent frames — $R=L/2$ is the standard setting, the one the figure below uses.——這正是 §9.2.2 的 $X_m[k]$，只是音框長度寫成 $L$、跳距寫成 $R$。注意「切」本身已經有代價：把訊號切成一段一段，本身就是乘上一個矩形窗，所以 §9.3.1 裡遇到的每一個洩漏問題在這裡全部適用，毫無例外。因此實務上會改用有錐度的 $w[n]$，通常選 Hann 窗，並讓相鄰音框重疊——$R=L/2$ 是標準設定，也是下圖採用的設定。——これは §9.2.2 の $X_m[k]$ そのものであり、フレーム長を $L$、ホップ長を $R$ と書き換えただけである。ここで切ることの代償に注意したい。信号をフレームに切り分けること自体が、矩形窓を掛けることにほかならない。したがって §9.3.1 で出会った漏れの問題は、ここでも例外なくすべて当てはまる。だからこそ実務では裾の落ちた $w[n]$——通常は Hann 窓——を用い、隣り合うフレームを重ねる。$R=L/2$ が標準の設定であり、下の図もそれを使っている。

Interactive: the same signal, both ways互動圖：同一個訊號，兩種看法インタラクティブ図：同じ信号を二通りに見る

Drag the frame length $L$ and compare the whole-signal DFT with the STFT. The four panels are the three slides, stacked.拖動音框長度 $L$，比較整段 DFT 與 STFT 的結果。四個面板就是三張投影片疊起來。フレーム長 $L$ を動かして、全体の DFT と STFT とを見比べてほしい。四つの面板は三枚のスライドを積み上げたものである。

Reading the four panels against the three slides:把四個面板對回三張投影片：四つの面板を三枚のスライドに対応させて読むと、次のようになる。

• ① Time domain. The spindle-shaped AM signal, with the tinted blocks marking where the STFT frames fall. This is the signal the first slide draws.① 時域：紡錘形的 AM 訊號，色塊標出 STFT 各音框的位置。這就是第一張投影片畫的訊號。① 時間領域。紡錘形の AM 信号であり、色の帯が STFT の各フレームの位置を示す。一枚目のスライドが描いている信号そのものである。
• ② Whole-signal DFT. Three lines — $\omega_0$ and its two neighbouring bins, in the ratio $2:1$ — and no hint whatever that the strength rose and fell. This is the second slide's "indirect" representation.② 整段 DFT：只有三根線——$\omega_0$ 與左右相鄰的兩個頻格，高度比 $2:1$——完全看不出強度由小變大再變小。這就是第二張投影片說的「間接」表示。② 全体の DFT。線は三本——$\omega_0$ とその両隣のビン、高さの比は $2:1$——だけであり、強さが上がって下がったという手がかりはまったくない。二枚目のスライドの言う「間接的な」表し方である。
• ③ STFT spectrogram. The energy sits on one horizontal band at the carrier frequency, and that band goes pale, dark, pale from left to right. The time variation is now simply visible.③ STFT 頻譜圖：能量集中在載波頻率那一條水平帶上，顏色由左到右由淡轉深再轉淡。強度隨時間的變化現在直接看得見。③ STFT スペクトログラム。エネルギーは搬送波周波数の一本の水平な帯に集まり、その帯は左から右へ淡く、濃く、また淡くなる。時間変化がそのまま見えるようになっている。
• ④ Peak height against the envelope. Each frame's peak near the carrier (blue) is plotted on the true $A[n]$ (grey). The dots lie on the curve — which is the third slide's claim that framing separates the modulation from the carrier, now a measurement rather than a promise.④ 峰高對包絡：每一段在載波附近的峰高（藍點）畫在真實的 $A[n]$（灰線）上。點落在曲線上——這就是第三張投影片說的「把調變和載波分開」，現在不是承諾而是量出來的數字。④ ピーク高と包絡。各フレームの搬送波付近のピーク高（青点）を真の $A[n]$（灰線）の上に重ねてある。点は曲線に乗る——フレーム化が変調と搬送波を分離するという三枚目のスライドの主張が、約束ではなく測定値になったわけである。

Reading the $L$ slider怎麼讀 $L$ 這根滑桿$L$ のつまみをどう読むか

Dragging $L$ exercises the STFT's one unavoidable limitation. The general statement of that limitation — $\Delta t\approx L/f_s$ against $\Delta f\approx c\,f_s/L$, the uncertainty product that bounds them, and why no window escapes it — is §9.3.2, and is not repeated here. The table below is narrower on purpose: it is a log of what each setting of this one slider does to this one figure, in numbers that can be read off the panels.拖動 $L$ 就是在操作 STFT 唯一躲不掉的限制。這個限制的一般陳述——$\Delta t\approx L/f_s$ 對上 $\Delta f\approx c\,f_s/L$、約束兩者的不確定性乘積，以及為什麼沒有任何一種窗躲得過它——在 §9.3.2，這裡不重複。下面這張表刻意只講窄的一件事：這一根滑桿的每一個設定對這一張圖做了什麼，而且用面板上讀得出來的數字講。$L$ を動かすことは、STFT が避けて通れない唯一の制約を操作することにほかならない。その制約の一般的な言明——$\Delta t\approx L/f_s$ と $\Delta f\approx c\,f_s/L$ の対立、両者を縛る不確定性の積、そしてどの窓もそれを逃れられない理由——は §9.3.2 にあり、ここでは繰り返さない。下の表はあえて狭い。このつまみの各設定がこの一枚の図に何をするかを、面板から読み取れる数で記録しただけのものである。

The rule for choosing $L$ is therefore exactly the condition stated above: short enough that the modulation $A[n]$ is near-constant within one frame, long enough that the frequency resolution separates the frequencies you care about. That is the one trade the slider cannot escape, and it is the reason the whole of §9.3 follows: every frame is a windowed DFT, so main-lobe width, sidelobe leakage and the choice of window all apply to the STFT unchanged.所以選 $L$ 的原則就是上面那個條件：要短到讓調變 $A[n]$ 在一段之內近似常數，又要長到頻率解析度足以分辨你關心的那些頻率。這就是滑桿躲不掉的那一個取捨，也是整個 §9.3 接在後面的理由：每一段都是一次加窗的 DFT，所以主瓣寬度、旁瓣洩漏、窗的選擇，在 STFT 中原封不動地全部適用。したがって $L$ を選ぶ原則は、上で述べた条件そのものである。変調 $A[n]$ が一つのフレームの中でほぼ定数とみなせる程度に短く、かつ関心のある周波数を分離できる分解能が得られる程度に長く。これがつまみの逃れられない唯一の取引であり、§9.3 全体がこのあとに続く理由でもある。各フレームは窓かけされた DFT であるから、主ローブ幅、サイドローブの漏れ、窓の選択は、いずれも STFT にそのまま当てはまる。

9.2 The Short-Time Fourier Transform9.2 短時傅立葉轉換9.2 短時間フーリエ変換

9.2.1 Definition9.2.1 定義9.2.1 定義

Let $w[n]$ be a window function（窗函數）of length $L$ — real, nonnegative, concentrated around its center, and zero outside $0\le n\le L-1$. The STFT of $x[n]$ is the DTFT of the windowed signal, with the window slid to time position $n$:設 $w[n]$ 是一個長度為 $L$ 的視窗函數——實數、非負、集中在中心附近，而且在 $0\le n\le L-1$ 之外為零。$x[n]$ 的 STFT 就是加窗後訊號的 DTFT，其中視窗被滑移到時間位置 $n$：$w[n]$ を長さ $L$ の窓関数とする。実数で非負、中心付近に集中し、$0\le n\le L-1$ の外では零であるものとする。$x[n]$ の STFT とは、窓を時刻 $n$ の位置まで滑らせたうえで、窓をかけた信号の DTFT を取ったものである。

For each fixed window position $n$, $X(n,\omega)$ is an ordinary DTFT of the segment $x[m]\,w[m-n]$ — a function of continuous frequency $\omega$, periodic in $2\pi$. As $n$ varies, the window slides along the signal, so the STFT is a two-dimensional function: one time axis, one frequency axis.對每一個固定的視窗位置 $n$，$X(n,\omega)$ 就是片段 $x[m]\,w[m-n]$ 的普通 DTFT——一個連續頻率 $\omega$ 的函數，並以 $2\pi$ 為週期。當 $n$ 變動時，視窗沿著訊號滑移，因此 STFT 是一個二維的函數：一個時間軸、一個頻率軸。窓の位置 $n$ を一つ固定するごとに、$X(n,\omega)$ は区間 $x[m]\,w[m-n]$ の通常の DTFT であり、連続周波数 $\omega$ の関数で $2\pi$ を周期とする。$n$ を変えていくと窓が信号上を滑っていくので、STFT は二次元の関数となる。時間軸が一本、周波数軸が一本である。

9.2.2 Discrete STFT (frames + DFT)9.2.2 離散 STFT（音框 + DFT）9.2.2 離散 STFT（フレーム + DFT）

In practice we evaluate the STFT only on a grid: time is sampled every $M$ samples (the hop size, 跳距), and frequency is sampled at the $N$ DFT bins. With frame index $m$ and bin index $k$:實務上我們只在一個格點上計算 STFT：時間每 $M$ 個樣本取樣一次（這就是跳距，hop size），頻率則取在 $N$ 個 DFT 頻格上。以音框索引 $m$ 與頻格索引 $k$ 表示：実際には STFT を格子点の上でのみ評価する。時間は $M$ 標本ごとに標本化し（これがホップ長である）、周波数は $N$ 個の DFT ビンで標本化する。フレーム番号 $m$、ビン番号 $k$ を用いると、

In words: take the $N$ samples starting at $mM$, multiply pointwise by the window, and take an $N$-point FFT. Each $m$ produces one frame（音框）— one column of the time–frequency image. For a signal of length $L_x$, the number of complete frames is用文字說：取從 $mM$ 開始的 $N$ 個樣本，與視窗逐點相乘，再做 $N$ 點 FFT。每一個 $m$ 產生一個音框——也就是時頻影像的一欄。對長度為 $L_x$ 的訊號，完整音框的個數為言葉で言えば、$mM$ から始まる $N$ 標本を取り出し、窓と点ごとに掛け合わせ、$N$ 点 FFT を取る。各 $m$ が一つのフレーム、すなわち時間周波数画像の一列を生む。長さ $L_x$ の信号に対して、完全なフレームの個数は

which is precisely the loop bound used in the homework's myspectrogram function. The frequency spacing between adjacent bins is $f_s/N$ — but as we will see in Section 9.3.2, the true resolution is set by the window length, not by $N$.這正是作業中 myspectrogram 函式所用的迴圈上界。相鄰頻格之間的頻率間距是 $f_s/N$——但如同 9.3.2 節將看到的，真正的解析度是由窗長決定的，不是由 $N$ 決定。これはまさに課題の myspectrogram 関数で使われているループの上限である。隣り合うビンの周波数間隔は $f_s/N$ である。ただし 9.3.2 節で見るように、本当の分解能を決めるのは窓長であって $N$ ではない。

9.2.3 Two limiting slices9.2.3 兩個極限切片9.2.3 二つの極限的な切り口

Two elementary inputs reveal exactly what the STFT can and cannot resolve:兩個最基本的輸入，恰好揭露了 STFT 能分辨什麼、不能分辨什麼：二つの初等的な入力が、STFT に何が分解できて何が分解できないかをそのまま明らかにしてくれる。

• Pure tone $x[n]=e^{j\omega_0 n}$: the STFT magnitude is $|W(e^{j(\omega-\omega_0)})|$ — the window's own spectrum parked at $\omega_0$. A mathematically exact line becomes a ridge of width equal to the window mainlobe（主瓣）. Frequency blur $=$ window spectrum.純音 $x[n]=e^{j\omega_0 n}$：STFT 的振幅是 $|W(e^{j(\omega-\omega_0)})|$——也就是視窗自己的頻譜被搬到 $\omega_0$ 上停著。數學上精確的一條譜線，變成了一道寬度等於視窗主瓣的脊。頻率上的模糊 $=$ 視窗頻譜。純音 $x[n]=e^{j\omega_0 n}$：STFT の振幅は $|W(e^{j(\omega-\omega_0)})|$ となる。すなわち窓自身のスペクトルが $\omega_0$ に置かれた形である。数学的には厳密な一本の線が、窓の主ローブと同じ幅をもつ尾根になる。周波数方向のぼけ $=$ 窓のスペクトル。
• Impulse $x[n]=\delta[n-n_0]$: the STFT magnitude is $|w[n_0-n]|$ (reversed window) — an exact time event is smeared over the window duration. Time blur $=$ window length.脈衝 $x[n]=\delta[n-n_0]$：STFT 的振幅是 $|w[n_0-n]|$（反轉後的視窗）——一個時間上精確的事件被抹散到整個視窗的持續長度上。時間上的模糊 $=$ 窗長。インパルス $x[n]=\delta[n-n_0]$：STFT の振幅は $|w[n_0-n]|$（時間反転した窓）となる。時間的に厳密な事象が、窓の継続長にわたって広がってしまう。時間方向のぼけ $=$ 窓長。

So the window $w[n]$ acts as the "point spread function" of the analysis in both axes simultaneously. Choosing $w$ is the entire art of the STFT — which is why the lecture spends four slides on it.所以視窗 $w[n]$ 等於同時在兩個軸上扮演這個分析的「點擴散函數」。選擇 $w$ 就是 STFT 的全部技藝——這也正是講義在它上面花了四張投影片的原因。つまり窓 $w[n]$ は、この解析の「点広がり関数」として両方の軸に同時に効いている。$w$ をどう選ぶかが STFT の技術のすべてであり、だからこそ講義はそこに四枚のスライドを費やしている。

9.3 Windowing: Shape and Length9.3 加窗：窗形與窗長9.3 窓かけ：形状と長さ

9.3.1 Window shape9.3.1 視窗的形狀9.3.1 窓の形状

Truncating a signal with a rectangular window（矩形窗）is multiplication in time, hence convolution with the window spectrum in frequency. The rectangular window's spectrum is the periodic sinc (Dirichlet kernel): a narrow mainlobe, but sidelobes（旁瓣） only $-13$ dB down. Those sidelobes cause leakage（頻譜洩漏）: a strong tone splatters energy across the whole band and buries weak neighbors. Tapered windows trade a wider mainlobe for far lower sidelobes.用矩形窗把訊號截斷，在時域是相乘，因此在頻域就是與視窗頻譜做摺積。矩形窗的頻譜是週期性 sinc（Dirichlet 核）：主瓣很窄，但旁瓣只低了 $-13$ dB。這些旁瓣造成頻譜洩漏：一個強的音調會把能量潑灑到整個頻帶上，把鄰近的弱訊號埋掉。錐形窗則用較寬的主瓣，換得低得多的旁瓣。矩形窓で信号を打ち切ることは時間領域での掛け算であり、したがって周波数領域では窓のスペクトルとの畳み込みになる。矩形窓のスペクトルは周期 sinc（ディリクレ核）であり、主ローブは狭いがサイドローブは $-13$ dB しか下がらない。このサイドローブがスペクトル漏れを引き起こす。強い音のエネルギーが帯域全体にまき散らされ、近くの弱い成分を埋めてしまうのである。テーパ窓は主ローブ幅が広がるのと引き換えに、はるかに低いサイドローブを手に入れる。

9.3.2 Window length and the resolution trade-off9.3.2 窗長與解析度的取捨9.3.2 窓長と分解能のトレードオフ

Window shape sets the sidelobe behavior; window length $L$ sets the fundamental trade-off. The mainlobe width scales as $1/L$, so in hertz the frequency resolution of a Hann-windowed STFT is approximately視窗的形狀決定旁瓣的行為；視窗的長度 $L$ 則決定那個根本的取捨。主瓣寬度正比於 $1/L$，所以用 Hann 窗做 STFT 時，以赫茲表示的頻率解析度大約是窓の形状がサイドローブの振る舞いを決め、窓の長さ $L$ が根本的なトレードオフを決める。主ローブ幅は $1/L$ に比例するので、Hann 窓を用いた STFT の周波数分解能はヘルツ単位でおよそ

• Long window → narrow mainlobe → fine frequency detail, but events separated by less than $L$ samples blur together in time.長窗 → 主瓣窄 → 頻率細節精細，但相隔不到 $L$ 個樣本的事件會在時間上糊成一團。長い窓 → 主ローブが狭い → 周波数の細部が見える。ただし $L$ 標本より近接した事象は時間方向でぼけて一つになる。
• Short window → sharp time localization, but tones separated by less than the mainlobe width merge into one ridge.短窗 → 時間定位銳利，但相隔不到主瓣寬度的音調會合併成一道脊。短い窓 → 時間的な定位は鋭い。ただし主ローブ幅より近接した音は一本の尾根に融合してしまう。

You cannot win on both axes at once. This is the signal-processing form of the uncertainty principle（測不準原理）:你沒辦法在兩個軸上同時取勝。這就是不確定性原理在訊號處理中的形式：二つの軸で同時に勝つことはできない。これが不確定性原理の信号処理における形である。

with equality only for the Gaussian window. Improving time resolution by shortening the window necessarily degrades frequency resolution in exact proportion, and vice versa.等號只在高斯窗時成立。把視窗縮短以改善時間解析度，必然會按同樣的比例惡化頻率解析度，反之亦然。等号が成り立つのはガウス窓のときだけである。窓を短くして時間分解能を上げれば、周波数分解能は必ず同じ比率で悪化し、その逆もまた然りである。

$w_S$ against $w_L$: a local measurement against an average$w_S$ 對 $w_L$：量局部，還是量平均$w_S$ と $w_L$：局所を測るか、平均を測るか

The two bullets above are stated as a trade between two kinds of detail. The lecture slide states the same thing a second way, in terms of what the measurement is a measurement of, and that reading is worth having alongside the first because it explains why a long window is not simply a better window. Call the two windows $w_S$ (short) and $w_L$ (long):上面那兩點，是用兩種細節之間的取捨來說的。講義的投影片用第二種方式說同一件事，講的是這個量測到底量到的是什麼；這種讀法值得跟前一種並陳，因為它解釋了為什麼長窗並不是「比較好的窗」而已。把兩個窗分別叫做 $w_S$（短）與 $w_L$（長）：上の二つの箇条書きは、二種類の細部のあいだのトレードオフとして述べたものである。講義のスライドは同じことを二通り目の言い方で述べる。すなわちその測定が何の測定なのかという言い方である。この読み方は最初の読み方と並べておく価値がある。長い窓が単に「より良い窓」ではない理由を説明してくれるからである。二つの窓をそれぞれ $w_S$（短い）と $w_L$（長い）と呼ぶことにする。

• $w_S$ covers a short stretch, so what it measures is a local property. The number it returns belongs to one instant to within $\Delta t$, and a short event — a plosive burst, an onset, a single glottal pulse — survives in it as an event rather than being averaged away.$w_S$只涵蓋訊號的一小段，所以它量到的是局部的性質。它回報的數字在 $\Delta t$ 的誤差內屬於某一個瞬間，而短暫的事件——一次爆破、一個起音、一個聲門脈衝——在它裡面仍然是一個事件，而不會被平均掉。$w_S$ は短い区間しか覆わないので、測っているのは局所的な性質である。返ってくる数は $\Delta t$ の範囲で一つの瞬間に属しており、短い事象——破裂、立ち上がり、一つの声門パルス——はその中で事象のまま残り、平均されて消えることがない。
• $w_L$ covers a long stretch, so what it measures is the average spectrum over that stretch. It is still a correct number; it is simply a number about a span of time rather than about an instant. A transient inside the span contributes to it, but has been divided by the length of the span and can no longer be located within it.$w_L$ 涵蓋很長一段，所以它量到的是那一段時間的平均頻譜。它仍然是一個正確的數字，只不過它講的是一段時間，而不是一個瞬間。段落之內的暫態的確對它有貢獻，但已經被那一段的長度除過了，也沒辦法再定位到段落中的哪個位置。$w_L$ は長い区間を覆うので、測っているのはその区間にわたる平均スペクトルである。これも正しい数ではある。ただそれは、ある瞬間についてではなく、ある時間の広がりについての数だというだけのことである。区間の中の過渡現象はその数に寄与してはいるが、区間の長さで割られてしまっており、区間のどこで起きたのかはもはや特定できない。

Hence the slide's one-line summary, which is the sentence to carry away from the whole of §9.3: more time detail means less frequency detail. It is not a statement about an algorithm being imperfect. The average of a quantity over a long span and the value of that quantity at an instant are different quantities, and a single transform cannot return both.於是就有了投影片那句一行的總結，也是整個 §9.3 最該帶走的一句話：時間細節越多，頻率細節越少。這不是在說某個演算法做得不夠好。一個量在一長段時間上的平均，跟那個量在某一個瞬間的值，本來就是兩個不同的量，一次轉換沒辦法同時交出這兩者。そこからスライドの一行の要約が出てくる。これは §9.3 全体から持ち帰るべき一文でもある。時間の細部が増えれば周波数の細部は減る。これはアルゴリズムの出来が悪いという話ではない。ある量の長い区間にわたる平均と、その量のある瞬間における値とは、そもそも別の量であり、一度の変換が両方を返すことはできない。

The slide's null-to-null formula, and reading $L$ in seconds投影片的零點公式，以及用秒來讀 $L$スライドの零点の式と、$L$ を秒で読むこと

The slide writes the frequency half of the trade as a formula for where the mainlobe first touches zero, in radians per sample and with the window length called $N_W$:投影片把這個取捨的頻率那一半寫成一條公式，講的是主瓣第一次碰到零的位置，單位是每樣本的弧度，而窗長在那裡叫做 $N_W$：スライドはこのトレードオフの周波数側を、主ローブが最初に零に触れる位置の式として書く。単位は毎標本のラジアンであり、窓長はそこでは $N_W$ と呼ばれる。

This is the same number as the box above, written in the slide's units: null-to-null is twice the first null, so $4f_s/N_W$ is $\Delta f\approx c\,f_s/L$ with $c=4$ and $L=N_W$. The reason the constant is $4\pi$ and not the rectangular window's $2\pi$ is already in §9.3.1: a Hann window is a sum of three shifted Dirichlet kernels, at $0$ and $\pm 2\pi/N_W$, so the outermost of the three carries the first null out to twice the rectangular distance. A short $N_1$-point window therefore has a wide $W_S$ and a long $N_2$-point window a narrow $W_2$ — the shorter the window, the more blurred the spectrum, which is the same word §9.3.4 gives to the mainlobe's half of the damage.這跟上面方框裡的是同一個數字，只是換成投影片的單位來寫：零點到零點是第一個零點的兩倍，所以 $4f_s/N_W$ 就是 $\Delta f\approx c\,f_s/L$ 取 $c=4$、$L=N_W$。常數是 $4\pi$ 而不是矩形窗的 $2\pi$，理由 §9.3.1 已經有了：Hann 窗是三個平移過的 Dirichlet 核之和，位置在 $0$ 與 $\pm 2\pi/N_W$，所以三者之中最外側的那一個把第一個零點推到矩形窗的兩倍遠。因此 $N_1$ 點的短窗有一個寬的 $W_S$，$N_2$ 點的長窗有一個窄的 $W_2$——窗越短，頻譜越模糊（blurred），而這正是 §9.3.4 給主瓣那一半損害取的同一個字。これは上の枠の中と同じ数を、スライドの単位で書いたものである。零点から零点までは第一零点の二倍なので、$4f_s/N_W$ は $c=4$、$L=N_W$ とした $\Delta f\approx c\,f_s/L$ にほかならない。定数が矩形窓の $2\pi$ ではなく $4\pi$ である理由はすでに §9.3.1 にある。Hann 窓は $0$ と $\pm 2\pi/N_W$ に置かれた三つの平行移動した Dirichlet 核の和なので、そのうち最も外側のものが第一零点を矩形窓の二倍の距離まで押し出すのである。したがって $N_1$ 点の短い窓は広い $W_S$ をもち、$N_2$ 点の長い窓は狭い $W_2$ をもつ。窓が短いほどスペクトルはぼける（blurred）。これは §9.3.4 が主ローブ側の損害に与えたのと同じ語である。

9.3.3 Tiling the time–frequency plane9.3.3 時頻平面的鋪磚9.3.3 時間周波数平面のタイル分割

A useful mental picture: each STFT coefficient $X_m[k]$ "owns" a cell of the time–frequency plane of width $\Delta t$ and height $\Delta f$, with area bounded below by the uncertainty principle. The window length only decides the aspect ratio of the cells — never their area.一個很有用的心像：每一個 STFT 係數 $X_m[k]$「擁有」時頻平面上一個寬 $\Delta t$、高 $\Delta f$ 的格子，而這個格子的面積有一個由不確定性原理給出的下界。窗長只能決定格子的長寬比——絕對改變不了它們的面積。有用なイメージを一つ。各 STFT 係数 $X_m[k]$ は、時間周波数平面の上で幅 $\Delta t$、高さ $\Delta f$ のセルを一つ「所有」しており、その面積には不確定性原理による下界がある。窓長が決めるのはセルの縦横比だけであって、面積を変えることはできない。

Three windows at three instants, and the blobs they own三個窗、三個時刻，以及它們各自擁有的圓斑三つの窓、三つの時刻、そしてそれぞれが占める円斑

The figure above draws the tiling twice, once per window length. The lecture slide draws a third picture, which is the same idea with the grid taken away: on one empty time–frequency plane it places three blobs, each the cell belonging to a different window analysing the same frequency at a different instant. Underneath each blob it draws the window itself, and to the right it draws the three window spectra on one axis.上面那張圖把鋪磚畫了兩次，一種窗長畫一次。講義的投影片則畫了第三張圖，概念相同，只是把格線拿掉了：在同一張空白的時頻平面上放三個圓斑，每一個都是不同的窗在不同時刻分析同一個頻率時所擁有的那個格子。每個圓斑的下方畫著那個窗本身，右側則把三個窗的頻譜畫在同一條軸上。上の図はタイル分割を、窓長ごとに一度ずつ、計二回描いている。講義のスライドは第三の絵を描く。考え方は同じで、格子を取り払ったものである。一枚の空白の時間周波数平面の上に三つの円斑を置く。それぞれは、異なる窓が異なる時刻に同じ周波数を分析したときに占めるセルである。各円斑の下にはその窓そのものが描かれ、右側には三つの窓のスペクトルが一本の軸の上に重ねて描かれる。

The three curves on the right are the spectra of those three windows, and they say the same thing from the other side: the shorter the window, the wider its spectrum. Nothing in the picture is new — it is Fig. 9-3's two grids with the grid lines removed so that one cell at a time can be looked at — but removing the grid makes one feature impossible to miss, which is that the three blobs have about the same area. That is the uncertainty principle, and it is what the next subsection measures.右邊那三條曲線是那三個窗的頻譜，它們從另一面說著同一件事：窗越短，頻譜越寬。圖裡沒有任何新東西——它就是 圖 9-3 的兩張格子圖把格線拿掉，好讓人一次只看一個格子——但拿掉格線之後有一件事就想忽略也忽略不了，那就是三個圓斑的面積差不多相同。這就是不確定性原理，而下一小節要量的就是它。右側の三本の曲線はその三つの窓のスペクトルであり、同じことを反対側から述べている。窓が短いほどスペクトルは広い。この絵に新しいものは何もない。図 9-3 の二つの格子から格子線を取り去り、セルを一つずつ眺められるようにしただけである。しかし格子線を外すと、見落としようのない特徴が一つ現れる。三つの円斑の面積はほぼ等しいということである。これが不確定性原理であり、次の小節で測るのはこれである。

Why the area does not depend on the window length面積為什麼跟窗長無關面積が窓長に依らない理由

The argument is two lines. $\delta t$ is proportional to $N_W$ and $\delta f$ is proportional to $1/N_W$, so in the product the window length cancels:論證只有兩行。$\delta t$ 正比於 $N_W$，$\delta f$ 正比於 $1/N_W$，所以兩者相乘時窗長就被約掉了：議論は二行で済む。$\delta t$ は $N_W$ に比例し、$\delta f$ は $1/N_W$ に比例するので、積をとると窓長は打ち消し合う。

You can decide whether the blob is to be flat or tall. You cannot make it smaller in both directions at once. The constants $\alpha$ and $\beta$ depend on the shape of the window and on how $\delta t$ and $\delta f$ are defined, and the value of $\alpha\beta$ is therefore not a universal number — which is worth saying out loud, because the literature quotes several different ones for the same window. What does not depend on the definition is that the product is free of $N_W$. Measured on windows from $N_W=32$ to $N_W=1024$, a span of a factor of $32$:你可以決定圓斑要扁還是要高。你沒辦法讓它在兩個方向上同時變小。常數 $\alpha$ 與 $\beta$ 取決於窗的形狀，也取決於 $\delta t$ 與 $\delta f$ 是怎麼定義的，所以 $\alpha\beta$ 的值並不是一個普世的數字——這件事值得講明白，因為文獻上對同一個窗會引用好幾個不同的數字。不隨定義而變的是：這個乘積裡沒有 $N_W$。在 $N_W=32$ 到 $N_W=1024$（相差 $32$ 倍）的範圍上量：円斑を扁平にするか縦長にするかは選べる。しかし両方向で同時に小さくすることはできない。定数 $\alpha$ と $\beta$ は窓の形状と、$\delta t$・$\delta f$ の定義の仕方とに依存する。したがって $\alpha\beta$ の値は普遍的な数ではない。これははっきり言っておく価値がある。文献は同じ窓に対して複数の異なる値を引用しているからである。定義に依らないのは、この積に $N_W$ が含まれないという点である。$N_W=32$ から $N_W=1024$ まで、$32$ 倍の範囲で測った結果は次のとおりである。

Three different constants for the same Hann window, all three of them constant in $N_W$ to five figures. The one entry that misbehaves is instructive rather than embarrassing: the rectangular window's second-moment bandwidth is dominated by the $1/\omega$ tails that its two jump discontinuities produce, and in continuous time that integral does not converge at all. In discrete time it is finite only because the band stops at $\pm\pi$, and the longer the window the more of the fixed band those tails occupy, so the product creeps upward. A window that goes smoothly to zero at both ends has no such tails and no such drift, which is one more entry in §9.3.4's ledger for using a tapered window. Nothing above changes the trade itself: on the other two definitions the rectangular product is as rigidly constant as the Hann one.同一個 Hann 窗有三個不同的常數，而三個都在 $N_W$ 上常到小數第五位。唯一不守規矩的那一格與其說尷尬，不如說有教育意義：矩形窗的二階動差頻寬被它兩個跳躍不連續點所產生的 $1/\omega$ 尾巴主宰，而在連續時間裡那個積分根本不收斂。在離散時間裡它之所以有限，只是因為頻帶到 $\pm\pi$ 就停了；窗越長，那些尾巴在這個固定頻帶中佔的比例就越大，所以乘積會往上爬。兩端平滑降到零的窗沒有這種尾巴，也就沒有這種漂移，這又是 §9.3.4 那本「該用漸縮窗」的帳上的一筆。以上沒有任何一點改變了取捨本身：在另外兩種定義下，矩形窗的乘積跟 Hann 窗的一樣死守著常數。同じ Hann 窓に対して三つの異なる定数が出るが、三つとも $N_W$ について五桁まで一定である。唯一ふるまいの悪い欄は、恥ずかしいというより教育的である。矩形窓の二次モーメント帯域幅は、二つの跳躍不連続が生む $1/\omega$ の裾に支配されており、連続時間ではその積分はそもそも収束しない。離散時間で有限なのは帯域が $\pm\pi$ で止まるからにすぎず、窓が長いほどその裾が固定の帯域に占める割合が増えるので、積は少しずつ上がっていく。両端がなめらかに零へ落ちる窓にはそのような裾がなく、そのような漂動もない。これは §9.3.4 の「テーパ窓を使う」という差引勘定に加わるもう一項である。以上はトレードオフそのものを何も変えない。他の二つの定義では、矩形窓の積も Hann 窓の積と同じく厳密に一定である。

Halving the window halves the DFT too — and the count comes out the same窗長減半，DFT 的點數也減半——而格子總數不變窓を半分にすれば DFT も半分になる——それでも個数は変わらない

There is one step in the slide's pair of tilings that is easy to read past. Going from the left grid to the right one, the window length is halved — and so, the slide says, is the number of DFT samples. That is not a second, independent choice. A frame of $N_W$ samples has $N_W$ numbers in it and a DFT of length $N_W$ returns $N_W$ of them; taking a longer DFT is the zero-padding of §9.3.2's warning, which interpolates the picture without adding anything to it. So halving the window halves the number of rows in the grid at the same moment as it doubles the number of columns.投影片那一對鋪磚圖裡有一步很容易看過去。從左邊的格子走到右邊的格子，窗長減了一半——而投影片說，DFT 的樣本數也減了一半。這並不是第二個獨立的選擇。一個 $N_W$ 點的音框裡就是 $N_W$ 個數字，長度 $N_W$ 的 DFT 也就還你 $N_W$ 個；用更長的 DFT，就是 §9.3.2 那個警告裡的補零，它只把圖內插得更細，不會多加任何東西進去。所以窗長減半的同時，格子的列數減半、欄數加倍。スライドの二つのタイル分割には、読み飛ばしやすい一歩がある。左の格子から右の格子へ移るとき、窓長が半分になる——そしてスライドによれば DFT の標本数も半分になる。これは第二の独立な選択ではない。$N_W$ 標本のフレームの中には $N_W$ 個の数しかなく、長さ $N_W$ の DFT が返すのも $N_W$ 個である。より長い DFT を取ることは §9.3.2 の注意にあるゼロ詰めであり、絵を内挿するだけで何かを足すわけではない。したがって窓を半分にすると、格子の行数が半分になるのと同時に列数が倍になる。

Count the cells. A signal of $L_x$ samples analysed with window $N_W$, DFT length $N_W$ and a hop equal to the window gives $L_x/N_W$ columns and $N_W$ rows, which is $L_x$ cells however $N_W$ was chosen. The plane being covered has not changed size either: it is $L_x/f_s$ seconds by $f_s$ hertz, so each cell has area $(N_W/f_s)\times(f_s/N_W)=1$ in those units, again whatever $N_W$ was. The two grids of Fig. 9-3 therefore hold the same number of tiles of the same area, cut differently — which is exactly the sentence that figure's caption already carries, now with the count behind it. It is also the picture the lecture reuses when it compares the STFT with wavelets: "the STFT's cells are all one size" is the property a wavelet basis deliberately gives up so that its cells can be short at high frequencies and long at low ones. That comparison is not worked out in this chapter.數一數格子。一段 $L_x$ 個樣本的訊號，用窗長 $N_W$、DFT 長度 $N_W$、跳距等於窗長來分析，會得到 $L_x/N_W$ 欄與 $N_W$ 列，也就是 $L_x$ 個格子，不管 $N_W$ 怎麼選都一樣。被覆蓋的那個平面也沒有變大變小：它是 $L_x/f_s$ 秒乘上 $f_s$ 赫茲，所以每個格子的面積是 $(N_W/f_s)\times(f_s/N_W)=1$（在這組單位下），同樣跟 $N_W$ 無關。所以 圖 9-3 的兩張格子圖裝的是數目相同、面積也相同的磚，只是切法不同——這正是那張圖的圖說早就寫著的那句話，只是現在後面多了數字。這也正是講義拿 STFT 跟小波做比較時重複使用的那張圖：「STFT 的格子大小全部一樣」正是小波基底刻意放棄的性質，好讓它的格子在高頻處短、在低頻處長。那個比較本章沒有展開。セルを数えてみよう。$L_x$ 標本の信号を、窓長 $N_W$、DFT 長 $N_W$、ホップを窓長に等しく取って分析すると、$L_x/N_W$ 列と $N_W$ 行が得られる。すなわち $N_W$ をどう選んでも $L_x$ 個のセルである。覆われる平面の大きさも変わらない。$L_x/f_s$ 秒かける $f_s$ ヘルツであるから、各セルの面積はその単位で $(N_W/f_s)\times(f_s/N_W)=1$ であり、これもまた $N_W$ に依らない。したがって 図 9-3 の二つの格子は、同じ面積のタイルを同じ枚数だけ、違う切り方で並べたものである。これはその図の説明文がすでに述べている一文そのものであり、いま数がその裏づけとして加わった。これは講義が STFT とウェーブレットを比較するときに再び使う絵でもある。「STFT のセルはすべて同じ大きさである」という性質こそ、ウェーブレット基底が意図的に手放すものである。高い周波数では短く、低い周波数では長いセルを得るためである。その比較は本章では展開しない。

9.3.4 What the window buys, and what it costs9.3.4 窗買到了什麼，又付出了什麼9.3.4 窓が買うもの、そして支払う代償

§9.3.1 and §9.3.2 settled window shape and window length one at a time. The lecture puts both sides of the same window on a single slide: $w[n]$ is the only reason the STFT can localize anything in time, and it is also the one thing that spoils the frequency axis — by exactly the mechanism §9.3.1 opens with. This subsection writes that ledger out in full: the two-step derivation behind the convolution, the name the lecture gives to the object being convolved, the two names it gives to the damage, and what each kind of damage looks like on a spectrogram.§9.3.1 與 §9.3.2 分別處理了窗的形狀與窗的長度。講義則把同一個窗的兩面放進同一張投影片：$w[n]$ 是 STFT 之所以能在時間上定位的唯一原因，同時也是毀掉頻率軸的唯一元兇——而且正是 §9.3.1 開頭所說的那個機制。本小節把這本帳完整寫出來：卷積背後的兩步推導、講義給被卷積的那個對象取的名字、講義給兩種損害取的兩個名字，以及每一種損害在頻譜圖上長什麼樣子。§9.3.1 と §9.3.2 では窓の形状と窓長を一つずつ片付けた。講義は同じ窓の両面を一枚のスライドに載せる。$w[n]$ は STFT が時間方向で位置を特定できる唯一の理由であり、同時に周波数軸を台無しにする唯一の原因でもある。しかもそれは §9.3.1 の冒頭で述べた機構そのものである。本小節ではその差引勘定を余さず書き下す。畳み込みの背後にある二段階の導出、畳み込まれる対象に講義が与えた呼び名、二種類の損害に与えた二つの呼び名、そしてそれぞれの損害がスペクトログラム上でどう見えるかである。

What the window buys: time localization窗買到的是：時間定位窓が買うもの：時間方向の定位

The slide writes the window length $N_W$; that is §9.2.1's $L$ under another letter. Because $w[n]$ is nonzero only for $0 \le n \le N_W-1$, the product $x[n_0+n]\,w[n]$ keeps only the stretch $n_0 \le n \le n_0+N_W-1$ of the signal and throws everything else away. That is the whole purchase: the shorter the window, the more sharply the STFT can say when a given frequency was present. Everything from here on is the bill.投影片把窗長寫成 $N_W$，那就是 §9.2.1 的 $L$ 換了一個字母。因為 $w[n]$ 只在 $0 \le n \le N_W-1$ 上非零，乘積 $x[n_0+n]\,w[n]$ 就只保留訊號中 $n_0 \le n \le n_0+N_W-1$ 的那一段，其餘全部丟掉。這就是買到的全部：窗越短，STFT 越能明確指出某個頻率是在什麼時候出現的。從這裡往下，都是帳單。スライドは窓長を $N_W$ と書く。これは §9.2.1 の $L$ を別の文字にしたものにすぎない。$w[n]$ は $0 \le n \le N_W-1$ でしか零でないので、積 $x[n_0+n]\,w[n]$ は信号のうち $n_0 \le n \le n_0+N_W-1$ の区間だけを残し、他はすべて捨てる。買えるものはこれだけである。窓が短いほど、ある周波数がいつ現れたのかを STFT は鋭く言い当てられる。ここから先はすべて請求書である。

The price: convolution in the frequency domain代價：頻域上的卷積代償：周波数領域での畳み込み

Write the STFT of the frame that starts at $n_0$ in DTFT form, so that frequency is continuous rather than sampled at the DFT bins of §9.2.2:把從 $n_0$ 開始的那一段的 STFT 寫成 DTFT 的形式，讓頻率是連續的，而不是像 §9.2.2 那樣取在 DFT 的頻格上：$n_0$ から始まるフレームの STFT を DTFT の形で書く。周波数は §9.2.2 のように DFT のビンで標本化せず、連続のままとする。

The slide drops the $\tfrac{1}{2\pi}$; it is written back in here. The derivation is two steps, and both of them are standard DTFT properties:投影片省略了 $\tfrac{1}{2\pi}$，這裡把它補回來。推導只有兩步，而且兩步都是標準的 DTFT 性質：スライドでは $\tfrac{1}{2\pi}$ が省かれているが、ここでは書き戻してある。導出は二段階で、どちらも DTFT の標準的な性質である。

1. The shift property. Read as a sequence in $n$, $x[n_0+n]$ is $x$ advanced by $n_0$ — shifted to the left. Its DTFT is $e^{j\theta n_0}X(e^{j\theta})$: the magnitude is untouched, and a linear phase appears.平移性質。把 $x[n_0+n]$ 當成以 $n$ 為變數的序列來讀，它就是把 $x$ 往左平移 $n_0$。它的 DTFT 是 $e^{j\theta n_0}X(e^{j\theta})$：大小完全沒變，只多出一個線性相位。推移の性質。$x[n_0+n]$ を $n$ の列として読めば、これは $x$ を $n_0$ だけ左へずらしたものである。その DTFT は $e^{j\theta n_0}X(e^{j\theta})$ であり、振幅はそのままで、線形位相が一つ付くだけである。
2. Multiplication becomes convolution. Multiplying that shifted sequence by $w[n]$ in time becomes periodic convolution with $W(e^{j\omega})$ in frequency — the identity §9.3.1 opens with, and the one §8.7.2 of Chapter 8 writes as $X_w(e^{j\omega}) = \tfrac{1}{2\pi}X(e^{j\omega}) * W(e^{j\omega})$. Carrying the phase factor along through that second step gives the integral above.相乘變成卷積。再把那個平移後的序列乘上 $w[n]$，在頻域就變成與 $W(e^{j\omega})$ 的週期卷積——這正是 §9.3.1 開頭的那個恆等式，也是第 8 章 §8.7.2 寫成 $X_w(e^{j\omega}) = \tfrac{1}{2\pi}X(e^{j\omega}) * W(e^{j\omega})$ 的那一條。把相位因子一路帶過第二步，就得到上面的積分。掛け算が畳み込みになる。ずらした列にさらに $w[n]$ を掛けると、周波数領域では $W(e^{j\omega})$ との周期畳み込みになる。これは §9.3.1 の冒頭にある恒等式であり、第 8 章の §8.7.2 が $X_w(e^{j\omega}) = \tfrac{1}{2\pi}X(e^{j\omega}) * W(e^{j\omega})$ と書いているものである。位相因子を第二段階まで連れて行けば、上の積分が得られる。

The twisted parent spectrum被扭轉的母頻譜（twisted parent spectrum）ねじられた親スペクトル（twisted parent spectrum）

The factor that the integral convolves $W$ against is $e^{j\theta n_0}X(e^{j\theta})$, and the slide calls it the twisted parent spectrum. The parent is $X(e^{j\theta})$ — the spectrum of the whole original signal, one and the same for every frame. The twist is the linear phase $e^{j\theta n_0}$, which turns with the frame position $n_0$. That factor has magnitude $1$ at every $\theta$, so $|X|$ is unchanged: nothing is added to the parent and nothing is taken from it, and each of its frequency components merely has its phase rotated by an amount proportional to both $\theta$ and $n_0$.積分裡被拿去跟 $W$ 做卷積的那一項是 $e^{j\theta n_0}X(e^{j\theta})$，投影片把它叫做被扭轉的母頻譜。母指的是 $X(e^{j\theta})$——原訊號整段的頻譜，對每一段音框都是同一個。扭轉指的是那個線性相位 $e^{j\theta n_0}$，它隨著音框位置 $n_0$ 而轉動。這個因子在每個 $\theta$ 上的大小都是 $1$，所以 $|X|$ 完全沒變：母頻譜沒有被加進什麼，也沒有被拿走什麼，只是它的每一個頻率成分的相位，依照與 $\theta$ 和 $n_0$ 都成正比的量旋轉了而已。積分のなかで $W$ と畳み込まれる相手は $e^{j\theta n_0}X(e^{j\theta})$ であり、スライドはこれをねじられた親スペクトルと呼ぶ。親とは $X(e^{j\theta})$、すなわち元の信号全体のスペクトルであり、どのフレームでも同一のものである。ねじれとは線形位相 $e^{j\theta n_0}$ のことで、フレーム位置 $n_0$ とともに回転する。この因子はどの $\theta$ でも振幅が $1$ なので $|X|$ は変わらない。親スペクトルに何かが加わるのでも、何かが失われるのでもなく、各周波数成分の位相が $\theta$ と $n_0$ の両方に比例する量だけ回されるだけである。

Read that way, every column of a spectrogram is the same parent spectrum — twisted by a phase that depends on where its frame sits, and then smeared by $W$. The twist is what makes the columns differ from one another in phase; the smearing by $W$ is what makes every one of them worse than $X$ itself.這樣讀的話，頻譜圖的每一欄都是同一個母頻譜——先被一個隨音框位置而定的相位扭轉過，再被 $W$ 抹開。扭轉是各欄彼此在相位上不同的原因；被 $W$ 抹開，才是每一欄都比 $X$ 本身更糟的原因。こう読めば、スペクトログラムのどの列も同じ親スペクトルである。フレームの位置で決まる位相にねじられ、そのうえで $W$ によって抹消されたものにすぎない。ねじれは各列どうしの位相の違いを生むだけであり、$W$ による抹消こそが、どの列をも $X$ 自身より劣化させている原因である。

The same mathematics as FIR window design和 FIR 設計裡加窗完全相同的數學FIR 設計の窓かけとまったく同じ数学

The slide's own label for this is same problems as windowing for FIR design, and it is meant literally. In the window method of FIR design one takes an ideal impulse response that is infinitely long, multiplies it by a window to make it finite, and therefore convolves the ideal frequency response with $W$ — which is what produces a transition band where the ideal response had a jump, and ripples where it was flat: the Gibbs phenomenon. It is the same equation; only the object being windowed changes, from a filter's impulse response to a stretch of a signal. Chapter 14 works that side out in detail: §14.2.2 for the design steps, §14.3.2 for where Gibbs comes from, and §14.3.3 for which feature of the window controls which defect.投影片在這裡的標題就是 same problems as windowing for FIR design，而且這句話是照字面講的。用窗函數法設計 FIR 濾波器時，是把無限長的理想脈衝響應乘上一個窗讓它變成有限長，於是理想的頻率響應就被 $W$ 卷積——這就是為什麼本來是跳變的地方出現過渡帶、本來平坦的地方出現漣波：也就是 Gibbs 現象。式子完全一樣，只是被加窗的對象從「濾波器的脈衝響應」換成了「訊號的一段」。第 14 章把那一邊講得很細：§14.2.2 是設計步驟，§14.3.2 是 Gibbs 現象的來源，§14.3.3 則說明窗的哪一個特徵負責哪一種缺陷。スライドがここに付けている見出しがまさに same problems as windowing for FIR design であり、これは文字どおりの意味である。窓関数法で FIR フィルタを設計するときは、無限に長い理想インパルス応答に窓を掛けて有限長にする。そのため理想の周波数応答は $W$ と畳み込まれ、跳びのあったところに遷移帯域が、平坦だったところに漣波が生じる。これが Gibbs 現象である。式はまったく同じで、窓を掛けられる対象が「フィルタのインパルス応答」から「信号のある区間」に変わるだけである。第 14 章はその側を詳しく扱っている。§14.2.2 が設計手順、§14.3.2 が Gibbs 現象の出どころ、§14.3.3 が窓のどの特徴がどの欠陥を支配するかである。

A pure sinusoid: blurring and ghosting純正弦波的例子：blurring 與 ghosting純正弦波の例：blurring と ghosting

Let $x[n]$ be a pure sinusoid at frequency $\omega_0$. Then $X$ is a single impulse, and convolving anything with an impulse only moves it, so設 $x[n]$ 是頻率為 $\omega_0$ 的純正弦波。那麼 $X$ 就是一根脈衝，而任何東西跟脈衝做卷積都只是把它搬個位置，於是$x[n]$ を周波数 $\omega_0$ の純正弦波とする。このとき $X$ は一本のインパルスであり、何であれインパルスと畳み込めば位置が移るだけなので、

— the window's own spectrum transplanted intact to $\omega_0$, which is the result §9.2.3 already quotes for the pure-tone limiting slice. The slide gives the two defects of that picture two names:——窗自己的頻譜原封不動地被搬到 $\omega_0$ 上，這正是 §9.2.3 在純音那個極限切片中已經寫過的結果。投影片給這張圖的兩個缺陷各取了一個名字：つまり窓自身のスペクトルがそっくりそのまま $\omega_0$ に移植されたものであり、これは §9.2.3 が純音の極限的な切り口としてすでに挙げている結果である。スライドはこの図の二つの欠陥に、それぞれ名前を与えている。

On a spectrogram the two look quite different. Blurring makes the horizontal band of a steady tone thicker; ghosting puts faint stripes above and below that band, parallel to it and present at the same times. A thick band is a resolution problem; faint parallel stripes are leakage, and the lower the sidelobes, the fainter they get.在頻譜圖上，這兩者看起來很不一樣。blurring 讓一個穩定音調的水平帶變粗；ghosting 則讓那條帶子的上下出現淡淡的條紋，與它平行，而且出現在同樣的時間上。帶子變粗是解析度的問題；淡淡的平行條紋則是洩漏，旁瓣壓得越低，它們就越淡。スペクトログラム上では、この二つはまったく違って見える。blurring は定常な音の水平な帯を太くする。ghosting はその帯の上下に淡い縞を生じさせる。縞は帯と平行で、同じ時刻に現れる。帯が太いのは分解能の問題であり、淡い平行な縞は漏れである。サイドローブを低くするほど縞は淡くなる。

The fix: a tapered window解法：漸縮窗（tapered window）解法：テーパ窓（tapered window）

Use a window that falls gradually to near zero at both ends instead of one that stops dead. Hamming, for instance, written with the index centred on $0$:改用一個兩端逐漸降到接近 $0$ 的窗，而不是說斷就斷的那種。例如 Hamming 窗，把索引寫成以 $0$ 為中心：両端で急に切れる窓ではなく、両端がなだらかに $0$ 近くまで落ちていく窓を使う。たとえば Hamming 窓を、索引を $0$ 中心にして書くと、

The sign in front of the cosine is a plus, and that is not a misprint. With the index centred on $0$ the cosine equals $+1$ in the middle of the window, so it has to be added to make $w[0]=1$ the largest value. A window table indexed from the left edge instead, over $0 \le n \le L-1$, writes the very same window with a minus: that is the generalized-Hanning row of §8.7.2 in Chapter 8, $\alpha-(1-\alpha)\cos\frac{2\pi n}{L-1}$ with $\alpha=0.54$. There the cosine equals $+1$ at the edge, where the window has to be small, so it must be subtracted. The sign simply records where the origin was put, and nothing more.餘弦前面的符號是加號，而且這不是印錯。索引以 $0$ 為中心時，餘弦在窗的正中央等於 $+1$，所以必須加上去，才會讓 $w[0]=1$ 成為最大值。若改成從左端起算、在 $0 \le n \le L-1$ 上列表，同一個窗就要寫成減號：那就是第 8 章 §8.7.2 的廣義漢寧窗那一列，$\alpha-(1-\alpha)\cos\frac{2\pi n}{L-1}$，其中 $\alpha=0.54$。在那裡，餘弦在邊緣等於 $+1$，而邊緣正是窗必須很小的地方，所以要減掉。符號只是在記錄原點被放在哪裡，如此而已。余弦の前の符号はプラスであり、これは誤植ではない。索引を $0$ 中心に取ると、余弦は窓の中央で $+1$ になるので、$w[0]=1$ を最大値にするには足さなければならない。これに対し左端から数えて $0 \le n \le L-1$ の上で表にすると、まったく同じ窓がマイナスで書かれる。第 8 章 §8.7.2 の一般化ハニング窓の行、$\alpha-(1-\alpha)\cos\frac{2\pi n}{L-1}$、$\alpha=0.54$ がそれである。そちらでは余弦が端で $+1$ になり、端こそ窓が小さくなければならない場所なので、引く必要がある。符号は原点をどこに置いたかを記録しているにすぎない。

The effect is the one §9.3.1's table records. Hamming's sidelobes drop below about $-40$ dB, so ghosting all but disappears; the price is a mainlobe about twice the rectangular width, so blurring gets somewhat worse. Measured directly on the two windows: the rectangular null-to-null mainlobe is $4\pi/L$ with a peak sidelobe of $-13.3$ dB, while Hamming's mainlobe comes out between $4.09$ and $4.33$ times $2\pi/L$ — that is, $\approx 8\pi/L$, the table's value — with a peak sidelobe between $-41.7$ and $-42.6$ dB, for $L=31$, $64$ and $101$. The whole trade in one line: some $29$ dB of ghosting bought with a factor of two of blurring.效果就是 §9.3.1 表中記錄的那些。Hamming 窗的旁瓣掉到大約 $-40$ dB 以下，ghosting 幾乎消失；代價是主瓣大約變成矩形窗的兩倍寬，所以 blurring 稍微變嚴重。直接對這兩個窗量過：矩形窗零點到零點的主瓣寬度是 $4\pi/L$，旁瓣峰值 $-13.3$ dB；而在 $L=31$、$64$、$101$ 時，Hamming 窗的主瓣落在 $2\pi/L$ 的 $4.09$ 到 $4.33$ 倍之間——也就是 $\approx 8\pi/L$，正是表中的值——旁瓣峰值則在 $-41.7$ 到 $-42.6$ dB 之間。整筆交易可以寫成一句話：用兩倍的 blurring，買到大約 $29$ dB 的 ghosting。効果は §9.3.1 の表が記録しているとおりである。Hamming 窓のサイドローブはおよそ $-40$ dB より下まで落ち、ghosting はほぼ消える。代償として主ローブは矩形窓のおよそ二倍の幅になり、blurring は少し悪くなる。二つの窓を直接測ってみた。矩形窓の零点間の主ローブ幅は $4\pi/L$、サイドローブの最大値は $-13.3$ dB である。$L=31$、$64$、$101$ について Hamming 窓の主ローブは $2\pi/L$ の $4.09$ 倍から $4.33$ 倍、すなわち表の値どおり $\approx 8\pi/L$ であり、サイドローブの最大値は $-41.7$ dB から $-42.6$ dB のあいだに収まる。取引の全体は一行で言える。二倍の blurring と引き換えに、およそ $29$ dB の ghosting を買うのである。

Where this has already been seen這兩張投影片對應到前面的什麼これまでのどこに対応しているか

Three figures already in place are these two slides, drawn:前面已經有三張圖，其實就是這兩張投影片畫出來的樣子：すでに置かれている三つの図が、この二枚のスライドを絵にしたものである。

• Every component smeared by $W$ — the convolution formula above, drawn one component at a time. §9.3.1 states it in words; the interactive figure in §8.7.2 of Chapter 8 shows a single tone being replaced by the chosen window's spectrum; and the four-panel figure in §9.1.3 shows it for three components at once — the carrier and its two sidebands each come out as a band of finite width rather than a line.每個成分都被 $W$ 抹開——就是上面那條卷積式，一次畫一個成分。§9.3.1 用文字說過這件事；第 8 章 §8.7.2 的互動圖，畫的是單一個音調被換成所選視窗的頻譜；而 §9.1.3 的四面板圖則一次畫三個成分——載波與它的兩個側波帶，每一個出來的都是一條有寬度的帶子，而不是一根線。どの成分も $W$ によって抹消される——上の畳み込みの式を、成分ごとに一つずつ描いたものである。§9.3.1 はこれを言葉で述べている。第 8 章 §8.7.2 のインタラクティブ図は、一本の音が選んだ窓のスペクトルに置き換わるようすを見せる。そして §9.1.3 の四面板の図は、それを三成分について同時に見せている。搬送波とその二つの側波帯が、線ではなく幅をもった帯として現れるのである。
• Rectangular against Hamming, separating three sinusoids — the interactive figure in §8.7.3 of Chapter 8 is this blurring-against-ghosting trade made visible: under Hamming the weak third tone climbs out of the sidelobes that were burying it (ghosting gone), while the two strong tones sit closer to merging (blurring worse).矩形窗 vs Hamming 窗分辨三個正弦波——第 8 章 §8.7.3 的互動圖，就是把這個 blurring 與 ghosting 的取捨直接畫出來：換成 Hamming 窗以後，原本被旁瓣埋掉的第三個弱音調浮了出來（ghosting 消失），但兩個強音調則更接近合併（blurring 變糟）。矩形窓と Hamming 窓で三つの正弦波を分ける——第 8 章 §8.7.3 のインタラクティブ図は、この blurring と ghosting のトレードオフをそのまま目に見える形にしたものである。Hamming 窓にすると、サイドローブに埋もれていた三本目の弱い音が浮かび上がる（ghosting が消える）一方で、強い二本はより融合に近づく（blurring が悪化する）。
• The ridge and the ripples on the 3-D surface — switching the surface in §9.5.1 between its rectangular and Hann settings changes exactly two things: how wide the ridge is (blurring) and how much corrugation runs along either side of it (ghosting). That is what these two slides look like once they are drawn on the time–frequency plane.3D 曲面上的山脊與波紋——把 §9.5.1 的曲面在矩形窗與 Hann 窗之間切換，恰好只有兩件事會變：山脊有多寬（blurring），以及它兩側的波紋有多明顯（ghosting）。這就是這兩張投影片畫到時頻平面上的樣子。三次元曲面の尾根と波紋——§9.5.1 の曲面を矩形窓と Hann 窓とで切り替えると、変わるのはちょうど二つだけである。尾根の幅（blurring）と、その両脇に走る波打ちの強さ（ghosting）である。これが、この二枚のスライドを時間周波数平面の上に描いたときの姿である。

9.4 The Spectrogram9.4 頻譜圖9.4 スペクトログラム

9.4.1 Definition9.4.1 定義9.4.1 定義

The spectrogram（頻譜圖）is the squared magnitude of the STFT, almost always displayed in decibels as an image: horizontal axis time, vertical axis frequency, color/brightness $=$ energy. It discards the STFT phase and keeps the part the eye can read.頻譜圖是 STFT 振幅的平方，而且幾乎總是以分貝為單位畫成一張影像：橫軸為時間，縱軸為頻率，顏色／亮度 $=$ 能量。它捨棄了 STFT 的相位，只留下眼睛讀得出來的那一部分。スペクトログラムとは STFT の振幅の二乗であり、ほとんどの場合デシベル表示の画像として描かれる。横軸が時間、縦軸が周波数、色や明るさ $=$ エネルギーである。STFT の位相は捨て、目で読める部分だけを残す。

Axis calibration for sampling rate $f_s$, hop $M$, DFT length $N$ (exactly the axes constructed in dsp10.m):在取樣率 $f_s$、跳距 $M$、DFT 長度 $N$ 之下的座標軸刻度（正是 dsp10.m 中所建構的那兩條軸）：標本化レート $f_s$、ホップ $M$、DFT 長 $N$ のときの軸の目盛り（まさに dsp10.m で構成している軸である）：

For real signals only bins $0\le k< N/2$ are kept ($f$ up to $f_s/2$); the upper half is the mirror image. The dB scale matters: audio features of interest (harmonics, formants, reverb tails) span 60–80 dB of dynamic range and would be invisible on a linear scale.對實數訊號只保留 $0\le k< N/2$ 這些頻格（$f$ 到 $f_s/2$ 為止）；上半部是鏡像。dB 刻度很重要：我們關心的音訊特徵（諧波、共振峰、殘響尾音）橫跨 60–80 dB 的動態範圍，在線性刻度上根本看不見。実信号では $0\le k< N/2$ のビンだけを残す（$f$ は $f_s/2$ まで）。上半分は鏡像である。dB 目盛りであることが効いてくる。注目したい音響的特徴（高調波、フォルマント、残響の尾）は 60–80 dB のダイナミックレンジにわたっており、線形目盛りではまったく見えないからである。

Why a row of DFTs looks like a photograph一排 DFT 為什麼看起來像一張照片DFT の列がなぜ写真のように見えるのか

The formulas above define $S[m,k]$ as a two-dimensional array of numbers. The lecture earns the right to call it an image by drawing one recording of speech three times on a single slide, and the three pictures differ in nothing but how much of it is shown at once.上面那幾條式子把 $S[m,k]$ 定義成一個二維的數字陣列。講義則用一張投影片把同一段語音錄音畫了三次，才取得把它叫做「影像」的資格；而這三張圖之間唯一的差別，只是一次看多少。上の式は $S[m,k]$ を二次元の数の配列として定義している。講義は一枚のスライドに同じ音声録音を三度描くことで、それを「画像」と呼ぶ資格を得る。三つの絵の違いは、一度にどれだけを見せているかだけである。

• Top: the waveform. The whole utterance in the time domain, several seconds of it, with no frequency axis at all — §9.1.1's starting point.上：波形。整段話的時域樣貌，好幾秒長，完全沒有頻率軸——也就是 §9.1.1 的起點。上：波形。発話全体の時間領域の姿であり、数秒にわたるが周波数軸はまったくない。§9.1.1 の出発点である。
• Middle: a $0.3$ s zoom, from $2.35$ to $2.65$ s. Here the spectrogram is visibly made of short-time DFTs: each column is a separate vertical strip, each strip is the spectrum of one frame, and the grey level is that spectrum in decibels. One can count them.中：放大 $2.35$ 至 $2.65$ 秒的那 $0.3$ 秒。在這裡頻譜圖明顯是由一個個短時 DFT 組成的：每一欄都是一條分開的垂直長條，每一條就是某一段的頻譜，灰階代表那個頻譜的分貝值。數得出來有幾條。中：$2.35$ から $2.65$ 秒までの $0.3$ 秒の拡大。ここではスペクトログラムが短時間 DFT からできていることが目に見える。各列が独立した縦の帯であり、一本の帯が一つのフレームのスペクトルであり、灰色の濃さがそのスペクトルのデシベル値である。数えることができる。
• Bottom: the whole utterance again, as a spectrogram, with a box drawn on it to show where the zoom was taken from. At this scale the columns are packed so tightly that they stop reading as columns and the picture becomes continuous — the familiar spectrogram.下：整段話，但畫成頻譜圖，上面框出剛才放大的位置。在這個尺度下欄位擠得太密，密到不再讀得出是一欄一欄，整張圖就變成連續的——也就是我們熟悉的那種頻譜圖。下：発話全体を、ふたたびスペクトログラムとして。どこを拡大したのかを示す枠が描かれている。この尺度では列が密に詰まりすぎて列として読めなくなり、絵は連続になる。見慣れたスペクトログラムである。

No property of the data changes between the second picture and the third. What each column is was settled in §9.2.2 and is looked at from both directions in §9.5.1, and nothing is added here. The only thing that changes is the number of columns per unit of display width, and that is arithmetic. Columns are $M/f_s$ seconds apart, so a picture $P$ pixels wide covering $T$ seconds puts $P\,M/(T f_s)$ pixels between neighbouring columns: they are separately visible while that is above $1$, and fuse once it drops below.第二張圖與第三張圖之間，資料的任何性質都沒有改變。每一欄到底是什麼，§9.2.2 已經定下來，§9.5.1 又從兩個方向各看了一次，這裡不再添一個字。唯一改變的是每單位顯示寬度上有多少欄，而那是算術。相鄰兩欄相距 $M/f_s$ 秒，所以一張寬 $P$ 個像素、涵蓋 $T$ 秒的圖，在相鄰兩欄之間放了 $P\,M/(T f_s)$ 個像素：這個數大於 $1$ 時欄是分得開的，掉到 $1$ 以下就融在一起了。二枚目と三枚目のあいだで、データの性質は何も変わっていない。各列が何であるかは §9.2.2 で定まっており、§9.5.1 が二つの方向から眺めている。ここで付け加えることは何もない。変わるのは表示幅あたりの列数だけであり、それは算術である。隣り合う列は $M/f_s$ 秒離れているので、幅 $P$ 画素で $T$ 秒を覆う絵は、隣り合う列のあいだに $P\,M/(T f_s)$ 画素を置くことになる。この数が $1$ より大きいあいだ列は見分けられ、$1$ を下回ると融合する。

9.4.2 Chirp: short vs long windows9.4.2 掃頻訊號：短窗與長窗9.4.2 チャープ：短い窓と長い窓

The classic test signal for time–frequency analysis is the linear chirp （線性掃頻訊號）, whose instantaneous frequency rises linearly:時頻分析的經典測試訊號是線性掃頻訊號，它的瞬時頻率隨時間線性上升：時間周波数解析の古典的なテスト信号は線形チャープであり、その瞬時周波数は時間に対して線形に上昇する。

9.4.3 Narrowband vs wideband9.4.3 窄帶與寬帶9.4.3 狭帯域と広帯域

The lecture's slide "Narrowband vs. Wideband" summarizes the effect of varying window length on real sounds (speech is the standard example):講義中「Narrowband vs. Wideband」那張投影片，整理了改變窗長對真實聲音所造成的影響（語音是標準的例子）：講義のスライド「Narrowband vs. Wideband」は、窓長を変えたときに実際の音へ現れる効果をまとめている（音声が標準的な例である）：

Putting numbers on the two columns給上表的兩欄填上數字二つの欄に数値を入れる

The table above is qualitative; the lecture's own version of the slide carries numbers, and they are worth writing down because they are the ones that decide which picture a given window length produces. Both pictures on that slide have a $4000$ Hz frequency axis, so the sampling rate is $f_s=8$ kHz, and the two standard window lengths are $256$ and $48$ points.上面那張表是定性的；講義自己的那張投影片則帶著數字，而這些數字值得寫下來，因為真正決定某個窗長會畫出哪一種圖的就是它們。那張投影片上的兩張圖，頻率軸都到 $4000$ Hz，所以取樣率是 $f_s=8$ kHz，而兩個標準窗長分別是 $256$ 點與 $48$ 點。上の表は定性的なものである。講義のスライドそのものには数値が入っており、ある窓長がどちらの絵を生むかを実際に決めているのはその数値なので、書き留めておく価値がある。そのスライドの二枚の図はどちらも周波数軸が $4000$ Hz までなので標本化レートは $f_s=8$ kHz であり、二つの標準的な窓長は $256$ 点と $48$ 点である。

Both comparison rules can be turned into a condition on the window length alone, and when that is done they say something memorable. Narrowband wants the mainlobe below $F_0$, that is $c\,f_s/N_W \le F_0$ with $c=4$; wideband wants the window no longer than one glottal period, that is $N_W/f_s \le 1/F_0$:兩條比較規則都可以整理成只關於窗長的條件，整理完之後它們說的是一件很好記的事。窄帶要主瓣低於 $F_0$，也就是 $c\,f_s/N_W \le F_0$（取 $c=4$）；寬帶要窗長不超過一個聲門週期，也就是 $N_W/f_s \le 1/F_0$：二つの比較規則は、どちらも窓長だけについての条件に書き直せる。書き直してみると、覚えやすいことを述べていることがわかる。狭帯域は主ローブが $F_0$ より下であることを要求する。すなわち $c=4$ として $c\,f_s/N_W \le F_0$ である。広帯域は窓が声門周期一つを超えないことを要求する。すなわち $N_W/f_s \le 1/F_0$ である。

So the whole of the slide is one sentence: a narrowband window spans at least four pitch periods, a wideband window at most one. Check it against the numbers in the table. At $F_0=150$ Hz the pitch period is $6.7$ ms, so narrowband needs at least $26.7$ ms and $32$ ms clears it; wideband is allowed up to $6.7$ ms and $6$ ms clears it. At the bottom of the male range, $F_0=100$ Hz, narrowband needs $40$ ms $=320$ points, and the slide's $256$-point window would no longer resolve the harmonics — the rule, not the number $256$, is what to remember.所以整張投影片就是一句話：窄帶的窗至少跨過四個音高週期，寬帶的窗最多跨過一個。拿表裡的數字對一下。$F_0=150$ Hz 時音高週期是 $6.7$ ms，窄帶至少要 $26.7$ ms，$32$ ms 過關；寬帶最多 $6.7$ ms，$6$ ms 也過關。到了男聲的低端 $F_0=100$ Hz，窄帶需要 $40$ ms $=320$ 點，投影片那個 $256$ 點的窗就已經分不開諧波了——要記住的是這條規則，不是 $256$ 這個數字。つまりスライド全体は一文に要約できる。狭帯域の窓は少なくとも四つのピッチ周期にまたがり、広帯域の窓はせいぜい一つである。表の数値と突き合わせてみよう。$F_0=150$ Hz ならピッチ周期は $6.7$ ms なので、狭帯域には最低 $26.7$ ms が必要であり、$32$ ms はこれを満たす。広帯域は $6.7$ ms までが許され、$6$ ms もこれを満たす。男声の低い側 $F_0=100$ Hz では狭帯域に $40$ ms $=320$ 点が必要になり、スライドの $256$ 点の窓ではもはや高調波を分離できない。覚えるべきは $256$ という数ではなく、この規則のほうである。

Where the two names come from這兩個名字是怎麼來的二つの名前の由来

Nothing in either name refers to the picture. They are named after the bandwidth of the analysis filter, which is §9.5's reading of the STFT: every bin is a bandpass filter whose frequency response is the window spectrum moved to that bin, so the filter's bandwidth is the mainlobe width. A long window gives each filter a narrow band — hence narrowband — and a short window a wide one. The names therefore describe the analyser, not the sound and not the image, which is why the narrowband picture is the one full of fine horizontal detail and the wideband one the coarse-looking picture: the adjective has been applied to the opposite end of the trade from the one the eye notices.這兩個名字跟圖長什麼樣子都沒有關係。它們是依照分析濾波器的頻寬來命名的，也就是 §9.5 對 STFT 的那種讀法：每一個 bin 都是一個帶通濾波器，其頻率響應就是窗的頻譜平移到該 bin，所以濾波器的頻寬就是主瓣寬度。長窗讓每個濾波器的頻帶變窄——所以叫窄帶——短窗則讓它變寬。因此這兩個名字描述的是分析器，不是聲音，也不是影像；這也正是為什麼窄帶的圖反而是細節密密麻麻的那一張，而寬帶的圖看起來反而粗——形容詞被貼在這個取捨中、跟眼睛注意到的那一端相反的那一端上。どちらの名前も、絵の見た目を指してはいない。名前の由来は分析フィルタの帯域幅であり、これは §9.5 による STFT の読み方である。各ビンは帯域通過フィルタであり、その周波数応答は窓のスペクトルをそのビンへ平行移動したものだから、フィルタの帯域幅は主ローブ幅そのものである。長い窓は各フィルタの帯域を狭くし——だから狭帯域という——短い窓は広くする。したがってこの二つの名前が述べているのは分析器であって、音でも画像でもない。狭帯域の図のほうが細かい横縞で埋め尽くされ、広帯域の図のほうが粗く見えるのはそのためである。形容詞は、目が気づく側とは逆の端に貼られているのである。

Interactive: the same half-second at six window lengths互動圖：同樣的半秒，六種窗長インタラクティブ図：同じ 0.6 秒を六つの窓長で

The figure below runs the whole of this subsection on one synthetic signal. It is speech-like rather than speech: a vowel with rising pitch from $0$ to $0.25$ s, silence to $0.3$ s, a high-frequency fricative hiss like "s" to $0.4$ s, and a second vowel with falling pitch to $0.6$ s. The source is a glottal impulse train (or noise, in the fricative) through three resonators standing for the first three formants, at $f_s=8$ kHz. Choose a window length and watch which of the two pictures appears. The white rectangle is one time–frequency cell, $\delta t\times\delta f$, drawn to scale.下圖把本小節的全部內容跑在同一段合成訊號上。它是「類語音」而不是語音：$0$ 到 $0.25$ 秒是音高上升的母音，到 $0.3$ 秒是靜音，到 $0.4$ 秒是像「ㄙ」那樣的高頻摩擦噪音，到 $0.6$ 秒是另一個音高下降的母音。訊源是聲門脈衝列（摩擦音段則是噪音），通過三個代表前三個共振峰的諧振器，取樣率 $f_s=8$ kHz。選一個窗長，看看出現的是兩張圖中的哪一張。白色矩形是一個時頻格子 $\delta t\times\delta f$，按實際比例畫出。下の図は、本小節の内容全体を一つの合成信号の上で走らせたものである。音声そのものではなく音声風の信号である。$0$ から $0.25$ 秒はピッチが上昇する母音、$0.3$ 秒まで無音、$0.4$ 秒まで「ス」のような高域の摩擦雑音、$0.6$ 秒までピッチが下降するもう一つの母音である。音源は声門パルス列（摩擦音の区間では雑音）であり、第一から第三フォルマントを表す三つの共振器を通してある。標本化レートは $f_s=8$ kHz である。窓長を選び、二枚の絵のどちらが現れるかを見てほしい。白い長方形は一つの時間周波数セル $\delta t\times\delta f$ であり、実寸で描いてある。

What to step through, in order:建議依序這樣看：順に追っていくとよい点は次のとおりである。

• $256$, the narrowband picture. Both vowels fill with parallel horizontal lines — the harmonics $F_0, 2F_0, 3F_0,\dots$. They are not level: in ① the pitch is rising, so every line drifts upward, and the $n$-th harmonic drifts $n$ times as fast as the first, which is why the top of the picture tilts visibly while the bottom looks almost flat. In ④ the pitch falls and they drift the other way. This is the fine horizontal striping of the upper picture on the lecture slide.$256$，窄帶的那張圖。兩個母音段都填滿了平行的水平線——也就是諧波 $F_0, 2F_0, 3F_0,\dots$。它們並不是水平的：① 的音高在上升，所以每一條線都往上飄，而第 $n$ 次諧波飄得比第一次快 $n$ 倍，這就是為什麼圖的上半部傾斜得很明顯、下半部卻幾乎看不出來。④ 的音高在下降，於是它們往另一個方向飄。這就是講義投影片上圖裡的那些細橫紋。$256$、狭帯域の絵。どちらの母音区間も平行な水平線で埋まる。高調波 $F_0, 2F_0, 3F_0,\dots$ である。これらは水平ではない。① ではピッチが上昇しているので各線は上へ流れ、第 $n$ 高調波は第一高調波の $n$ 倍の速さで流れる。図の上部の傾きがはっきり見え、下部はほとんど平らに見えるのはそのためである。④ ではピッチが下降するので逆向きに流れる。これが講義スライドの上の図にある細かい横縞である。
• $48$, the wideband picture. The horizontal lines vanish and dense vertical striations take their place, one per vibration of the vocal folds; they stand closer together where the pitch is higher, which in ① is at the right-hand end and in ④ at the left. The darker broad horizontal bands that survive are the formants. This is the lower picture on the slide.$48$，寬帶的那張圖。水平線消失了，取而代之的是密集的垂直紋路，每一道對應聲帶的一次振動；音高越高的地方排得越密，在 ① 是右端、在 ④ 是左端。留下來的那幾條寬而深色的水平帶就是共振峰。這就是投影片的下圖。$48$、広帯域の絵。水平線が消え、代わりに密な縦縞が現れる。声帯の振動一回につき一本であり、ピッチの高いところほど間隔が狭い。① では右端、④ では左端がそれにあたる。残る濃くて幅の広い水平の帯がフォルマントである。これがスライドの下の図である。
• The white rectangle. As the window shortens it grows tall and thin; as it lengthens it becomes wide and flat. Its area is $\delta t\cdot\delta f = (N_W/f_s)(4f_s/N_W) = 4$, the same number at every setting, printed under the figure so it can be checked. That is §9.3.3's tiling argument and the uncertainty principle $\delta t\cdot\delta f\ge$ constant, shown rather than asserted.白色的矩形。窗長縮短時它變得又高又瘦，窗長拉長時它變得又寬又扁。它的面積是 $\delta t\cdot\delta f = (N_W/f_s)(4f_s/N_W) = 4$，在每一個設定下都是同一個數字，而且印在圖下方可以核對。這就是 §9.3.3 的鋪磚論證與不確定性原理 $\delta t\cdot\delta f\ge$ 常數，是看得見的，而不是用講的。白い長方形。窓を短くすると縦に細長くなり、長くすると横に広く扁平になる。その面積は $\delta t\cdot\delta f = (N_W/f_s)(4f_s/N_W) = 4$ であり、どの設定でも同じ数である。図の下に表示してあるので確かめられる。これが §9.3.3 のタイル分割の議論と不確定性原理 $\delta t\cdot\delta f\ge$ 定数を、主張ではなく実演したものである。
• The fricative, ③. No harmonics and no pulses: a fricative is noise, so there is nothing periodic for either axis to resolve, only a patch of energy in the upper half of the band. It looks much the same at every window length, which is the useful negative control — whatever changes between $48$ and $256$ elsewhere in the picture is a property of voicing, not of the analysis.摩擦音，③。既沒有諧波也沒有脈衝：摩擦音是噪音，所以兩個軸上都沒有任何週期性的東西可以解析，只剩頻帶上半部的一片能量。它在任何窗長底下看起來都差不多，這正好是一個有用的對照組——圖上其他地方在 $48$ 與 $256$ 之間變了什麼，那是有聲這件事的性質，不是分析方法的性質。摩擦音、③。高調波もパルスもない。摩擦音は雑音なので、どちらの軸にも分解すべき周期性が存在せず、帯域の上半分にエネルギーのかたまりが残るだけである。どの窓長でもほぼ同じに見えるので、有用な対照群になる。図の他の場所が $48$ と $256$ のあいだで変わるとすれば、それは有声であることの性質であって、分析法の性質ではない。
• The two edges, at $0.25$ s and $0.4$ s. Each frame is centred on its column, so energy spreads up to half a window either side of where it really is. At $512$ that is $32$ ms, more than half of the $50$ ms silence, and the vowel visibly refuses to stop where the waveform stops; at $48$ it is $3$ ms and the same boundary is a clean vertical cut. This is §9.3.2's "events separated by less than $L$ samples blur together in time", with the event being the silence itself.兩個邊界，$0.25$ 秒與 $0.4$ 秒。每一個音框都以自己那一欄為中心，所以能量會朝左右各散開半個窗長。在 $512$ 時那是 $32$ ms，超過那段 $50$ ms 靜音的一半，母音明顯不肯在波形停下來的地方停下來；在 $48$ 時那只有 $3$ ms，同一個邊界就是一刀乾淨的垂直切口。這就是 §9.3.2 說的「相隔不到 $L$ 個樣本的事件會在時間上糊成一團」，只是這裡的「事件」就是那段靜音本身。二つの境界、$0.25$ 秒と $0.4$ 秒。各フレームは自分の列を中心に置いてあるので、エネルギーは左右へそれぞれ窓の半分まで広がる。$512$ ではそれが $32$ ms であり、$50$ ms の無音の半分を超える。母音は波形が止まるところで止まろうとしない。$48$ ではそれが $3$ ms であり、同じ境界がきれいな縦の切り口になる。これは §9.3.2 の「$L$ 標本より近接した事象は時間方向でぼけて一つになる」であり、ここでの事象は無音の区間そのものである。
• $96$ and $128$, the settings nobody names. At $f_s=8$ kHz these are $12$ ms and $16$ ms, between one pitch period and four, and they show it: the harmonics are half-resolved into a blur and the pulses are half-resolved into a ripple. There is no third picture hiding between the two named ones — there is only the trade, and these settings pay both halves of it.$96$ 與 $128$，沒有名字的那些設定。在 $f_s=8$ kHz 下它們是 $12$ ms 與 $16$ ms，介於一個音高週期與四個之間，而圖上也就是這樣：諧波解析到一半糊成一片，脈衝解析到一半變成波紋。兩個有名字的圖中間並沒有躲著第三張圖——那裡只有那個取捨，而這些設定把它的兩半都付了。$96$ と $128$、名前のない設定。$f_s=8$ kHz では $12$ ms と $16$ ms であり、ピッチ周期一つと四つのあいだにある。図もそのとおりになる。高調波は中途半端にぼけ、パルスは中途半端な波打ちになる。名前のついた二枚のあいだに第三の絵が隠れているわけではない。そこにあるのはトレードオフだけであり、これらの設定はその両方の代価を払っている。

9.4.4 Hop size and overlap9.4.4 跳距與重疊9.4.4 ホップ長と重なり

The hop size $M$ (frame advance) controls how densely the time axis is sampled. Overlap（重疊）is $L-M$ samples, i.e. overlap fraction $1-M/L$. Typical choices are 50% ($M=L/2$) or 75% ($M=L/4$ — the choice in dsp10.m, where $M=N/4$).跳距 $M$（音框的前進量）控制時間軸被取樣得多密。重疊為 $L-M$ 個樣本，也就是重疊比例 $1-M/L$。典型的選擇是 50%（$M=L/2$）或 75%（$M=L/4$——dsp10.m 採用的正是後者，其中 $M=N/4$）。ホップ長 $M$（フレームの前進量）は、時間軸をどれだけ密に標本化するかを決める。重なりは $L-M$ 標本、すなわち重なり率は $1-M/L$ である。典型的な選択は 50%（$M=L/2$）か 75%（$M=L/4$。dsp10.m が採るのはこちらで、そこでは $M=N/4$ である）。

• $M$ too large (little/no overlap): tapered windows nearly ignore samples at frame edges — transients can be missed entirely, and the image looks blocky in time.$M$ 太大（幾乎沒有重疊）：錐形窗幾乎會忽略音框邊緣的樣本——暫態可能整個被漏掉，而且影像在時間上看起來一塊一塊的。$M$ が大きすぎる（重なりがほとんどない）場合：テーパ窓はフレーム端の標本をほぼ無視するので、過渡現象がまるごと見落とされることがあり、画像も時間方向にブロック状に見える。
• $M$ small: smooth image, denser time grid (note: this oversamples the STFT; it does not improve the true resolution $\Delta t \approx L/f_s$), at proportionally higher computation: cost $\propto \frac{L_x}{M}\,N\log_2 N$.$M$ 小：影像平滑、時間格點更密（注意：這只是把 STFT 過取樣，並不會改善真正的解析度 $\Delta t \approx L/f_s$），代價是計算量按比例升高：成本 $\propto \frac{L_x}{M}\,N\log_2 N$。$M$ が小さい場合：画像はなめらかになり、時間格子も密になる（ただしこれは STFT を過標本化しているだけで、真の分解能 $\Delta t \approx L/f_s$ が良くなるわけではない）。その代償として計算量が比例して増える。コストは $\propto \frac{L_x}{M}\,N\log_2 N$ である。
• For analysis–synthesis, $M$ must satisfy the COLA condition (Section 9.6.2) — for a Hann window, $M=L/2$ or $L/4$ both work.要做分析—合成時，$M$ 必須滿足 COLA 條件（9.6.2 節）——對 Hann 窗而言，$M=L/2$ 與 $L/4$ 都可行。分析—合成を行う場合、$M$ は COLA 条件（9.6.2 節）を満たさねばならない。Hann 窓であれば $M=L/2$ でも $L/4$ でもよい。

9.4.5 Spectrogram in MATLAB9.4.5 MATLAB 中的頻譜圖9.4.5 MATLAB でのスペクトログラム

MATLAB's Signal Processing Toolbox provides spectrogram directly; the homework instead builds it from first principles (frame → window → FFT → magnitude squared). Both in one place:MATLAB 的 Signal Processing Toolbox 直接提供了 spectrogram；而作業要求的則是從頭自己做（切音框 → 加窗 → FFT → 取振幅平方）。兩者並列如下：MATLAB の Signal Processing Toolbox には spectrogram が直接用意されている。一方で課題では、それを第一原理から組み立てる（フレーム化 → 窓かけ → FFT → 振幅の二乗）。両者を並べると次のようになる。

% Toolbox one-liner: Hann window, length N, 75% overlap, N-point DFT
N = 1024; M = N/4;
spectrogram(x, hann(N), N-M, N, Fs, 'yaxis');   % draws dB image directly

% Equivalent from scratch (the dsp10.m approach)
w = 0.5*(1 - cos(2*pi*(0:N-1)'/N));             % Hann window
num_frames = floor((length(x)-N)/M) + 1;
X = zeros(N, num_frames);
for m = 1:num_frames
    seg      = x((m-1)*M+1 : (m-1)*M+N) .* w;   % frame x window
    X(:, m)  = abs(fft(seg)).^2;                % power spectrum
end
t = (0:num_frames-1)*M/Fs;  f = (0:N/2-1)*Fs/N;
image(t, f, 10*log10(X(1:N/2,:))); axis xy; colormap(hot(256)); colorbar;

The lecture slide's version of this, which no longer runs講義投影片上的那一版，它已經跑不動了講義スライドにある版と、それがもう動かない理由

The lecture draws its spectrograms with four lines of its own, and they are worth seeing because every line of them maps onto something above:講義用它自己的四行指令畫頻譜圖，那四行值得看一下，因為每一行都能對應到上面的某個東西：講義は自前の四行でスペクトログラムを描いている。その四行は一見の価値がある。どの行も上で述べた何かに対応しているからである。

% the lecture slide, as printed
[d, sr] = wavread('mpgr1_sx419.wav');  % d = samples, sr = sampling rate
Nw = 256;                              % window length (Hann by default)
specgram(d, Nw, sr)                    % draw it; sr calibrates both axes
caxis([-80 0])                         % colour scale from -80 dB to 0 dB
colorbar                               % show the colour bar

It will not run on a current MATLAB. wavread and specgram have both been removed from the product — wavread in favour of audioread, and specgram in favour of spectrogram, whose argument list is the one the one-liner above uses. Written out in the modern functions, the slide becomes:它在現在的 MATLAB 上跑不起來。wavread 與 specgram 兩個都已經從產品中移除了——wavread 被 audioread 取代，specgram 被 spectrogram 取代，而後者的參數表就是上面那行指令用的那一套。用現在的函式寫出來，這張投影片就變成：これは現在の MATLAB では動かない。wavread も specgram も製品から削除されており、wavread は audioread に、specgram は spectrogram に置き換えられている。後者の引数の並びは上の一行命令が使っているものである。現在の関数で書き直すと、このスライドは次のようになる。

% the same slide in the functions that exist today
[d, sr] = audioread('mpgr1_sx419.wav');
Nw = 256;
spectrogram(d, hann(Nw), round(Nw*3/4), Nw, sr, 'yaxis');  % window, overlap, nfft, rate
clim([-80 0]);   % before R2022a this function was called caxis
colorbar;

Nothing above needs changing: the listing at the head of this subsection is already in the current form, with audioread and spectrogram and no sign of the two withdrawn names. The two listings differ only in the choices they make, and the differences are worth naming rather than smoothing over:上面沒有任何東西需要改：本小節開頭那段程式本來就是現在的寫法，用的是 audioread 與 spectrogram，那兩個被撤掉的名字一個都沒出現。兩段程式的差別只在各自做了不同的選擇，而這些差別值得講明白，而不是含糊帶過：上のものを直す必要はない。本小節の冒頭の listing はすでに現在の形であり、audioread と spectrogram を使っていて、撤回された二つの名前はどこにも出てこない。二つの listing の違いは、それぞれが行っている選択だけである。その違いはぼかさずに名指ししておく価値がある。

• Overlap and DFT length agree exactly. round(Nw*3/4) is a $75\%$ overlap, and so is N-M with M = N/4; both pass the window length as nfft, so neither zero-pads. Both end with 'yaxis', which puts frequency up the vertical axis instead of along the horizontal one.重疊量與 DFT 長度完全一致。round(Nw*3/4) 就是 $75\%$ 的重疊，而 M = N/4 時的 N-M 也是；兩者都把窗長當作 nfft 傳進去，所以都沒有補零。兩者也都以 'yaxis' 結尾，把頻率放到縱軸而不是橫軸。重なりと DFT 長はぴたりと一致する。round(Nw*3/4) は $75\%$ の重なりであり、M = N/4 のときの N-M も同じである。どちらも窓長を nfft として渡すのでゼロ詰めはしない。どちらも 'yaxis' で終わり、周波数を横軸ではなく縦軸に置く。
• The window length differs: $1024$ above against the slide's $256$. Neither is wrong; they are two points on the one axis that the whole of §9.3.2 is about.窗長不同：上面是 $1024$，投影片是 $256$。兩者都沒錯；它們只是整個 §9.3.2 在講的那一條軸上的兩個點。窓長が違う。上は $1024$、スライドは $256$ である。どちらが誤りというのではない。§9.3.2 全体が扱っているあの一本の軸の上の、二つの点にすぎない。
• Only the slide clamps the colour scale. caxis([-80 0]), now clim, fixes the displayed range at $80$ dB below the loudest point. The listing above sets no limit and lets MATLAB choose, which on a quiet recording spends much of the scale on the noise floor. §9.4.1 gives the reason a limit is usually wanted: the features of interest span $60$ to $80$ dB, so clamping to that range is what makes them visible rather than what hides them. The interactive figure in §9.4.3 does the same thing with a $55$ dB floor.只有投影片把色階夾住。caxis([-80 0])（現在叫 clim）把顯示範圍固定在最大值以下 $80$ dB。上面那段沒有設限，交給 MATLAB 自己決定，而在一段很安靜的錄音上，那會把大半個色階花在噪音底層上。§9.4.1 已經給了通常要設限的理由：我們關心的特徵橫跨 $60$ 到 $80$ dB，所以夾到那個範圍是讓它們現形，而不是把它們藏起來。§9.4.3 的互動圖做的是同一件事，底線設在 $55$ dB。色の尺度を固定しているのはスライドだけである。caxis([-80 0])、いまの clim は、表示範囲を最大値の $80$ dB 下までに固定する。上の listing は上限も下限も設けず MATLAB に任せるので、静かな録音では尺度の大半を雑音の底に費やすことになる。§9.4.1 に、通常は制限を設けたい理由が述べてある。注目したい特徴は $60$ から $80$ dB にわたるので、その範囲に固定することこそがそれらを見えるようにするのであって、隠すのではない。§9.4.3 のインタラクティブ図も同じことを $55$ dB の下限で行っている。
• In Python the same picture comes from scipy.signal.spectrogram, or from matplotlib.pyplot.specgram if the drawing is wanted in the same call.在 Python 裡，同一張圖來自 scipy.signal.spectrogram；如果希望同一個呼叫就把圖畫出來，則是 matplotlib.pyplot.specgram。Python では同じ絵が scipy.signal.spectrogram から得られる。描画まで同じ呼び出しで済ませたいなら matplotlib.pyplot.specgram である。

9.5 STFT as a Filterbank9.5 把 STFT 看成濾波器組9.5 フィルタバンクとしての STFT

Fix one frequency $\omega_k$ and watch $X(n,\omega_k)$ evolve with $n$. Rearranging the STFT definition (with the window treated as a filter impulse response):固定一個頻率 $\omega_k$，然後看 $X(n,\omega_k)$ 如何隨 $n$ 演變。把 STFT 的定義重新整理（並把視窗當成一個濾波器的脈衝響應）：周波数を一つ $\omega_k$ に固定し、$X(n,\omega_k)$ が $n$ とともにどう変化するかを見る。STFT の定義を並べ替えると（窓をフィルタのインパルス応答とみなす）、

So each STFT frequency row is produced by: (1) heterodyne（混頻）— multiply by $e^{-j\omega_k n}$ to shift the band around $\omega_k$ down to DC; (2) lowpass filter with $\tilde w[n]$, whose bandwidth is the window mainlobe; (3) keep every $M$-th output sample (the hop). The STFT is therefore a uniform filterbank（濾波器組）of $N$ bandpass channels, each of bandwidth $\approx c\,f_s/L$, spaced $f_s/N$ apart, downsampled by $M$.所以 STFT 的每一條頻率列都是這樣產生的：(1) 混頻——乘上 $e^{-j\omega_k n}$，把 $\omega_k$ 附近的頻帶搬到直流；(2) 用 $\tilde w[n]$ 做低通濾波，其頻寬就是視窗的主瓣；(3) 每 $M$ 個輸出樣本保留一個（也就是跳距）。因此 STFT 就是一個均勻的濾波器組，由 $N$ 個帶通通道組成，每個通道的頻寬約為 $\approx c\,f_s/L$，彼此間隔 $f_s/N$，並且降取樣 $M$ 倍。つまり STFT の各周波数行は次の三段で作られる。(1) ヘテロダイン——$e^{-j\omega_k n}$ を掛けて $\omega_k$ 付近の帯域を直流へ移す。(2) $\tilde w[n]$ による低域通過濾波。その帯域幅は窓の主ローブで決まる。(3) 出力標本を $M$ 個ごとに一つ残す（これがホップである）。したがって STFT は、帯域幅がそれぞれ $\approx c\,f_s/L$、間隔が $f_s/N$、$M$ で間引かれた $N$ 本の帯域通過チャネルからなる一様フィルタバンクにほかならない。

This view explains the vocabulary of Section 9.4.3: a long window is a narrow lowpass filter — hence "narrowband" spectrogram — and a short window is a wide one. It also connects the STFT to Chapter 8: a DFT of one windowed frame is just this filterbank evaluated at a single time instant.這個觀點解釋了 9.4.3 節的術語：長窗就是一個窄的低通濾波器——所以才叫「窄帶」頻譜圖——而短窗則是寬的那一種。它也把 STFT 接回了第 8 章：對單一個加窗音框做 DFT，不過就是把這組濾波器組在某一個時刻上求值而已。この見方は 9.4.3 節の用語を説明してくれる。長い窓とは狭い低域通過フィルタであり、だからこそ「狭帯域」スペクトログラムと呼ばれる。短い窓は広い低域通過フィルタである。さらにこの見方は STFT を第 8 章へつなぐ。窓をかけた一つのフレームの DFT とは、このフィルタバンクをある一時刻で評価したものにほかならない。

That rearrangement, one step at a time把那個改寫拆成三步その並べ替えを一歩ずつ

The opening line of this section did the rearrangement in a single move. It is worth doing slowly, and starting from the frame form of §9.2.2 — the one §9.5.1 writes out term by term — because the whole of it is one change of variable, after which the convolution is simply there to be read off. The $N$ below is that section's DFT length, which is also the number of channels in the bank; $n_0$ is the sample the frame starts at, and the row being computed is the one at bin $k$.本節開頭那一行，是一口氣把定義重新整理完的。值得放慢來做一次，而且從 §9.2.2 的音框形式出發——也就是 §9.5.1 逐項寫出來的那一個——因為整件事只是一次換變數，換完之後，卷積的形式就擺在那裡等人認出來。下面的 $N$ 就是那一節的 DFT 長度，也就是濾波器組的通道數；$n_0$ 是這一段音框的起點，而正在計算的那一列是第 $k$ 個 bin 的那一列。本節の冒頭の一行は、定義を一息で並べ替えたものである。これを §9.2.2 のフレーム形式から——§9.5.1 が項ごとに書き出したあの形から——ゆっくりやり直す価値がある。全体がただ一度の変数変換であり、それが済めば畳み込みの形はそこに読み取られるのを待っているだけだからである。以下の $N$ はその節の DFT 長であり、フィルタバンクのチャネル数でもある。$n_0$ はこのフレームが始まる標本であり、いま計算している行は第 $k$ ビンの行である。

Step 1 — the sum as it stands. Fix the frequency index $k$, and the only variable left is the time $n_0$:第 1 步——原本的式子。把頻率索引 $k$ 固定住，剩下的變數就只有時間 $n_0$：第 1 歩——もとの式。周波数の索引 $k$ を固定すれば、残る変数は時間 $n_0$ だけである。

Step 2 — put $m = -n$. Replace every $n$ in that sum by $-m$: factor by factor, and the limits with them.第 2 步——令 $m = -n$。把式子裡每一個 $n$ 都換成 $-m$：一項一項換，上下限也一起換。第 2 歩——$m = -n$ と置く。その和の中のすべての $n$ を $-m$ に置き換える。因子ごとに、そして上下限もともに置き換える。

So the sum becomes於是式子變成したがって式は次のようになる。

Two small things about that sum, both entitled to look alarming the first time. Running $m$ "from $0$ to $-(N-1)$" is the same list of terms as $\sum_{m=-(N-1)}^{0}$, written backwards; addition does not care in what order it is handed them. And $m$, exactly like $n$, is a dummy index — whichever letter it is given never reaches the answer.關於那個和式有兩件小事，第一次看到時都有權嚇人一跳。$m$「從 $0$ 跑到 $-(N-1)$」，跟 $\sum_{m=-(N-1)}^{0}$ 是同一串項，只是倒著寫；加法不在乎別人用什麼順序把項交給它。而 $m$ 和 $n$ 一樣，只是一個虛擬指標——給它取什麼名字，都傳不到答案裡去。この和については、最初は面食らってよい小さな点が二つある。$m$ が「$0$ から $-(N-1)$ まで」走るのは、$\sum_{m=-(N-1)}^{0}$ と同じ項の並びを逆向きに書いただけである。加法はどの順序で項を渡されるかを気にしない。また $m$ は $n$ と同じくダミーの添字であり、どの文字を当てても答えには届かない。

Step 3 — recognise the convolution. The discrete convolution is defined as第 3 步——認出卷積。離散卷積的定義是第 3 歩——畳み込みを見分ける。離散畳み込みの定義は次のものである。

Give the braced factor a name, $h_k[m] = w[-m]\,e^{\,j2\pi km/N}$, and step 2 reads $\sum_m h_k[m]\,x[n_0-m]$ — that definition exactly, but for the limits. The limits cost nothing. $w[-m]$ is zero unless $0 \le -m \le N-1$, so $h_k[m]$ vanishes everywhere outside $-(N-1) \le m \le 0$, and letting $m$ run over every integer adds only terms that were already zero. Hence給大括號底下那一團取個名字，$h_k[m] = w[-m]\,e^{\,j2\pi km/N}$，第 2 步就讀成 $\sum_m h_k[m]\,x[n_0-m]$——除了上下限之外，正是那個定義。而上下限不花任何代價：除非 $0 \le -m \le N-1$，否則 $w[-m]$ 是 $0$，所以 $h_k[m]$ 在 $-(N-1) \le m \le 0$ 以外全部為零，把 $m$ 放到所有整數上去跑，加進來的都是本來就是零的項。於是波括弧でくくった因子に名前を付けよう。$h_k[m] = w[-m]\,e^{\,j2\pi km/N}$ とすれば、第 2 歩は $\sum_m h_k[m]\,x[n_0-m]$ と読める。上下限を除けば定義そのものである。その上下限は何の代償も伴わない。$0 \le -m \le N-1$ でないかぎり $w[-m]$ は $0$ なので、$h_k[m]$ は $-(N-1) \le m \le 0$ の外ではすべて消える。$m$ をすべての整数にわたらせても、もともと零であった項が加わるだけである。したがって

and nothing in that line was borrowed from a block diagram: it came out of §9.2.2's own sum, by one change of variable. The paragraphs below reach the same $h_k$ along a different road — by carrying the heterodyne of Fig. 9-6 past the filter instead of ahead of it — and it is there, in the box that follows, that the frequency response $|H_k(e^{j\omega})| = |W(e^{j(\omega-\omega_k)})|$ gets added to it.這一行裡沒有任何東西是從方塊圖借來的：它就是從 §9.2.2 自己那個和式，經過一次換變數得到的。下面幾段會沿另一條路走到同一個 $h_k$——把圖 9-6 的混頻從濾波器前面搬到後面——而頻率響應 $|H_k(e^{j\omega})| = |W(e^{j(\omega-\omega_k)})|$ 是在後面那個方框裡才補上去的。この一行には、ブロック図から借りてきたものは何もない。§9.2.2 自身の和から、一度の変数変換で出てきただけである。以下の段落は別の道をたどって同じ $h_k$ に着く。図 9-6 のヘテロダインをフィルタの前ではなく後ろへ運ぶ道である。周波数応答 $|H_k(e^{j\omega})| = |W(e^{j(\omega-\omega_k)})|$ が加わるのは、そのあとに来る枠においてである。

$N = 3$, written out. Three terms are few enough to put both forms side by side. The sum of step 1 is用 $N = 3$ 攤開來看。三項夠少，可以把兩個式子並排寫出來。第 1 步的和是$N = 3$ で書き下す。三項なら少ないので、両方の式を並べて書ける。第 1 歩の和は次のものである。

and the convolution runs over $m = 0, -1, -2$, which are the only three places $h_k$ is not zero:而卷積式跑的是 $m = 0, -1, -2$，也就是 $h_k$ 唯三不為零的位置：一方、畳み込みは $m = 0, -1, -2$ を走る。$h_k$ が零でないのはこの三箇所だけである。

The three products are the three terms above, in the same order. The sign that looked as though it had been flipped in step 2 has flipped back: $h_k$ does carry $e^{+j2\pi km/N}$, but it is only ever evaluated at negative $m$, and the two minus signs cancel.這三個乘積，就是上面那三項，連順序都一樣。第 2 步裡那個看起來被翻掉的符號，現在翻了回來：$h_k$ 身上帶的確實是 $e^{+j2\pi km/N}$，但它求值的位置永遠是負的 $m$，兩個負號互相抵消。この三つの積は、上の三項とそのまま、順序まで同じである。第 2 歩で裏返ったように見えた符号は、ここで裏返り直している。$h_k$ が持つのは確かに $e^{+j2\pi km/N}$ だが、評価される $m$ はつねに負であり、二つの負号が打ち消し合うからである。

Checked outside the page as well: for every $N$ from $3$ to $32$, every $k$, several starting points $n_0$ and all three windows this chapter uses, the two sums agree to about $5\times10^{-15}$ of their own size — and sweeping $m$ over a range far wider than $-(N-1) \le m \le 0$ changes the answer by nothing at all, which is the support claim measured rather than asserted.頁面之外也查過：對從 $3$ 到 $32$ 的每一個 $N$、每一個 $k$、若干個起點 $n_0$，以及本章用到的三種視窗，兩個和式相符到自身大小的 $5\times10^{-15}$ 左右——而且把 $m$ 掃過一個比 $-(N-1) \le m \le 0$ 寬得多的範圍，答案一點也沒有變，這就是把那個支撐區間的說法量出來，而不是只是宣稱。ページの外でも確かめてある。$3$ から $32$ までのすべての $N$、すべての $k$、いくつかの起点 $n_0$、および本章で用いる三種類の窓関数について、二つの和は自身の大きさのおよそ $5\times10^{-15}$ まで一致する。さらに $m$ を $-(N-1) \le m \le 0$ よりはるかに広い範囲で走らせても答えはまったく変わらない。台についての主張を、言い張るのではなく測ったものである。

Why rewrite it at all. The two forms give the same numbers; what differs is what they invite one to say. Step 1 reads take a stretch, window it, take a DFT, and it makes the STFT something that happens to a frame. Step 3 reads send the signal through the filter $h_k$, and it makes the STFT something that happens to a signal, continuously, with the hop left to decide only which outputs are kept. That second sentence is what lets everything already known about filters — passbands, mainlobes, stopbands, aliasing on decimation — be spent on the STFT without being derived again. Set side by side, the two readings are §9.5.1's table, which carries the contrast row by row, including what the window is doing in each.為什麼要這樣改寫。兩個形式算出來是同一批數字；不同的是它們邀請你說出什麼樣的話。第 1 步讀起來是取一段、加窗、做 DFT，它把 STFT 變成發生在一個音框身上的事。第 3 步讀起來是讓訊號通過濾波器 $h_k$，它把 STFT 變成發生在一段訊號身上、而且連續發生的事，跳距只剩下決定哪些輸出被留下來這一件任務。有了後面這句話，所有已經知道的關於濾波器的事——通帶、主瓣、止帶、降取樣時的混疊——都可以直接花在 STFT 上，不必重新推導一遍。把兩種讀法並排對照，就是 §9.5.1 的那張表，它一列一列地寫著兩者的差別，也包括視窗在各自的讀法裡在做什麼。なぜ書き換えるのか。二つの形が与える数値は同一である。違うのは、それぞれが何を言わせてくれるかである。第 1 歩は区間を取り、窓をかけ、DFT を取ると読め、STFT を一つのフレームに起こる出来事にする。第 3 歩は信号をフィルタ $h_k$ に通すと読め、STFT を信号に連続して起こる出来事にする。ホップに残る仕事は、どの出力を残すかを決めることだけになる。この後者の一文があるからこそ、フィルタについてすでに知っていること——通過帯域、主ローブ、阻止帯域、間引きのときの折り返し——を、導き直すことなくそのまま STFT に使える。二つの読み方を並べて対照させたものが §9.5.1 の表であり、そこには両者の違いが行ごとに、それぞれの読み方で窓が何をしているかも含めて書かれている。

The hop, seen from the filterbank side. The row at bin $k$ is a bandpass signal, and heterodyning it down to baseband leaves an envelope no wider than half the channel's mainlobe — one bin either side for the rectangular window, two for the Hann. Keeping one output sample in every $R$ is sampling that envelope, so $R$ may not exceed $N$ divided by the mainlobe width in bins: $R \le N/2$ rectangular, $R \le N/4$ Hann. Those are the numbers the figure's readout prints, and they are §9.4.4's 50% and 75% overlap arriving from the other direction — §9.4.4 argued from tapered frame edges and missed transients, the bank argues from aliasing, and the two land on the same hops. §9.6.2's COLA condition then picks out, among the hops that are short enough, those at which the shifted windows also add to a constant.跳距，從濾波器組這一邊看。第 $k$ 個 bin 的那一列是一個帶通訊號，把它混頻回基頻之後，剩下的包絡不會比該通道主瓣的一半更寬——矩形窗左右各一個 bin，Hann 窗各兩個。每 $R$ 點保留一個輸出樣本，就是在對這個包絡取樣，所以 $R$ 不能超過 $N$ 除以主瓣寬度（以 bin 計）：矩形窗 $R \le N/2$，Hann 窗 $R \le N/4$。這正是互動圖讀數裡印出來的數字，也正是 §9.4.4 的 50% 與 75% 重疊，只是從另一個方向走過來的——§9.4.4 的理由是錐形窗的音框邊緣與被漏掉的暫態，濾波器組的理由是混疊，兩者落在同一組跳距上。至於 §9.6.2 的 COLA 條件，則是在這些夠短的跳距裡，再挑出那些讓平移後的視窗也剛好相加為常數的。ホップを、フィルタバンクの側から見る。第 $k$ ビンの行は帯域通過信号であり、それを基底帯域へヘテロダインすると、残る包絡はそのチャネルの主ローブの半分より広くならない。矩形窓なら左右に一ビンずつ、Hann 窓なら二ビンずつである。$R$ 標本ごとに出力を一つ残すことは、この包絡を標本化することであるから、$R$ は $N$ を主ローブ幅（ビン単位）で割った値を超えられない。矩形窓では $R \le N/2$、Hann 窓では $R \le N/4$ である。これはインタラクティブ図の読み出しが印字している数そのものであり、§9.4.4 の 50% と 75% の重なりに別の方向から到達したものでもある。§9.4.4 はテーパ窓のフレーム端と見落とされる過渡現象を理由とし、フィルタバンクは折り返しを理由とするが、二つは同じホップに落ち着く。§9.6.2 の COLA 条件は、その十分に短いホップのうち、ずらした窓の和も定数になるものをさらに選び出す。

What else the filterbank reading buys, and where this chapter already spends it. Three further consequences usually travel with this rewriting, and all three are already somewhere else in the chapter rather than here. That a channel's selectivity is the window's selectivity — wide mainlobe, neighbouring frequencies unresolved; high sidelobes, neighbouring bands leaking in — is the paragraph under the channel filter below, where §9.3.4's blurring and ghosting change into passband width and stopband rejection. That the undecimated bank adds back up to its input, $\sum_k H_k(e^{j\omega})$ being constant at $N\,w[0]$ — filterbank summation, one of the proofs that the STFT is invertible — is the last of the figure's bullets, and it is measured in the callout under them, where the Hann window's near-zero $w[0]$ turns out to be a trap worth knowing about. And that the STFT's channels are all one width, where a wavelet basis spends its octaves on channels that widen with frequency, is §9.3.3's tiling picture said in filterbank words; that comparison is not worked out in this chapter in either language.濾波器組這個讀法還買到了什麼，以及本章把它花在哪裡。跟著這個改寫一起來的，通常還有三個結論，而這三個在本章裡都已經有別的地方了，不在這裡。一個通道的選擇性就是視窗的選擇性——主瓣寬，鄰近頻率分不開；旁瓣高，鄰近頻帶漏得進來——那是下面通道濾波器底下那一段，§9.3.4 的 blurring 與 ghosting 在那裡換成了通帶寬度與止帶抑制。沒有降取樣的濾波器組會把輸入原樣加回來，$\sum_k H_k(e^{j\omega})$ 是常數 $N\,w[0]$——也就是 filterbank summation，證明 STFT 可逆的做法之一——那是互動圖最後一個項目，而且在那些項目底下的合理性驗証裡量過，順帶量出 Hann 窗那個幾乎為零的 $w[0]$ 是個值得知道的陷阱。至於 STFT 的通道寬度全部一樣，而小波基底把它的倍頻程花在越高頻越寬的通道上，那是 §9.3.3 的鋪磚圖用濾波器組的話再說一次；那個比較本章用哪一種話都沒有展開。フィルタバンクという読み方が他に何を買い、本章はそれをどこで使っているか。この書き換えには通常さらに三つの帰結が伴うが、三つとも本章の別の場所に既にあり、ここにはない。一本のチャネルの選択度が窓の選択度そのものであること——主ローブが広ければ隣り合う周波数は分離できず、サイドローブが高ければ隣の帯域から漏れ込む——は、下のチャネルフィルタの下の段落である。そこで §9.3.4 の blurring と ghosting は、通過帯域の幅と阻止帯域の減衰に言い換わっている。間引く前のフィルタバンクが入力をそのまま足し戻すこと、すなわち $\sum_k H_k(e^{j\omega})$ が定数 $N\,w[0]$ であること——フィルタバンク総和であり、STFT が可逆であることの一つの証明である——は図の最後の項目であり、その下の妥当性の検証で測ってある。そこでは Hann 窓の $w[0]$ がほとんど零であることが、知っておく価値のある罠でもあると分かる。そして STFT のチャネルの幅がすべて等しいこと、対してウェーブレット基底はオクターブを、周波数が高いほど広がるチャネルに費やすことは、§9.3.3 のタイル分割の絵をフィルタバンクの言葉で言い直したものである。その比較は、どちらの言葉でも本章では展開しない。

Inside one channel打開其中一個通道一つのチャネルの中身

Fig. 9-6 draws the bank one channel to a row, and leaves each channel as a box marked $\tilde w[n]$. The figure below opens one of those boxes. It plots a single channel twice over — its impulse response in time, and its frequency response among all the others — with $k$ and $N$ under the reader's hand, so that every channel is the same filter moved to a different centre frequency becomes something to step through rather than something to take on trust.圖 9-6 把濾波器組畫成一列一個通道，而每個通道本身只是一個標著 $\tilde w[n]$ 的方塊。下面這張圖把其中一個方塊打開。它把同一個通道畫兩次——時域的脈衝響應，以及它擺在其他所有通道之間的頻率響應——而且 $k$ 與 $N$ 都在讀者手上，於是每個通道都是同一個濾波器、只是搬到不同的中心頻率這句話，就從一句要相信的話，變成一件可以一格一格走過去的事。図 9-6 はフィルタバンクを一行に一チャネルずつ描き、チャネル自身は $\tilde w[n]$ と書かれた箱のままにしてある。下の図はその箱の一つを開けたものである。同じ一本のチャネルを二度描く。時間領域のインパルス応答と、他のすべてと並べた周波数応答である。$k$ と $N$ は読者の手にあるので、どのチャネルも同じフィルタを別の中心周波数へ移しただけであるという一文が、信じるべき主張ではなく、一つずつたどれるものになる。

Carrying the heterodyne past the filter instead of ahead of it collapses the first two stages of that diagram into one bandpass filter, and it is that filter the figure draws:把混頻搬到濾波器後面、而不是擺在前面，就能把那張方塊圖的前兩段併成一個帶通濾波器，而下圖畫的正是這個濾波器：ヘテロダインをフィルタの前ではなく後ろへ移すと、あの図の最初の二段は一つの帯域通過フィルタにまとまる。下の図が描くのはそのフィルタである。

The right-hand equality is §9.3.4's $|W|$ read the other way round. There a pure tone at $\omega_0$ painted the window's own spectrum onto the analysis; here a fixed channel carries that same spectrum around as its own passband. The two defects §9.3.4 named change their names accordingly: blurring is the width of this channel's mainlobe, and ghosting is what leaks in through its sidelobes from the channels either side.右邊那個等式，就是 §9.3.4 的 $|W|$ 反過來讀。在那裡，位於 $\omega_0$ 的純正弦波把視窗自己的頻譜畫到分析結果上；在這裡，一個固定的通道把同一個頻譜當成自己的通帶帶著走。§9.3.4 替兩個缺陷取的名字，也跟著換了說法：blurring 就是這個通道主瓣的寬度，ghosting 就是從旁瓣漏進來的、來自左右鄰居的東西。右側の等式は、§9.3.4 の $|W|$ を逆向きに読んだものである。あちらでは $\omega_0$ にある純正弦波が窓自身のスペクトルを分析結果の上に描いた。こちらでは、固定した一本のチャネルが同じスペクトルを自分の通過帯域として持ち歩く。§9.3.4 が二つの欠陥に付けた名前も、それに応じて言い換わる。blurring はこのチャネルの主ローブの幅であり、ghosting は左右のチャネルからサイドローブを通って漏れ込むものである。

What to look at, in order:建議依序這樣看：順に見ていくとよい点は次のとおりである。

• Panel ①, the impulse response. Dragging $k$ makes the stems rotate faster and never moves the grey envelope: $|h_k[n]|=w[-n]$ for every $k$, and the only thing that changes is the phase step from one sample to the next, which is $\omega_k$. At $k=0$ the blue stems vanish altogether and what is left is the window itself — channel $0$ is the lowpass of Fig. 9-6 with no heterodyne at all. The support is $-(N-1)\le n\le 0$, entirely on the non-positive side, because the value at time $n$ looks back over the window that ends there.面板 ①，脈衝響應。拖動 $k$，桿子轉得越來越快，灰色的包絡卻完全不動：對每一個 $k$ 都有 $|h_k[n]|=w[-n]$，唯一改變的是相鄰兩個樣本之間的相位差，而那就是 $\omega_k$。$k=0$ 時藍色的桿子全部消失，剩下的就是視窗本身——第 $0$ 個通道就是圖 9-6 裡那個低通濾波器，完全沒有混頻。支撐區間是 $-(N-1)\le n\le 0$，整個落在非正的一側，因為時刻 $n$ 的值是往回看那個在此結束的視窗。パネル ①、インパルス応答。$k$ を動かすと棒の回転は速くなるが、灰色の包絡はまったく動かない。どの $k$ でも $|h_k[n]|=w[-n]$ であり、変わるのは隣り合う標本間の位相の進み、すなわち $\omega_k$ だけである。$k=0$ では青の棒がすべて消え、残るのは窓そのものである。第 $0$ チャネルは図 9-6 の低域通過フィルタそのものであり、ヘテロダインは掛かっていない。台は $-(N-1)\le n\le 0$ であり、すべて非正の側にある。時刻 $n$ の値は、そこで終わる窓を遡って見ているからである。
• Panel ②, the bank. All $N$ responses at once, the chosen one heavy and green — green because this is the channel whose output over time is §9.5.1's green cut through the surface. Dragging $k$ slides the green curve along the axis without altering its shape by a pixel, and the dashed green line marks where its peak has to land. That is the whole claim of this figure: the peaks sit on $\omega_k=2\pi k/N$, one bin apart, and the peak gain and the mainlobe width come out identical in every channel.面板 ②，整組濾波器。$N$ 條頻率響應一次全部畫出來，選到的那一條是粗綠線——用綠色，是因為這個通道隨時間變化的輸出，就是 §9.5.1 在曲面上切出來的那條綠線。拖動 $k$，綠色曲線沿著軸滑動，形狀連一個像素都沒有變，而綠色虛線標出它的峰值該落在哪裡。這就是這張圖要講的全部：峰值落在 $\omega_k=2\pi k/N$ 上，彼此相隔一個 bin，而峰值增益與主瓣寬度，每一個通道量出來都一模一樣。パネル ②、フィルタバンク。$N$ 本の応答を一度に描き、選んだものを太い緑で示す。緑にしてあるのは、このチャネルの時間方向の出力が §9.5.1 で曲面を切った緑の線そのものだからである。$k$ を動かすと緑の曲線は軸に沿って滑るだけで、形は一画素も変わらない。緑の破線はそのピークが来るべき位置を示す。これがこの図の主張のすべてである。ピークは $\omega_k=2\pi k/N$ に乗り、互いに一ビン離れており、ピーク利得も主ローブ幅もどのチャネルでも同一の値になる。
• $k$ past $N/2$. Keep dragging and the stems start turning slower again, because $e^{\,j2\pi kn/N}$ and $e^{-j2\pi(N-k)n/N}$ are the same sequence: the upper half of the bank is the lower half's negative frequencies, wrapped round to the right-hand end of panel ②'s axis, which runs the full $0$ to $2\pi$. For a real signal the two halves carry conjugate copies of the same information, which is why only $k = 0,\dots,N/2$ is ever plotted — §9.4.1's frequency grid stops there for exactly this reason.$k$ 越過 $N/2$。繼續拖，桿子反而轉得慢下來，因為 $e^{\,j2\pi kn/N}$ 與 $e^{-j2\pi(N-k)n/N}$ 是同一串數：濾波器組的上半就是下半的負頻率，繞回到面板 ② 橫軸的右端——那條軸跑的是完整的 $0$ 到 $2\pi$。對實數訊號，兩半帶的是互為共軛的同一份資訊，這就是為什麼從來只畫 $k = 0,\dots,N/2$ 那一半——§9.4.1 的頻率格點停在那裡，正是這個理由。$k$ が $N/2$ を越えると。さらに動かすと棒の回転はむしろ遅くなる。$e^{\,j2\pi kn/N}$ と $e^{-j2\pi(N-k)n/N}$ が同じ数列だからである。フィルタバンクの上半分は下半分の負の周波数であり、パネル ② の横軸——$0$ から $2\pi$ までを丸ごと走る軸——の右端へ回り込んだものである。実信号では二つの半分は同じ情報の共役な写しを運ぶ。だからこそ描かれるのはいつも $k = 0,\dots,N/2$ の半分だけであり、§9.4.1 の周波数格子がそこで止まるのも、まさにこの理由による。
• $N$, the number of channels. More channels, each one narrower. The mainlobe stays the same number of bins wide while a bin itself shrinks, so the absolute bandwidth falls as $1/N$ — §9.3.2's trade-off written in filterbank language, and the reason the decimation bound in the readout grows with $N$.$N$，通道的個數。通道越多，每一個就越窄。主瓣的寬度換算成 bin 的個數始終不變，而一個 bin 本身卻在縮小，所以絕對頻寬以 $1/N$ 下降——這就是 §9.3.2 那個取捨，用濾波器組的語言寫出來，也是讀數裡那個降取樣上限會隨 $N$ 變大的原因。$N$、チャネルの本数。チャネルを増やせば一本一本は狭くなる。主ローブの幅はビンの個数で測るかぎり変わらないが、ビンそのものが縮むので、絶対的な帯域幅は $1/N$ で減っていく。これは §9.3.2 のトレードオフをフィルタバンクの言葉で書いたものであり、読み出しの間引きの上限が $N$ とともに大きくなる理由でもある。
• Rectangular against Hann. The mainlobe doubles, from $2$ bins to $4$: worse resolution. The highest sidelobe drops from about $-13$ dB to about $-31$ dB: far less leaking in from the neighbours. Turn on the dB scale to see the second half of that trade at all — on the linear scale the rectangular window's sidelobes look like nothing, and they are exactly the ghosting of §9.3.4.矩形窗與 Hann 窗。主瓣寬了一倍，從 $2$ 個 bin 變成 $4$ 個：解析度變差。最高的旁瓣卻從大約 $-13$ dB 掉到大約 $-31$ dB：從鄰居漏進來的東西少得多。要看到這個取捨的後半，非得打開 dB 刻度不可——在線性刻度上，矩形窗的旁瓣看起來什麼都不是，而那正是 §9.3.4 的 ghosting。矩形窓と Hann 窓。主ローブは $2$ ビンから $4$ ビンへと倍になる。分解能は悪くなる。一方で最大サイドローブはおよそ $-13$ dB からおよそ $-31$ dB へ下がる。隣から漏れ込む量ははるかに小さい。このトレードオフの後半を見るには dB 目盛を入れるほかない。線形目盛では矩形窓のサイドローブは無いに等しく見えるが、それこそが §9.3.4 の ghosting である。
• The sum of all channels. The heavy dark line is $\sum_k H_k(e^{j\omega})$, and it is flat. It has to be: adding the $N$ channels puts back everything the $N$ heterodynes took apart, so the undecimated bank returns $x[n]$ exactly, scaled by the constant $N\,w[0]$. What makes reconstruction a real question is the one stage of Fig. 9-6 this figure does not draw — the hop — and that is §9.6's subject.所有通道之和。那條粗的深色線是 $\sum_k H_k(e^{j\omega})$，而它是平的。它非平不可：把 $N$ 個通道加起來，就是把 $N$ 次混頻拆開的東西原樣放回去，所以還沒降取樣的濾波器組會原封不動地還原 $x[n]$，只差一個常數倍 $N\,w[0]$。真正讓重建變成一個問題的，是圖 9-6 裡這張圖沒有畫的那一段——跳距——而那是 §9.6 的題目。全チャネルの和。太い濃色の線が $\sum_k H_k(e^{j\omega})$ であり、平坦である。平坦でなければならない。$N$ 本のチャネルを足すことは、$N$ 回のヘテロダインが分けたものをそのまま戻すことだからである。したがって間引く前のフィルタバンクは $x[n]$ をそのまま、定数 $N\,w[0]$ 倍で返す。再構成が本当の問題になるのは、図 9-6 のうちこの図が描いていない段、すなわちホップのせいであり、それは §9.6 の主題である。

The same $h_k[n]$, drawn as one curve同一個 $h_k[n]$，畫成一條曲線同じ $h_k[n]$ を一本の曲線として描く

Panel ① above draws $h_k[n]$ twice over, in red and in blue, because the page has one height axis to spend and the taps of the filter are complex. Give the complex value a plane of its own — real part up, imaginary part across — and the two stem plots become one object: a helix wound along the $n$ axis, whose radius at each $n$ is $w[-n]$ and whose phase turns by $\omega_k$ from one sample to the next. The figure below draws that, and it is the same $h_k[n]=w[-n]e^{\,j\omega_k n}$ as before, with nothing added to it and nothing taken out.上面的面板 ① 把 $h_k[n]$ 畫了兩次，一紅一藍，因為紙面只有一根高度軸可用，而濾波器的係數是複數。給複數值自己一個平面——實部向上、虛部橫向——那兩張桿圖就合成同一個東西：一條沿著 $n$ 軸繞行的螺旋線，它在每個 $n$ 處的半徑就是 $w[-n]$，相位則每過一個樣本轉 $\omega_k$。下圖畫的就是這個，而它正是剛才那個 $h_k[n]=w[-n]e^{\,j\omega_k n}$，既沒有多添什麼，也沒有少掉什麼。上のパネル ① は $h_k[n]$ を赤と青の二度に分けて描いている。紙面の高さ軸は一本しかなく、フィルタの係数は複素数だからである。複素数の値に専用の平面を与え——実部を上へ、虚部を横へ——れば、二枚の棒グラフは一つの対象になる。$n$ 軸に沿って巻く螺旋であり、各 $n$ における半径はちょうど $w[-n]$、位相は標本一つごとに $\omega_k$ ずつ回る。下の図が描くのはこれであり、先ほどと同じ $h_k[n]=w[-n]e^{\,j\omega_k n}$ にほかならない。何も加えておらず、何も落としていない。

The justification for drawing it a second time is a narrow one, and worth stating. Panel ① is the better place to read a value off: a stem has a height, and heights can be compared. What it cannot show is that the red sequence and the blue sequence are one motion, because it has had to cut that motion into two plots at right angles to one another. Here the motion is the picture, and the sentence a complex sinusoid inside a window envelope has a single shape to point at. Everything else the two renderings say is the same, so the envelope that stays put while the oscillation speeds up, the real-only channel $0$, and the support lying entirely at $n\le 0$ are left to the bullets above rather than said twice.再畫一次的理由很窄，但值得說清楚。要讀出一個數值，面板 ① 比較好用：桿子有高度，而高度可以互相比較。它做不到的，是讓人看出紅色那一串與藍色那一串其實是同一個運動，因為它必須把這個運動切成互相垂直的兩張圖。在這裡，運動本身就是整張圖，一個複數正弦波被裝在視窗包絡裡這句話，有一個單一的形狀可以指。其餘兩種畫法講的是同一件事，所以包絡不動而振盪越轉越快、第 $0$ 個通道只有實部、支撐整個落在 $n\le 0$ 這幾點，都留給上面那幾條項目，不在這裡說第二遍。二度目を描く理由は狭いが、述べておく価値がある。値を読み取るにはパネル ① のほうがよい。棒には高さがあり、高さは互いに比べられる。パネル ① にできないのは、赤の列と青の列が一つの運動であると見せることである。その運動を、互いに直交する二枚の図へ切り分けざるをえなかったからである。ここでは運動そのものが図であり、窓関数の包絡の中に入った複素正弦波という一文に、指させる一つの形がある。それ以外に二つの描き方が言うことは同じなので、振動が速くなっても包絡が動かないこと、第 $0$ チャネルが実数だけであること、台がすべて $n\le 0$ にあることは、上の項目に任せ、ここで二度言うことはしない。

What the third dimension adds, and what it only repeats:第三個維度多給了什麼，又有哪些只是重複：三つ目の次元が何を足し、何を繰り返すにすぎないか。

• The two shadows (Re / Im). With the shadows on, the curve is projected twice: once onto the back wall, where only the real part survives, and once onto the floor, where only the imaginary part does. Those two shadows are panel ① — same $N$, same window, same stems, in the same red and the same blue — redrawn here as what they always were, two perpendicular views of one curve. Turn the continuous helix off at the same time and the walls are left carrying stems and nothing else, which is panel ① to the pixel. Turn the shadows off instead and the curve is left on its own.兩道投影（實部／虛部）。打開投影，曲線會被投影兩次：一次投到背牆上，只剩實部；一次投到地板上，只剩虛部。這兩道影子就是面板 ①——同樣的 $N$、同樣的視窗、同樣的桿子，連紅藍兩色都一樣——只是在這裡被畫成它們本來的身分：同一條曲線的兩個互相垂直的視角。同時把連續螺旋也關掉，牆上就只剩桿子，一個像素都不差，正是面板 ①。反過來只關投影，就只剩那條曲線。二つの影（実部・虚部）。投影を入れると、曲線は二度映される。一度は奥の壁へ、そこでは実部だけが残る。もう一度は床へ、そこでは虚部だけが残る。この二つの影こそがパネル ① である。$N$ も窓関数も棒も、赤と青の色までも同じであり、ここではそれらが本来何であったか——一本の曲線の直交する二つの眺め——として描き直されている。連続螺旋も同時に切れば、壁に残るのは棒だけであり、それは一画素までパネル ① である。逆に投影だけを切れば、曲線だけが残る。
• The tube and the beads on it (continuous helix). The filter has $N$ taps and no more; they are the beads, each joined back to the axis by a spoke whose length is $|h_k[n]|$. The tube through them is $w[-t]e^{\,j\omega_k t}$ evaluated between the taps, and it is there only to make the winding visible — switch it off and what is left is the filter itself, $N$ complex numbers hanging in space with nothing between them. Switch it on and it is plain what they are samples of.管子，以及串在上面的珠子（連續螺旋）。這個濾波器只有 $N$ 個係數，就是那些珠子，每一顆都有一根長度為 $|h_k[n]|$ 的輻條連回軸上。穿過它們的那根管子，是把 $w[-t]e^{\,j\omega_k t}$ 在整數之間也求值畫出來的，它在那裡只為了讓纏繞的樣子看得見——關掉它，剩下的就是濾波器本身：$N$ 個懸在空間裡、彼此之間什麼也沒有的複數。打開它，這些數究竟是誰的取樣就一目了然。管と、そこに通された珠（連続螺旋）。このフィルタの係数は $N$ 個きりであり、それが珠である。各々は長さ $|h_k[n]|$ の輻で軸へつながれている。珠を貫く管は $w[-t]e^{\,j\omega_k t}$ を標本の間でも評価したものであり、巻き方を目に見えるようにするためだけに置かれている。切れば残るのはフィルタそのもの、すなわち空間に浮かび、互いのあいだに何もない $N$ 個の複素数である。入れれば、それが何の標本であるかはひと目で分かる。
• Dragging $k$: the turns can be counted. The grey outline is the envelope, and it does not move — that much is panel ①'s first bullet. What the helix adds is a whole number one can count straight off the picture: between the two ends of the window the curve makes exactly $k$ complete turns, one more for every bin the centre frequency goes up, and the readout checks that count against $\omega_k$ at every move. The window chooses the shape of the spindle; $k$ chooses its pitch, and nothing else.拖動 $k$：圈數是數得出來的。灰色的外框就是包絡，而它不會動——這一點是面板 ① 的第一條。螺旋多給的，是一個可以直接從圖上數出來的整數：在視窗的兩端之間，曲線剛好繞滿 $k$ 整圈，中心頻率每往上一個 bin 就多繞一圈，而讀數每動一次都拿這個圈數去對 $\omega_k$。視窗決定這支紡錘的形狀，$k$ 決定它的螺距，此外不管別的。$k$ を動かす：巻き数は数えられる。灰色の輪郭が包絡であり、それは動かない。その点はパネル ① の第一項である。螺旋が付け加えるのは、図から直に数えられる一つの整数である。窓の両端のあいだで曲線はちょうど $k$ 回まわる。中心周波数がビン一つ分上がるごとに一巻き増え、読み出しは操作のたびにその巻き数を $\omega_k$ と照合する。窓が紡錘の形を決め、$k$ がピッチを決める。それ以外は何も決めない。
• $k$ and $N-k$ wind opposite ways, and only the beads know it. Push $k$ past $N/2$ and $h_k[n]$ becomes the complex conjugate of $h_{N-k}[n]$: same envelope, the same shadow on the back wall, an exactly inverted one on the floor. Switch the continuous helix off, so that only the taps are left, and the beads of channel $k$ are seen winding the other way from those of channel $N-k$. Leave the tube on and it is still racing forwards, $k$ turns to the window — the fast winding and the slow backwards one pass through the same $N$ beads, and that coincidence is the whole of the bullet on $k$ past $N/2$, which the readout prints as two turn counts of opposite sign. On the stems of panel ① the same fact shows up only as the blue sequence changing sign. The two ends of the band, $k=0$ and $k=N/2$, are the two places where the curve has no handedness at all, because at both of them it is flat.$k$ 與 $N-k$ 繞的方向相反，而只有珠子知道這件事。把 $k$ 推過 $N/2$，$h_k[n]$ 就成了 $h_{N-k}[n]$ 的共軛複數：包絡相同，背牆上的影子一模一樣，地板上的影子恰好上下顛倒。把連續螺旋關掉，只留下係數，就看得見第 $k$ 個通道的珠子與第 $N-k$ 個通道的珠子繞的方向相反。把管子留著，它仍然一路向前，整個視窗繞滿 $k$ 圈——快的那個繞法與慢的、反向的那個繞法，穿過的是同一組 $N$ 顆珠子，而這個巧合就是「$k$ 越過 $N/2$」那一條的全部內容，讀數會把它印成兩個正負相反的圈數。在面板 ① 的桿子上，同一件事只表現為藍色那一串換了正負號。頻帶的兩端 $k=0$ 與 $k=N/2$，正是曲線根本沒有旋向的兩處，因為在這兩處它都是平的。$k$ と $N-k$ は逆向きに巻く。そしてそれを知っているのは珠だけである。$k$ を $N/2$ より上へ押しやると、$h_k[n]$ は $h_{N-k}[n]$ の複素共役になる。包絡は同じ、奥の壁の影も同じ、床の影はちょうど上下が入れ替わる。連続螺旋を切って係数だけを残せば、第 $k$ チャネルの珠が第 $N-k$ チャネルの珠と逆向きに巻いているのが見える。管を残しておけば、そちらは前向きに走り続け、窓全体で $k$ 回まわる。速い巻きと遅い逆向きの巻きは同じ $N$ 個の珠を通る。この一致こそが「$k$ が $N/2$ を越えると」の項の内容のすべてであり、読み出しはそれを符号の逆な二つの回転数として印字する。パネル ① の棒の上では、同じ事実は青の列の符号が変わることとしてしか現れない。帯の両端 $k=0$ と $k=N/2$ は、曲線が平らであるために旋回の向きをまったく持たない二箇所である。

Measured, not asserted. The readout under the figure recomputes, on every move, three of the things the picture claims: the largest gap between $|h_k[n]|$ and $w[-n]$ over the $N$ taps, the largest departure of the phase step from one tap to the next from $\omega_k$, and the turning number of the curve as actually drawn, got by adding up the angle it sweeps from one of its own points to the next. Checked outside the page as well, over every even $N$ from $8$ to $64$, every $k$ from $0$ to $N-1$ and both windows: the radius agrees with $w[-n]$ to $3.3\times10^{-16}$, the phase step with $\omega_k$ to $9.1\times10^{-14}$ radians, the turning counted along the drawn curve between the first tap and the last agrees with $k(N-1)/N$ to $1.3\times10^{-12}$ turns — that is $k$ turns to the window's $N$ samples — the beads on their own turn $k-N$ times whenever $k$ is above $N/2$, $h_0$ has imaginary part exactly $0$ at every tap, and $h_{N-k}$ equals the conjugate of $h_k$ to $6.1\times10^{-14}$.量出來的，不是宣稱的。圖下的讀數每動一次就重算三件這張圖所主張的事：$|h_k[n]|$ 與 $w[-n]$ 在 $N$ 個係數上的最大差距、相鄰兩個係數之間的相位步進與 $\omega_k$ 的最大差距，以及曲線實際畫出來的繞圈數——把它從自己的一個點掃到下一個點的角度加總得到。頁面之外也查過，涵蓋從 $8$ 到 $64$ 的每一個偶數 $N$、從 $0$ 到 $N-1$ 的每一個 $k$，以及兩種視窗：半徑與 $w[-n]$ 相符到 $3.3\times10^{-16}$，相位步進與 $\omega_k$ 相符到 $9.1\times10^{-14}$ 弧度，沿著所畫曲線從第一個係數數到最後一個係數的圈數，與 $k(N-1)/N$ 相符到 $1.3\times10^{-12}$ 圈——換算成視窗的 $N$ 個樣本就是 $k$ 圈——只要 $k$ 在 $N/2$ 之上，單看珠子繞的圈數就是 $k-N$，$h_0$ 在每一個係數上的虛部恰為 $0$，而 $h_{N-k}$ 與 $h_k$ 的共軛相符到 $6.1\times10^{-14}$。言い張るのではなく、測る。図の下の読み出しは、操作のたびにこの図の主張のうち三つを計算し直す。$N$ 個の係数にわたる $|h_k[n]|$ と $w[-n]$ との最大の差、隣り合う係数のあいだの位相の進みと $\omega_k$ との最大の差、そして実際に描かれた曲線の回転数——曲線が自身のある点から次の点まで掃く角度を足し合わせて得たものである。ページの外でも確かめてある。$8$ から $64$ までのすべての偶数 $N$、$0$ から $N-1$ までのすべての $k$、および両方の窓関数について、半径は $w[-n]$ と $3.3\times10^{-16}$ まで、位相の進みは $\omega_k$ と $9.1\times10^{-14}$ ラジアンまで一致する。描かれた曲線に沿って最初の係数から最後の係数まで数えた回転数は $k(N-1)/N$ と $1.3\times10^{-12}$ 回転まで一致し——窓の $N$ 標本に換算すれば $k$ 回転である——$k$ が $N/2$ より上にあるかぎり、珠だけの回転数は $k-N$ になる。$h_0$ の虚部はどの係数でもちょうど $0$ であり、$h_{N-k}$ は $h_k$ の共役と $6.1\times10^{-14}$ まで一致する。

9.5.1 Both readings at once: the STFT as a surface9.5.1 兩種讀法合看：把 STFT 畫成一個曲面9.5.1 二つの読み方を同時に：STFT を曲面として見る

What each term of the STFT formula means has already been said, in §9.2.1 and §9.2.2. What follows adds two deeper readings of that same formula, and then draws "the magnitude is a function of time and of frequency" directly, as a 3-D surface.STFT 公式裡每一項的意義，§9.2.1 與 §9.2.2 已經介紹過。這裡補充兩個更深入的看法，並用 3D 圖把「強度是時間和頻率的函數」直接畫出來。STFT の式の各項が何を意味するかは、§9.2.1 と §9.2.2 ですでに述べた。ここではその同じ式について、より踏み込んだ読み方を二つ補い、さらに「強度は時間と周波数の関数である」ことを 3 次元の曲面として直接描いてみる。

Term by term, once more再逐項回顧一次もう一度、項ごとに

The slide writes the transform as $X[k,n_0]$, with $N_{FT}$ for the DFT length and $n_0$ for the sample the frame starts at. Those are §9.2.2's letters renamed and nothing else: $N_{FT}$ is that section's $N$, $n_0$ is its $mM$, and the hop written $R$ here is its $M$ — the same $R$ that §9.1.3 already uses for the hop.投影片把這個轉換寫成 $X[k,n_0]$，其中 $N_{FT}$ 是 DFT 長度，$n_0$ 是這一段音框的起始樣本。這只是把 §9.2.2 的符號換個名字而已：$N_{FT}$ 就是該節的 $N$，$n_0$ 就是該節的 $mM$，而這裡寫成 $R$ 的跳距就是該節的 $M$——也就是 §9.1.3 已經拿來表示跳距的那個 $R$。スライドはこの変換を $X[k,n_0]$ と書き、$N_{FT}$ を DFT 長、$n_0$ をフレームの開始標本とする。これは §9.2.2 の記号を言い換えただけである。$N_{FT}$ は同節の $N$、$n_0$ は同節の $mM$ であり、ここで $R$ と書くホップは同節の $M$、すなわち §9.1.3 がすでにホップに使っている $R$ そのものである。

• $k$ (frequency index): the $k$-th bin, at frequency $\omega_k = 2\pi k/N_{FT}$.$k$（頻率索引）：第 $k$ 個 bin，頻率 $\omega_k = 2\pi k/N_{FT}$。$k$（周波数の索引）：第 $k$ ビンであり、周波数は $\omega_k = 2\pi k/N_{FT}$ である。
• $n_0$ (time index): where this frame starts, usually taken as $n_0 = 0, R, 2R, \dots$, with $R$ the hop size.$n_0$（時間索引）：這一段的起點，通常取 $n_0 = 0, R, 2R, \dots$（$R$ 為 hopsize）。$n_0$（時間の索引）：このフレームの起点である。通常は $n_0 = 0, R, 2R, \dots$ と取り、$R$ がホップ長である。
• The result $X[k,n_0]$ is complex. The spectrogram draws only its magnitude $|X[k,n_0]|$, usually in dB; the phase is thrown away (§9.4.1).結果 $X[k,n_0]$ 是複數。頻譜圖只畫它的大小 $|X[k,n_0]|$（常取 dB），相位被丟掉了（§9.4.1）。結果 $X[k,n_0]$ は複素数である。スペクトログラムはその大きさ $|X[k,n_0]|$ だけを（多くは dB で）描き、位相は捨てられる（§9.4.1）。

Two readings of the same $X[k,n_0]$同一個 $X[k,n_0]$ 的兩種讀法同じ $X[k,n_0]$ の二通りの読み方

The STFT is a two-dimensional array, and it can be cut along either direction:STFT 是一個二維的陣列，可以沿兩個方向切：STFT は二次元の配列であり、二つの方向のどちらにも切ることができる。

Fix $n_0$ (a vertical cut): the spectrum of one stretch of time. This is the way it has been done so far: take a stretch of data, window it, take the DFT. Every column of the spectrogram is one such spectrum.固定 $n_0$（縱切）：一段時間的頻譜。這就是前面的做法：取一段資料、加窗、做 DFT。頻譜圖中的每一欄就是一個這樣的頻譜。$n_0$ を固定する（縦に切る）：ある時間区間のスペクトル。これはこれまでやってきたとおりである。区間を切り出し、窓をかけ、DFT を取る。スペクトログラムの各列が、そうしたスペクトルの一つである。

Fix $k$ (a horizontal cut): one band's output as time goes by. Rewriting the formula as a convolution shows that, for a fixed $k$, $X[k,n_0]$ is what comes out of a bandpass filter centred on $\omega_k$, sampled once every $R$ points. The filter's frequency response is the window spectrum $W$ moved to $\omega_k$. So the STFT can equally be seen as a filterbank built from $N_{FT}$ equal-bandwidth bandpass filters, and every row of the spectrogram is one filter's output envelope.固定 $k$（橫切）：一個頻帶的輸出隨時間的變化。把公式改寫成卷積的形式可以看出，對固定的 $k$，$X[k,n_0]$ 就是訊號通過一個中心在 $\omega_k$ 的帶通濾波器後，每隔 $R$ 點取一個樣本的結果。濾波器的頻率響應就是窗頻譜 $W$ 平移到 $\omega_k$。所以 STFT 也可以看成一個由 $N_{FT}$ 個等頻寬帶通濾波器組成的濾波器組，頻譜圖中的每一列就是一個濾波器的輸出包絡。$k$ を固定する（横に切る）：ある帯域の出力が時間とともに変わるようす。式を畳み込みの形に書き直せば、$k$ を固定したときの $X[k,n_0]$ とは、信号を$\omega_k$ を中心とする帯域通過フィルタに通し、$R$ 点ごとに一標本を取り出した結果にほかならないと分かる。フィルタの周波数応答は、窓のスペクトル $W$ を $\omega_k$ へ平行移動したものである。したがって STFT は、$N_{FT}$ 本の等帯域幅の帯域通過フィルタからなるフィルタバンクと見ることもでき、スペクトログラムの各行が一つのフィルタの出力包絡である。

That rewriting is the whole subject of §9.5 above — the heterodyne by $e^{-j\omega_k n}$, the lowpass filter $\tilde w[n]$ and the decimation by the hop are worked out there, and Fig. 9-6 draws the bank channel by channel — so none of it is repeated here. The only thing added in this subsection is that the two cuts are cuts of one object.這個改寫正是上方 §9.5 的全部主題——以 $e^{-j\omega_k n}$ 混頻、用 $\tilde w[n]$ 低通、再依跳距降取樣，都已經在那裡推導完畢，圖 9-6 也把整組通道畫了出來——所以這裡一個字都不重複。本小節唯一新增的，是把兩道切口看成同一個東西的切口。この書き直しこそ上方の §9.5 の主題そのものである。$e^{-j\omega_k n}$ によるヘテロダイン、$\tilde w[n]$ による低域通過、ホップによる間引きはいずれもそこで導出済みであり、図 9-6 がチャネルごとにフィルタバンクを描いている。したがってここでは何一つ繰り返さない。本小節が付け加えるのは、二つの切り口が一つの対象の切り口である、という一点だけである。

For an AM sinusoid, the row at $k=k_0$ — the bin the carrier sits in — is precisely the envelope $A[n]$. That is exactly the quantity panel ④ of §9.1.3's interactive figure already measures: the per-frame peak height near the carrier, laid against the true $A[n]$. Panel ④ draws it as a curve on a flat plot; below it is the green cut across a surface, and the numbers are the same numbers.對 AM 正弦波而言，固定 $k = k_0$（載波所在的 bin）那一列，正好就是包絡 $A[n]$。這恰好就是 §9.1.3 互動圖的面板 ④ 已經量過的那個量：各音框在載波附近的峰高，對上真實的 $A[n]$。面板 ④ 把它畫成平面圖上的一條曲線；下面則把它畫成曲面上的綠色切口，而數字是同一批數字。AM 正弦波については、$k = k_0$（搬送波が乗っているビン）に固定した行が、まさに包絡 $A[n]$ そのものである。これは §9.1.3 のインタラクティブ図の面板 ④ がすでに測っている量にほかならない。すなわち、各フレームの搬送波付近のピーク高を真の $A[n]$ と並べたものである。面板 ④ はそれを平面上の曲線として描いたが、以下では曲面を横切る緑の切り口として描く。数値はまったく同じものである。

Interactive: the magnitude surface互動 3D 圖：振幅曲面インタラクティブ図：振幅の曲面

The figure below draws $|X[k,n_0]|$ as a surface: the two horizontal axes are time $n_0$ and frequency $k$, and the height is the magnitude. The spectrogram is the top view of this surface, with colour standing in for height. Drag to rotate, use the wheel to zoom, and move the sliders to choose where the vertical and the horizontal cut are taken.下圖把 $|X[k,n_0]|$ 畫成曲面：兩個水平軸是時間 $n_0$ 和頻率 $k$，高度是大小。頻譜圖就是這個曲面的俯視圖（以顏色代替高度）。可拖曳旋轉、滾輪縮放，用滑桿選擇縱切與橫切的位置。下の図は $|X[k,n_0]|$ を曲面として描いたものである。二つの水平軸は時間 $n_0$ と周波数 $k$ であり、高さが大きさを表す。スペクトログラムとは、この曲面を真上から見た図であって、高さの代わりに色を使ったものである。ドラッグで回転、ホイールで拡大縮小ができ、つまみで縦の切り口と横の切り口の位置を選べる。

The signal is the one from §9.1.3: a carrier at $f_0/f_s = 102/1024 = 0.0996$ under the slow envelope $A[n] = 1-\cos(2\pi n/N)$, with $N = 2048$ here instead of $1024$ so that there are enough frames to make a surface out of. The hop is $R = N_{FT}/4$ and the band drawn is $k = 0,\dots,N_{FT}/4$, that is $f/f_s$ up to $0.25$ — the same band as panel ③ there.訊號就是 §9.1.3 的那一個：載波在 $f_0/f_s = 102/1024 = 0.0996$，底下是慢變包絡 $A[n] = 1-\cos(2\pi n/N)$，只是這裡取 $N = 2048$ 而非 $1024$，好讓音框數量足夠撐成一個曲面。跳距為 $R = N_{FT}/4$，畫出的頻帶是 $k = 0,\dots,N_{FT}/4$，也就是 $f/f_s$ 到 $0.25$ 為止——與該處面板 ③ 的頻帶相同。信号は §9.1.3 のものである。搬送波は $f_0/f_s = 102/1024 = 0.0996$ にあり、その下にゆっくりした包絡 $A[n] = 1-\cos(2\pi n/N)$ が乗る。ただしここでは曲面を張れるだけのフレーム数を得るため、$N = 1024$ ではなく $N = 2048$ とした。ホップは $R = N_{FT}/4$、描かれる帯域は $k = 0,\dots,N_{FT}/4$、すなわち $f/f_s$ が $0.25$ までであり、同節の面板 ③ と同じ帯域である。

What the figure shows:圖中可以看到：図から読み取れることは次のとおりである。

• The surface as a whole: a ridge rises at the carrier frequency $k_0$, and its height goes up and then down with time — that is the AM envelope. At every other frequency the surface is nearly flat.曲面整體：在載波頻率 $k_0$ 處隆起一道「山脊」，高度隨時間先升後降，這就是 AM 包絡。其他頻率幾乎平坦。曲面の全体：搬送波の周波数 $k_0$ のところに一本の「尾根」が盛り上がり、その高さは時間とともにまず上がり、やがて下がる。これが AM の包絡である。ほかの周波数ではほとんど平らである。
• Top view ($=$ the spectrogram): press Top view and look at it from straight above; the height survives only as colour, and what is left is the spectrogram of the slides. So a spectrogram really is the contour map of this 3-D surface.俯視（= 頻譜圖）：按「俯視」從正上方看，高度變成只看得到顏色，就是投影片中 spectrogram 的樣子。所以頻譜圖其實是這個 3D 曲面的「等高線地圖」。真上から見る（＝スペクトログラム）：「真上から」を押して真上から眺めると、高さは色としてしか残らず、スライドのスペクトログラムそのものになる。つまりスペクトログラムとは、この 3 次元曲面の「等高線地図」にほかならない。
• The orange line (fixed $n_0$): the spectrum of one stretch, shaped like the window spectrum moved to $k_0$ — one main lobe with sidelobes either side. At a different time position the shape is the same and only the height differs.橘線（固定 $n_0$）：某一段的頻譜，形狀是窗頻譜平移到 $k_0$：一個主瓣加兩側旁瓣。在不同時間位置，形狀相同、只有高度不同。オレンジの線（$n_0$ を固定）：ある区間のスペクトルであり、その形は窓のスペクトルを $k_0$ へ平行移動したもの、すなわち一つの主ローブと両側のサイドローブである。時間の位置を変えても形は同じで、高さだけが違う。
• The green line (fixed $k$): put it at $k_0$ and the green line is the envelope $A[n]$; move it to another $k$ and it drops, leaving only leakage. This is the direct evidence for "every bin is a bandpass filter".綠線（固定 $k$）：放在 $k_0$ 時，綠線就是包絡 $A[n]$；移到其他 $k$，綠線變低，只剩洩漏。這就是「每個 bin 是一個帶通濾波器」的直接證據。緑の線（$k$ を固定）：$k_0$ に置けば、緑の線はそのまま包絡 $A[n]$ である。ほかの $k$ へ移すと低くなり、漏れだけが残る。これが「各ビンは一つの帯域通過フィルタである」ことの直接の証拠である。
• Switching the rectangular and the Hann window: the rectangular window gives a narrower ridge but visible ripples either side of it (the sidelobes); the Hann window gives a wider ridge with clean flanks. This is the window trade-off of §9.3.1, seen on the time–frequency plane.切換矩形窗與 Hann 窗：矩形窗的山脊較窄但兩側有明顯的波紋（旁瓣）；Hann 窗的山脊較寬但兩側乾淨。這是前面（§9.3.1）窗函數取捨在時頻圖上的表現。矩形窓と Hann 窓の切り替え：矩形窓は尾根が狭い代わりに、その両側にはっきりとした波紋（サイドローブ）が現れる。Hann 窓は尾根が広い代わりに両側がきれいである。これは §9.3.1 の窓関数の取捨が、時間周波数平面の上に現れたものである。
• Switching $N_{FT}$: at $64$ the ridge is very wide (frequency is blurred) but the time direction is very smooth; at $256$ the ridge is very narrow, but each frame spans a longer stretch of time.切換 $N_{FT}$：64 時山脊很寬（頻率模糊）但時間方向很平滑；256 時山脊很窄，但每段跨越較長時間。$N_{FT}$ の切り替え：$64$ では尾根が非常に広く（周波数がぼやける）、しかし時間方向は非常になめらかである。$256$ では尾根が非常に狭くなるが、各フレームはより長い時間にわたる。

9.6 STFT Analysis–Synthesis9.6 STFT 的分析—合成9.6 STFT の分析—合成

9.6.1 Overlap-add reconstruction9.6.1 重疊相加重建9.6.1 重畳加算による再構成

The STFT is not just for pictures — because it is invertible (when sampled densely enough), we can modify a signal in the time–frequency domain and resynthesize: noise suppression, time stretching, pitch shifting, equalization. The standard synthesis is overlap-add (OLA, 重疊相加): inverse-FFT each (possibly modified) frame, then add the frames back at their original positions:STFT 不只是用來畫圖的——因為它是可逆的（只要取樣夠密），我們可以在時頻域裡修改訊號再重新合成：雜訊抑制、時間伸縮、音高位移、等化。標準的合成方式是重疊相加（overlap-add, OLA）：把每一個（可能已被修改的）音框做反 FFT，再把這些音框加回它們原本的位置上：STFT は絵を描くためだけのものではない。十分に密に標本化してあれば可逆なので、時間周波数領域で信号を加工してから再合成できる。雑音抑圧、時間伸縮、ピッチシフト、等化などである。標準的な合成は重畳加算（overlap-add, OLA）である。（場合によっては加工された）各フレームを逆 FFT し、それらを元の位置に戻して足し合わせる。

9.6.2 The COLA condition9.6.2 COLA 條件9.6.2 COLA 条件

If the frames are unmodified, each IFFT returns exactly $x[n+mM]\,w[n]$, so the OLA sum gives $y[n]=x[n]\sum_m w[n-mM]$. Perfect reconstruction (up to a constant) therefore requires the shifted windows to add to a constant — the COLA (constant-overlap-add) condition（恆定重疊相加條件）:如果音框沒有被修改，每一次 IFFT 恰好還原出 $x[n+mM]\,w[n]$，所以 OLA 的總和給出 $y[n]=x[n]\sum_m w[n-mM]$。因此（差一個常數的）完美重建，要求平移後的各個視窗相加等於一個常數——這就是 COLA（constant-overlap-add，恆定重疊相加）條件：フレームを加工しない場合、各 IFFT はちょうど $x[n+mM]\,w[n]$ を返すので、OLA の和は $y[n]=x[n]\sum_m w[n-mM]$ となる。したがって（定数倍を除いた）完全再構成のためには、ずらした窓の和が定数になることが必要である。これが COLA（constant-overlap-add、定数重畳加算）条件である。

For the length-$L$ periodic Hann window, COLA holds at hop $M=L/2$ (with $C=1$) and at $M=L/4$ (with $C=2$) — one reason the Hann window dominates analysis–synthesis practice. The four "STFT Analysis-Synthesis" slides walk this chain: window → FFT → modify → IFFT → overlap-add, with COLA guaranteeing transparency when nothing is modified.對長度為 $L$ 的週期性 Hann 窗，COLA 在跳距 $M=L/2$（此時 $C=1$）與 $M=L/4$（此時 $C=2$）時成立——這也是 Hann 窗在分析—合成實務上獨大的原因之一。那四張「STFT Analysis-Synthesis」投影片走的正是這條鏈：加窗 → FFT → 修改 → IFFT → 重疊相加，而 COLA 保證在什麼都不改時整條鏈是透明的。長さ $L$ の周期 Hann 窓では、ホップ $M=L/2$（このとき $C=1$）および $M=L/4$（このとき $C=2$）で COLA が成り立つ。Hann 窓が分析—合成の実務を支配している理由の一つがこれである。四枚の「STFT Analysis-Synthesis」スライドはこの流れをたどる。窓かけ → FFT → 加工 → IFFT → 重畳加算であり、何も加工しなければ COLA が透過性を保証する。

Watching the sum happen看著這個和被加出來和が組み上がるところを見る

Both of the sentences above are easy to believe and neither is visible. §9.6.1 says the frames add back up to the signal; §9.6.2 says the price of that is one line of algebra, $\sum_m w[n-mM]=C$. The figure below does the addition in front of the reader instead: one frame at a time, from the first window that hangs off the left end of the signal to the last, with the running sum drawn against the original underneath it and the running $\sum_m w[n-mM]$ drawn under that. Then the hop slider takes the condition away. At $M=L/2$ and $M=L/4$ the orange curve is a straight line and the blue reconstruction lies on top of the grey original; at $M=3L/8$ it grows a visible scallop and the reconstruction follows the scallop; at $M=L$ with a Hann window it falls to zero at every seam and what comes back is the signal chopped into bulges.上面那兩句話都不難相信，而兩句都看不見。§9.6.1 說那些音框會加回成原訊號；§9.6.2 說代價是一行代數，$\sum_m w[n-mM]=C$。下面這張圖改成把這個加法當著讀者的面做一遍：一次加一個音框，從第一個懸在訊號左端外面的視窗一路加到最後一個，底下畫出目前的累加結果與原訊號的對照，再底下畫出目前的 $\sum_m w[n-mM]$。接著，跳距滑桿會把這個條件拿掉。$M=L/2$ 與 $M=L/4$ 時橘線是一條直線，藍色的重建結果就疊在灰色的原訊號上；$M=3L/8$ 時橘線長出看得見的扇貝紋，重建結果就跟著那串扇貝走；$M=L$ 配 Hann 窗時橘線在每一道接縫處掉到零，拿回來的是被切成一團一團的訊號。上の二つの文はどちらも信じるのは易しく、どちらも目には見えない。§9.6.1 はフレームを足すと信号が戻ると言い、§9.6.2 はその代償が一行の代数 $\sum_m w[n-mM]=C$ だと言う。下の図は、代わりにその足し算を読者の目の前で実行する。一度に一フレームずつ、信号の左端からはみ出した最初の窓から最後の窓まで加えていき、その下に現在の累積和を原信号と重ねて描き、さらにその下に現在の $\sum_m w[n-mM]$ を描く。そのうえでホップのつまみが条件を取り上げる。$M=L/2$ と $M=L/4$ では橙の曲線は直線であり、青い再構成は灰色の原信号にそのまま重なる。$M=3L/8$ では橙に目に見えるホタテ模様が生じ、再構成はその模様に従う。$M=L$ で Hann 窓を使えば、橙は継ぎ目ごとに零まで落ち、戻ってくるのは膨らみに刻まれた信号である。

It is worth being explicit that this is the chapter's second proof that the STFT is invertible, and not the first one told again. §9.5's last bullet added the $N$ filterbank channels at one frequency and found $\sum_k H_k(e^{j\omega})$ flat at $N\,w[0]$: the signal came back because nothing had been thrown away, every channel there still running at the full sample rate. The sum below runs the other way — along time rather than across frequency — and it is the sum the hop makes necessary, because hopping by $M$ is decimating each of those channels by $M$. §9.5's bullet says exactly this where it stops: what makes reconstruction a real question is the one stage it does not draw, the hop. COLA is the condition on that stage. The two sums are the two directions of the same time–frequency plane, both end at $y=Cx$, and the chapter needs both because the practical STFT does both.值得講明白的是：這是本章證明 STFT 可逆的第二個證明，不是把第一個再講一次。§9.5 最後一條把 $N$ 個濾波器組通道在同一個頻率上加起來，得到 $\sum_k H_k(e^{j\omega})$ 平坦在 $N\,w[0]$：訊號會回來，是因為什麼都沒有被丟掉——那裡的每一個通道都還跑在完整的取樣率上。下面這個和走的是另一個方向——沿著時間，而不是橫跨頻率——而它正是跳距逼出來的那個和，因為每隔 $M$ 跳一次，就是把那些通道每一個都降取樣 $M$ 倍。§9.5 那一條在收尾處講的就是這件事：真正讓重建變成一個問題的，是它沒有畫的那一段——跳距。COLA 就是加在那一段上的條件。這兩個和是同一個時頻平面的兩個方向，兩個都終止於 $y=Cx$，而本章兩個都要，因為實務上的 STFT 兩件事都做。これが本章における STFT の可逆性の二番目の証明であり、一番目を言い直したものではないことは、はっきりさせておく価値がある。§9.5 の最後の項目は $N$ 本のフィルタバンクのチャネルを一つの周波数で足し、$\sum_k H_k(e^{j\omega})$ が $N\,w[0]$ で平坦になることを見た。信号が戻ったのは何も捨てていなかったからであり、あそこではどのチャネルも完全な標本化率のまま動いていた。下の和は逆向きに走る。周波数を横切るのではなく時間に沿って走るのであり、これこそホップが必要にする和である。$M$ ずつ跳ぶことは、それらのチャネルを一本ずつ $M$ 倍に間引くことだからである。§9.5 のその項目は、終わり際にまさにこれを述べている。再構成を本当の問題にするのは、その図が描かない一段、すなわちホップである。COLA はその段に掛かる条件である。二つの和は同じ時間周波数平面の二つの向きであり、どちらも $y=Cx$ に行き着く。実際の STFT は両方を行うので、本章には両方が要る。

The walkthrough below keeps the figure's own notation: the hop is written $H$, which is this chapter's $M$; the segment index is written $r$, which is the $m$ the panels carry; and a "segment" is this chapter's frame. The same three substitutions govern the proof at the end of this subsection.下面這段說明沿用圖本身的寫法：跳距寫作 $H$，就是本章其他地方的 $M$；段的編號寫作 $r$，就是各面板上的 $m$；而「段」就是本章的「音框」。本節末尾那個證明也沿用同樣的三組對應。以下の説明は図そのものの表記に従う。ホップは $H$ と書くが本章の $M$ と同じ量であり、セグメント番号は $r$ と書くが各パネルの $m$ である。そして「セグメント」は本章の「フレーム」である。本節末尾の証明も同じ三つの対応に従う。

This figure breaks the overlapping STFT and ISTFT into four steps, each segment marked in its own colour, which makes it easy to follow one and the same segment from analysis through to synthesis.這張圖把重疊式 STFT 與 ISTFT 拆成四步，每一段用自己的顏色標示，方便追蹤同一段從分析到合成的過程。この図は重なりを持つ STFT と ISTFT を四つの段階に分け、各セグメントを自身の色で示すことで、同じセグメントを分析から合成まで追いやすくしたものである。

STFT (analysis)STFT（分析）STFT（分析）

• ① Grey is the original signal $x[n]$, and the coloured curves are each segment's window, one placed every $H$ samples, so that neighbouring windows overlap one another. Boxed is the segment $r$ currently selected.① 灰色是原始訊號 $x[n]$，彩色曲線是每一段的窗，每隔 $H$ 點放一個，相鄰的窗互相重疊。框起來的是目前選取的第 $r$ 段。① 灰色が原信号 $x[n]$ であり、色の付いた曲線が各セグメントの窓である。$H$ 標本ごとに一つ置かれ、隣り合う窓は互いに重なる。枠で囲んであるのが、現在選んでいる第 $r$ セグメントである。
• ② The result of multiplying segment $r$ by the window, $x[n_0 + n]\,w[n]$. The faded other segments overlap it in part — that is, the same samples get analysed by two segments (50%) or by four (75%).② 第 $r$ 段乘上窗後的結果 $x[n_0 + n]\,w[n]$。淡色的其他段和它有一部分重疊，也就是同一批樣本會被兩段（50%）或四段（75%）分析到。② 第 $r$ セグメントに窓を掛けた結果 $x[n_0 + n]\,w[n]$ である。淡色の他のセグメントはこれと一部重なっており、すなわち同じ標本が二つのセグメント（50%）あるいは四つのセグメント（75%）によって分析される。
• ③ Each segment is FFT'd. Every column of the spectrogram on the left is one segment; on the right is the spectrum of segment $r$.③ 每段做 FFT。左邊的頻譜圖每一欄是一段；右邊是第 $r$ 段的頻譜。③ 各セグメントを FFT する。左のスペクトログラムは一列が一セグメントであり、右は第 $r$ セグメントのスペクトルである。

ISTFT (synthesis)ISTFT（合成）ISTFT（合成）

• ④ top: Each segment is IFFT'd, and what comes out is exactly the windowed segment of ②; put it back where it was, at $n_0 = rH$.④ 上：每段做 IFFT，得到的正是 ② 中的加窗段，把它放回原位 $n_0 = rH$。④ 上：各セグメントを IFFT すると、得られるのはまさに ② の窓掛けセグメントである。それを元の位置 $n_0 = rH$ へ戻す。
• ④ bottom: Add up the segments already included (blue). The orange dashed line is the current window sum $\sum_r w$. In the region left of the green line, every segment that covers it has been added, the window sum has reached its constant, the blue line coincides exactly with the original signal (grey), and the error in the readout is only at the level of floating-point rounding.④ 下：把已加入的段相加（藍）。橘色虛線是目前的窗總和 $\sum_r w$。綠線左邊的區域，所有涵蓋它的段都已加入，窗總和達到常數，藍線與原始訊號（灰）完全重合，讀數中的誤差只有浮點捨入等級。④ 下：すでに加えたセグメントを足し合わせる（青）。橙の破線が現在の窓の総和 $\sum_r w$ である。緑の線の左側の領域では、そこを覆うセグメントがすべて加えられており、窓の総和は定数に達し、青い線は原信号（灰）と完全に重なる。読み出しにおける誤差は浮動小数点の丸めの桁でしかない。

Things to try:操作建議：操作の勧め：

• Press "step through the frames" and watch the blue line grow one segment at a time. Every segment added puts one more window under the orange dashed line, and the dip at the seam is levelled out by the next segment.按「逐段播放」，看著藍線一段一段長出來。每加入一段，橘色虛線就多一個窗，接縫處的凹陷被下一段補平。「フレームを順に送る」を押し、青い線が一セグメントずつ伸びていくのを見るとよい。一段加えるごとに橙の破線には窓が一つ増え、継ぎ目の窪みは次のセグメントによって埋められる。
• Hann + 0%: there is no overlap between one segment and the next, the window sum drops to 0 at every seam, the blue line is periodically squashed flat, and nothing can be recovered. This is the reason for "the overlap has to be there already at analysis time".Hann + 0%：段與段之間沒有重疊，窗總和在每個接縫處掉到 0，藍線被週期性地壓扁，無法還原。這就是「分析時就要重疊」的原因。Hann + 0%：セグメントどうしに重なりが無く、窓の総和は継ぎ目ごとに 0 まで落ち、青い線は周期的に潰れて復元できない。これが「分析の時点で重ねておかねばならない」理由である。
• Hann + 75%: each sample is covered by four segments, the sum is 2 (the readout shows the division by 2), and the spectrogram gains columns as well.Hann + 75%：每個樣本被四段涵蓋，總和為 2（讀數會顯示除以 2），頻譜圖的欄數也變多。Hann + 75%：各標本は四つのセグメントに覆われ、総和は 2 となり（読み出しには 2 で割ることが示される）、スペクトログラムの列数も増える。
• Rectangular + 0%: one segment after another tiles the axis exactly, and it too reconstructs perfectly; but as discussed earlier, once the spectrum has been modified the seams jump.矩形 + 0%：一段接一段剛好鋪滿，也能完全還原；但如前面討論，修改頻譜後接縫處會跳變。矩形 + 0%：セグメントが次々と隙間なく敷き詰められ、これも完全に復元できる。ただし先に論じたとおり、スペクトルを加工すると継ぎ目で跳びが生じる。

What to look at, in order:建議依序這樣看：順に見ていくとよい点は次のとおりである。

• ① The strip the condition is about. Under the signal is the only thing COLA ever looks at: the shifted windows $w[n-mM]$, one arch per frame, the selected one heavy and boxed. The signal is not in that strip and never enters the condition — $\sum_m w[n-mM]$ is a property of the window and the hop alone, which is why the same orange verdict below holds for any $x[n]$ at all.① 條件真正管的那一條。訊號底下那一條，就是 COLA 唯一會看的東西：平移後的視窗 $w[n-mM]$，一個音框一道拱，選到的那一道畫粗並框起來。訊號不在那一條裡，也從來不會進到條件裡——$\sum_m w[n-mM]$ 只跟視窗與跳距有關，這就是為什麼下面那條橘線給的判決，對任何 $x[n]$ 都一樣成立。① 条件が見ている帯。信号の下にあるのが、COLA が見る唯一のものである。ずらした窓 $w[n-mM]$ がフレームごとに一つのアーチとして並び、選んだものだけが太く、枠で囲んである。信号はこの帯にはなく、条件に入ることもない。$\sum_m w[n-mM]$ は窓とホップだけの性質であり、だからこそ下の橙が下す判定は、どんな $x[n]$ に対しても同じように成り立つ。
• ② The same samples, more than once. Panel ② is the windowed frame itself, $x[n_0+n]\,w[n]$ with $n_0=mM$, and behind it the neighbouring frames in their own colours, faded. Where they overlap, one sample belongs to two frames at $50\%$ overlap and to four at $75\%$, and the readout prints that count for whatever hop is set. Panel ④ (top) draws the same curves a second time, after the round trip, which is the plainest way to see that the transform in between changed nothing.② 同一批樣本，被看了不只一次。面板 ② 畫的就是加窗後的那個音框本身，$x[n_0+n]\,w[n]$，$n_0=mM$；它後面淡色的，是左右兩邊的音框，用的是各自的顏色。在它們重疊的地方，一個樣本在重疊 $50\%$ 時屬於兩個音框、在 $75\%$ 時屬於四個，而讀數會把目前跳距下的這個數字印出來。面板 ④（上）在走完來回之後把同樣幾條曲線再畫一次，這是看出「中間那段轉換什麼也沒改」最直白的方式。② 同じ標本を二度以上見る。パネル ② は窓を掛けたフレームそのもの、$x[n_0+n]\,w[n]$（$n_0=mM$）であり、その背後に隣のフレームがそれぞれの色で淡く重なる。重なるところでは、一つの標本が重なり $50\%$ では二フレームに、$75\%$ では四フレームに属する。その個数は、設定されたホップに応じて読み出しに印字される。パネル ④（上）は、往復を終えた同じ曲線をもう一度描く。間にある変換が何も変えていないことを見るには、これがいちばん直截な方法である。
• ③ The transform stage does nothing. Panel ③ puts the spectrogram on the left, one column per frame, so that the hop the slider sets is also a column count; on the right is $|X_m[k]|$ for the heavy frame, and that right-hand half is in the figure only so that the chain of §9.6.1 is complete rather than asserted: every frame drawn in panel ④ really has been through a forward DFT and an inverse DFT, and the readout prints the largest sample either of them moved, which stays at the $10^{-16}$ mark. Nothing between the window and the sum decides anything. What happens when a reader does edit those coefficients is the warning below.③ 轉換這一段什麼也沒做。面板 ③ 左邊是頻譜圖，一欄一個音框，滑桿設的那個跳距就這樣變成看得見的欄數；右邊是那個粗線音框的 $|X_m[k]|$，而右邊這半放在圖裡只是為了讓 §9.6.1 那條鏈是走完的、而不是用講的：面板 ④ 裡畫的每一個音框，真的都走過一次正向 DFT 與一次反向 DFT，而讀數會印出這兩步最多把哪一個樣本挪動了多少，數值一直停在 $10^{-16}$ 這個量級。加窗與相加之間，沒有任何一步決定了什麼。讀者如果真的去改那些係數會怎樣，是下面那個警告的事。③ 変換の段は何もしていない。パネル ③ は、左にスペクトログラムを置いて一列を一フレームに当て、つまみが決めるホップを列数として見せ、右に太線のフレームの $|X_m[k]|$ を置く。後者が図にあるのは、§9.6.1 の流れを口で言うのではなく実際に完結させるためだけである。パネル ④ に描かれるフレームはすべて、本当に前向き DFT と逆 DFT を通っており、読み出しにはそのどちらかが標本を最大どれだけ動かしたかが印字される。値は $10^{-16}$ の桁に留まる。窓かけと加算のあいだで何かが決まることはない。読者が実際にその係数を編集したらどうなるかは、下の注意の話である。
• ④ (top) Putting the frames back. Each inverse transform is drawn at its own offset $mM$, in its own colour. Where two or three of them cover the same samples, each one is carrying only a fraction of what was there — the arches of panel ① are those fractions — and the reader can see that no single curve is ever the right answer on its own. The last frames run off the right-hand end exactly as the first ones run off the left.④（上）把音框放回去。每一次反轉換都畫在自己的位置 $mM$ 上，各有各的顏色。在兩三個音框蓋到同一批樣本的地方，每一個都只帶著當初那裡的一部分——面板 ① 的那些拱，就是這些比例——讀者因此看得出來：沒有哪一條曲線自己就是正確答案。最後幾個音框跑出右端，正如最前面幾個跑出左端。④（上）フレームを戻す。逆変換はそれぞれ自分の位置 $mM$ に、自分の色で描かれる。二つ三つが同じ標本を覆うところでは、どれもそこにあったものの一部分しか運んでいない。パネル ① のアーチがその割合である。どの曲線も単独では正しい答えにならないことが、そこから見てとれる。最後のいくつかのフレームが右端からはみ出すさまは、最初のいくつかが左端からはみ出すさまとそのまま同じである。
• ④ (bottom) The two bottom strips, and the green line. Blue is the running $\hat y[n]/C$, grey is $x[n]$. Orange below is $\sum_m w[n-mM]$, drawn only over the part that is finished and on a scale that zooms in about the dashed $C$: the ripple that decides everything can be a few per cent, and an axis starting at zero would hide it. The two small numbers at the ends of that strip are where the zoom begins and ends, so it is never a silent one. The green line marks the first sample whose last contributing window has not been added yet, and both readout figures are measured to its left. To its right the blue curve is still dying away, and that decay is worth a second look, because it is the edge effect. A signal whose framing simply stops has the same decay at its end, and the figure avoids one at the start only by including the frames that hang off the left edge — begin at $m=0$ instead and the first $L-M$ samples come back scaled by a ramp rather than by $C$.④（下）底下那兩條，以及那條綠線。藍色是目前的 $\hat y[n]/C$，灰色是 $x[n]$。再底下的橘色是 $\sum_m w[n-mM]$，只畫已經完成的那一段，而且縱軸在虛線畫出的 $C$ 附近放大：決定一切的那個起伏可能只有百分之幾，從零開始的軸會把它藏起來。那一條兩端的兩個小數字，就是放大範圍的上下界，所以這個放大不是偷偷放的。綠線標出的是第一個「最後一個該蓋到它的視窗還沒加進來」的樣本，讀數裡那兩個數字都是在綠線左邊量的。綠線右邊，藍線還在逐漸消失，而那段衰減值得再看一眼，因為它就是邊緣效應。一段訊號如果分框到此為止，它的尾端就會有同樣一段衰減；這張圖在開頭沒有這一段，純粹是因為它把懸在左端外面的那幾個音框也算進來了——改成從 $m=0$ 開始，最前面的 $L-M$ 個樣本拿回來時乘上的就是一段斜坡，而不是常數 $C$。④（下）下の二本の帯と、緑の線。青は現在の $\hat y[n]/C$、灰は $x[n]$ である。その下の橙は $\sum_m w[n-mM]$ であり、完成した区間だけを、破線で示した $C$ の近くを拡大した目盛で描いてある。すべてを決めるリップルは数パーセントのこともあり、零から始まる軸ではそれが隠れてしまうからである。その帯の両端にある小さな二つの数値が拡大の上端と下端であり、拡大を黙って行ってはいない。緑の線は、最後に寄与すべき窓がまだ加えられていない最初の標本を示し、読み出しの二つの数値はいずれもその左で測っている。右側では青の曲線がまだ消えていく途中であり、この減衰はもう一度見る価値がある。これがそのまま端の効果だからである。フレーム分割がそこで止まる信号は、その終端に同じ減衰を持つ。この図の先頭にそれが無いのは、左端からはみ出すフレームを数に入れているからにすぎない。$m=0$ から始めれば、最初の $L-M$ 標本は定数 $C$ ではなく傾斜を掛けられて戻ってくる。
• The hop slider, which is the point of the figure. The criterion is not "more overlap". It is that $L/M$ be a whole number: §9.4.4's two typical choices, $50\%$ and $75\%$ overlap, are the cases $L/M=2$ and $L/M=4$, and the orange line there is flat to rounding. Slide to $62.5\%$ overlap, which is more overlap than $50\%$, and $L/M=8/3$ is not a whole number: the orange line scallops by $6.7\%$ of $C$ and the reconstruction is wrong by $2.9\%$ of the signal's peak. At $25\%$ overlap the error is $48\%$, and at no overlap at all the periodic Hann window has $\sum_m w[n-mM]=w[n]$, which is zero at every seam. Now press rectangular: no overlap becomes perfect with $C=1$, while $25\%$ and $62.5\%$ stay broken. The condition is on the pair, window and hop together, and never on either alone.跳距滑桿，這才是整張圖的重點。判準不是「重疊多一點」，而是 $L/M$ 要是整數：§9.4.4 給的兩個典型選擇，重疊 $50\%$ 與 $75\%$，正是 $L/M=2$ 與 $L/M=4$ 這兩個情形，橘線在那裡平到只剩捨入誤差。滑到重疊 $62.5\%$——那比 $50\%$ 還重疊得多——而 $L/M=8/3$ 不是整數：橘線起伏達 $C$ 的 $6.7\%$，重建結果錯了訊號峰值的 $2.9\%$。重疊 $25\%$ 時誤差是 $48\%$，而完全不重疊時，週期型 Hann 窗的 $\sum_m w[n-mM]=w[n]$，在每一道接縫上都是零。接著按矩形窗：完全不重疊變成完美，$C=1$，而 $25\%$ 與 $62.5\%$ 照樣壞掉。條件是加在「視窗與跳距」這一對上的，從來不是單獨加在哪一邊。ホップのつまみ。これがこの図の眼目である。判定基準は「重なりを多くすること」ではない。$L/M$ が整数であることである。§9.4.4 が挙げる二つの典型的な選択、重なり $50\%$ と $75\%$ は $L/M=2$ と $L/M=4$ の場合であり、そこでは橙の線は丸めの桁まで平坦である。重なり $62.5\%$ へ動かすと——$50\%$ より多い重なりである——$L/M=8/3$ は整数ではない。橙の線は $C$ の $6.7\%$ だけ波打ち、再構成は信号のピークの $2.9\%$ だけ狂う。重なり $25\%$ では誤差は $48\%$ になり、重なりが無い場合には周期 Hann 窓の $\sum_m w[n-mM]=w[n]$ が継ぎ目ごとに零になる。ここで矩形窓を押すと、重なり無しが $C=1$ で完全になる一方、$25\%$ と $62.5\%$ は壊れたままである。条件は窓とホップの組に掛かるのであり、どちらか一方だけに掛かることはない。

The proof, in eight samples這個證明，用八個樣本走一遍証明を八標本でたどる

The figure above performs the sum; what follows proves it, on a sequence short enough to check by hand.上面那張圖把這個和做了出來；底下這一段則是把它證明出來，用一段短到可以用手驗算的序列。上の図はその和を実行してみせた。以下はそれを、手で検算できるほど短い系列の上で証明する。

There are only two points. Each segment's IDFT recovers the windowed segment exactly, and the Hann windows of a 50% overlap add to 1 everywhere. Put together, the sum is the original sequence, and no division is needed at all.關鍵只有兩點：每段的 IDFT 能精確取回加窗後的那一段，以及 50% 重疊的 Hann 窗加起來處處等於 1。兩者合起來，相加的結果就是原序列，完全不需要除法。要点は二つだけである。各セグメントの IDFT は窓を掛けたそのセグメントを正確に取り戻すこと、そして 50% 重なる Hann 窓は至るところで和が 1 になることである。両者を合わせれば、加え合わせた結果が原系列そのものになり、割り算はまったく要らない。

Working it with small numbers用小數字實際算一次小さな数で実際に計算する

Take the periodic Hann window with $N = 4$ and hopsize $H = 2$ (50% overlap):取 $N = 4$ 的週期型 Hann 窗，hopsize $H = 2$（50% 重疊）：$N = 4$ の周期 Hann 窓をとり、hopsize は $H = 2$（50% の重なり）とする。

The original sequence is $x = [3, 5, 2, 7, 4, 6, 1, 8]$ (zero outside that range). The segments start at $s = -2, 0, 2, 4, 6$.原序列 $x = [3, 5, 2, 7, 4, 6, 1, 8]$（範圍外補 0）。每段從 $s = -2, 0, 2, 4, 6$ 開始。原系列は $x = [3, 5, 2, 7, 4, 6, 1, 8]$（範囲外は 0 とする）。各セグメントは $s = -2, 0, 2, 4, 6$ から始まる。

Step 1: STFT then IDFT, recovering each segment's $x[n]\,w[n-s]$ (the DFT is invertible, so nothing at all is lost at this step)步驟 1：STFT 再 IDFT，取回每段的 $x[n]\,w[n-s]$（DFT 可逆，所以這一步沒有任何損失）手順 1：STFT のあと IDFT を行い、各セグメントの $x[n]\,w[n-s]$ を取り戻す（DFT は可逆なので、この段階では何も失われない）

Every position is covered by two segments: one gives it 1 and the other 0, or the two give 0.5 each. The sum is always 1.每個位置都被兩段涵蓋：一段給它 1、另一段給它 0，或兩段各給 0.5。總和永遠是 1。どの位置も二つのセグメントに覆われる。一方が 1 を、他方が 0 を与えるか、二つが 0.5 ずつを与えるかである。総和はつねに 1 である。

Step 2: put each segment back where it was and add步驟 2：把各段放回原位相加手順 2：各セグメントを元の位置に戻して足し合わせる

The sum is exactly the original sequence.相加結果和原序列完全相同。加え合わせた結果は原系列とまったく同じである。

The general proof一般證明一般の証明

Each segment's IDFT gives $x[n]\,w[n - rH]$; adding all of them,每段 IDFT 得到 $x[n]\,w[n - rH]$，全部相加：各セグメントの IDFT は $x[n]\,w[n - rH]$ を与える。すべてを足すと、

$x[n]$ does not depend on $r$ and can be taken outside, so the reconstruction is exact as soon as the windows sum to 1.$x[n]$ 和 $r$ 無關，可以提出來，所以只要窗的總和為 1 就完全還原。$x[n]$ は $r$ に依存しないので外へ括り出せる。したがって窓の総和が 1 でありさえすれば完全に復元される。

Why is the Hann 50% sum 1? Every position is covered by exactly two segments, and the two windows are half a period out of phase:為什麼 Hann 50% 的總和是 1？任何位置都恰好被兩段涵蓋，兩段窗的相位差半個週期：なぜ Hann の 50% で総和が 1 になるのか。どの位置もちょうど二つのセグメントに覆われ、二つの窓の位相は半周期ずれている。

Because $\cos(\theta - \pi) = -\cos\theta$, the two cosine terms cancel each other.因為 $\cos(\theta - \pi) = -\cos\theta$，兩個餘弦項互相抵消。$\cos(\theta - \pi) = -\cos\theta$ であるから、二つの余弦項は互いに打ち消し合う。

The intuition直覺直感的な見方

The window "shares out" each sample among the segments that cover it: this one gets $w_a$, that one gets $w_b$. As long as $w_a + w_b = 1$, adding them collects the sample back whole, with nothing over and nothing missing. Even where one segment's weight at that position is 0 (the segment $s = 0$ at $n = 0$ in the table above, for instance), the other is certain to give it 1, so no information is lost.窗把每個樣本「分配」給涵蓋它的幾段：這段分到 $w_a$，那段分到 $w_b$。只要 $w_a + w_b = 1$，相加時就把它完整地收回來，沒有多也沒有少。即使某段在這個位置的權重是 0（例如上表中 $n = 0$ 對 $s = 0$ 那段），另一段一定給它 1，所以不會有資訊遺失。窓は各標本を、それを覆うセグメントのあいだに「配分」する。こちらのセグメントには $w_a$、あちらには $w_b$ が渡る。$w_a + w_b = 1$ でありさえすれば、足し合わせたときにその標本は過不足なく丸ごと戻ってくる。ある位置でのあるセグメントの重みが 0 であっても（たとえば上の表の $n = 0$ における $s = 0$ のセグメント）、他方が必ず 1 を与えるので、情報が失われることはない。

This also explains the two premises.這也說明了兩個前提：ここから二つの前提も説明される。

• The overlap is required. Without it, the Hann window is 0 on both sides of every seam, and those samples are not covered in full by any segment.必須重疊：不重疊時，Hann 窗在接縫處兩邊都是 0，那些樣本沒有被任何一段完整涵蓋。重なりは必須である。重なりが無ければ、Hann 窓は継ぎ目の両側でともに 0 であり、それらの標本はどのセグメントにも完全には覆われない。
• The Hann window must be the periodic one (denominator $N$). With the symmetric one (denominator $N-1$) the two windows are not exactly half a period out of phase, and the sum acquires a slight ripple. "Slight" is only slight once the window is long. Measured at 50% overlap as peak-to-peak ripple against the nominal $1$, the periodic window stays at the $10^{-16}$ mark at every length tried, while the symmetric one gives $9.1\%$ at $L=16$, $2.4\%$ at $L=64$ and $0.6\%$ at $L=256$ — for a short window it is not slight at all.必須用週期型 Hann（分母為 $N$）：若用對稱型（分母為 $N-1$），兩個窗的相位差不是剛好半個週期，總和會有微小起伏。「微小」只在視窗夠長時才算微小：在 50% 重疊下量峰對峰起伏（以標稱值 $1$ 為基準），週期型在量過的每一個長度上都停在 $10^{-16}$ 量級，對稱型則是 $L=16$ 時 $9.1\%$、$L=64$ 時 $2.4\%$、$L=256$ 時 $0.6\%$——短窗下它一點也不微小。Hann 窓は周期型（分母が $N$）でなければならない。対称型（分母が $N-1$）を使うと、二つの窓の位相差はちょうど半周期にはならず、総和にわずかな起伏が生じる。「わずか」であるのは窓が十分に長いときだけである。50% の重なりで、公称値 $1$ に対する尖頭間の起伏として測ると、周期型は試したどの長さでも $10^{-16}$ の桁に留まるのに対し、対称型は $L=16$ で $9.1\%$、$L=64$ で $2.4\%$、$L=256$ で $0.6\%$ となる。短い窓ではまったくわずかではない。

Two different promises兩個不同的保證二つの別々の約束

The callout above ends the argument where most treatments end it: modification breaks the algebra, use a synthesis window. It leaves one question unanswered, and it is the question a reader who has just worked the hop slider in the figure above will ask. If the algebra is gone the moment anything is edited, why does a modifying system still insist on a tapered window and fifty percent overlap? COLA was the reason for the overlap, and COLA no longer applies.上面那段提示把話停在大多數教材停下來的地方：一旦修改，代數就不成立，所以要加合成視窗。它留下一個沒有回答的問題，而這正是剛剛玩過上面那張圖的跳距滑桿的讀者會問的問題。如果只要動了東西，那套代數就失效了，那麼一個會修改係數的系統為什麼還要堅持用漸縮的視窗、堅持五成的重疊？重疊原本的理由是 COLA，而 COLA 已經不適用了。上の注意書きは、多くの教科書が議論を止めるところで止めている。加工すれば代数は崩れる、だから合成窓を使え、である。そこには答えられていない問いが一つ残る。上の図のホップのつまみを動かしたばかりの読者が抱くのは、まさにその問いである。何かを編集した瞬間に代数が消えるのなら、係数を加工する系がなお漸減する窓と五割の重なりに固執するのはなぜか。重ねる理由は COLA であったのに、その COLA はもう効かないのである。

The answer is that the two things are not one thing. COLA buys exact reconstruction of a signal nobody has touched. Tapered overlap buys survivable modification, which is a separate property with a separate proof, and neither implies the other. The cleanest way to see that they are separate is to find a setting that has the first and not the second — and one is sitting in plain sight. A rectangular window at zero overlap, $M=L$, satisfies COLA perfectly: the shifted windows tile the axis end to end, their sum is the constant $1$ with no rounding error at all, and an unmodified signal comes back to the last bit. It is the one setting where the reconstruction proof is so trivial it needs no window theory. And it is the worst setting in this chapter for modifying anything.答案是：這兩件事本來就不是同一件事。COLA 買到的是完美重建——針對沒有人動過的訊號。漸縮加重疊買到的是「改得下去」，那是另一個性質、另一個證明，兩者互不蘊含。要看出它們是分開的，最乾淨的辦法是找一個只有前者、沒有後者的設定——而這個設定就擺在眼前。矩形窗配零重疊（$M=L$）完美滿足 COLA：平移後的視窗把時間軸首尾相接地鋪滿，總和就是常數 $1$，連捨入誤差都沒有，未經修改的訊號會一位不差地回來。那是全章裡重建證明最不費力的一個設定，也是全章裡最不適合拿來修改任何東西的一個設定。答えは、その二つがもともと一つではない、ということである。COLA が買うのは、誰も触っていない信号の完全再構成である。漸減と重なりが買うのは、加工に耐えることであり、これは別の性質、別の証明であって、どちらも互いを含意しない。両者が別物だと見抜くいちばん清潔な方法は、前者だけを持ち後者を持たない設定を一つ見つけることであり、それは目の前にある。矩形窓で重なり零、すなわち $M=L$ は COLA を完全に満たす。ずらした窓が時間軸を端から端まで敷き詰め、その和は定数 $1$ で丸め誤差すらなく、加工していない信号は最下位ビットまで戻る。再構成の証明がこれほど軽くて済む設定は本章に他になく、そして何かを加工するには本章でいちばん悪い設定である。

The figure below runs both settings on the same signal with the same edit and measures the difference. The edit is applied to the coefficients, exactly as §9.6.1 describes — a block of frames attenuated, or a per-bin spectral gate — and every frame really goes through the DFT and the IDFT, so nothing here is assumed. Panel ① is the premise: $\sum_m w[n-mM]$ for both settings, and both are flat. Panel ② is the point. It plots how much of each frame survives the edit, blended by the windows exactly as the frames themselves are: $G[n]=\sum_m a_m\,w[n-mM]/C$, with $a_m$ the surviving fraction of frame $m$ — the factor $g$ itself for the block attenuation, and the fraction of bins the gate keeps for the gate. For an edit that is one number per frame this curve is the gain the signal sees, exactly. With the rectangular window at zero overlap that curve is a staircase with vertical risers; with Hann at half overlap it is the same total change spread over $M$ samples.下面這張圖把兩個設定放在同一段訊號上、施加同一個修改，然後把差別量出來。修改是加在係數上的，正如 §9.6.1 所述——把一段音框整體衰減，或是逐頻格的頻譜閘門——而且每一個音框都真的走過 DFT 與 IDFT，這裡沒有任何假設。面板 ① 是前提：兩個設定的 $\sum_m w[n-mM]$，兩條都是平的。面板 ② 才是重點。它畫出每一個音框在這個修改下存活了多少，而且用跟音框本身一模一樣的方式被視窗混合起來：$G[n]=\sum_m a_m\,w[n-mM]/C$，其中 $a_m$ 是第 $m$ 個音框存活下來的比例——對整塊衰減而言就是 $g$ 本身，對門檻而言則是被保留下來的頻格比例。對於「每個音框一個數」的修改而言，這條曲線就是訊號所看到的增益，分毫不差。矩形窗配零重疊時，那條曲線是一道道垂直立面的階梯；Hann 配半重疊時，同樣的總變化量被攤在 $M$ 個取樣點上。下の図は、同じ信号に同じ編集を加えた二つの設定を並べて走らせ、その差を測る。編集は §9.6.1 の述べるとおり係数に対して加えられる。フレームの一塊をまとめて減衰させるか、ビンごとのスペクトルゲートをかけるかである。そしてどのフレームも実際に DFT と IDFT を通るので、ここに仮定はない。パネル ① は前提である。両設定の $\sum_m w[n-mM]$ であり、どちらも平坦である。パネル ② が要点である。各フレームがこの加工をどれだけ生き残るかを、フレーム自身とまったく同じやり方で窓によって混ぜて描く。$G[n]=\sum_m a_m\,w[n-mM]/C$ であり、$a_m$ はフレーム $m$ の生き残った割合である。一塊の減衰なら $g$ そのもの、ゲートなら残したビンの割合である。フレームあたり一つの数で済む加工に対しては、この曲線がそのまま信号の見る利得である。矩形窓で重なり零なら、その曲線は垂直な立ち上がりを持つ階段であり、Hann で半分重ねれば、同じ総変化量が $M$ 標本にわたって引き伸ばされる。

What to look at, in order:建議依序這樣看：順に見ていくとよい点は次のとおりである。

• Start on "none". Panel ① shows both window sums flat at $C=1$ and panels ⑤ shows both errors at the rounding floor, around $10^{-14}$. This is the premise, measured: both settings reconstruct exactly, and the rectangular one does it with ripple identically zero rather than merely $10^{-16}$. Nothing so far favours Hann.先停在「不修改」。面板 ① 顯示兩個視窗總和都平在 $C=1$，面板 ⑤ 顯示兩個誤差都躺在捨入底線上，大約 $10^{-14}$。這就是前提，而且是量出來的：兩個設定都完全重建，而矩形那個的起伏還恰好是零，不只是 $10^{-16}$。到這裡為止，沒有任何一點偏向 Hann。まず「加工なし」に置く。パネル ① は両方の窓和が $C=1$ で平坦であることを示し、パネル ⑤ は両方の誤差が丸めの床、およそ $10^{-14}$ にあることを示す。これが前提であり、しかも測定された前提である。両設定とも完全に再構成し、矩形のほうは振幅が $10^{-16}$ ですらなく厳密に零である。ここまで Hann を選ぶ理由は何もない。
• Switch to "frame gain" and watch panel ②. The edit attenuates every frame whose centre falls in $192 \le n < 320$ — the same instruction given to both settings. The rectangular curve goes from $1$ to $g$ between two adjacent samples and back again $128$ samples later. The Hann curve makes the identical total change, but over $M=32$ samples at each end. The readout prints the largest one-sample change in each, and their ratio.切到「音框增益」，然後看面板 ②。這個修改會把中心落在 $192 \le n < 320$ 的每一個音框衰減掉——兩個設定收到的是同一道指令。矩形那條曲線在相鄰兩個取樣點之間就從 $1$ 掉到 $g$，$128$ 點之後再跳回來。Hann 那條做出完全相同的總變化量，但每一端都攤在 $M=32$ 個點上。讀數會印出兩者各自最大的單點變化量，以及它們的比值。「フレーム利得」に切り替えてパネル ② を見る。この加工は中心が $192 \le n < 320$ に入るフレームをすべて減衰させる。両設定に与えた指示は同一である。矩形の曲線は隣り合う二標本のあいだに $1$ から $g$ へ落ち、$128$ 標本後にまた戻る。Hann の曲線は総変化量こそ同一だが、両端それぞれ $M=32$ 標本に引き伸ばして行う。読み出しは双方の一標本あたり最大変化量と、その比を印字する。
• Compare panels ③ and ④ at the seams. The dotted verticals are the rectangular frame boundaries, one every $L=64$ samples. The red output snaps onto the attenuated level at a boundary; the blue one fades onto it. That snap is the click. Panel ⑤ shows the same thing as the error signal: the red error has a corner at the seam, the blue error rises and falls smoothly through it.比較面板 ③ 與 ④ 的接縫處。那些點狀垂直線是矩形窗的音框邊界，每 $L=64$ 點一道。紅色的輸出在邊界上「啪」地切到衰減後的位準；藍色的是淡進去的。那一下「啪」就是喀聲。面板 ⑤ 用誤差訊號說同一件事：紅色誤差在接縫上有一個折角，藍色誤差則平順地升起又落下。パネル ③ と ④ を継ぎ目で比べる。点線の縦線は矩形窓のフレーム境界であり、$L=64$ 標本ごとに一本ある。赤い出力は境界で減衰した水準へ跳ね移り、青い出力はそこへ溶け込む。その跳ねがクリック音である。パネル ⑤ は同じことを誤差信号で示す。赤い誤差は継ぎ目で角を持ち、青い誤差はそこを滑らかに昇り降りする。
• Read the deviation, not just the jump. For the frame gain the peak $|y[n]-x[n]|$ is the same for both settings — tapering does not make the edit smaller, and it was never going to. What it changes is how the edit arrives. That is the whole content of "graceful": same error, no discontinuity.要讀的是偏差，不只是跳變。對「音框增益」而言，兩個設定的 $|y[n]-x[n]|$ 峰值是一樣的——漸縮並不會讓修改變小，本來也不會。它改變的是修改抵達的方式。這就是「和緩」兩個字的全部內容：同樣的誤差，但沒有不連續。跳びだけでなく偏差も読む。フレーム利得では $|y[n]-x[n]|$ のピークは両設定で同じである。漸減は加工を小さくしないし、もともとそうなる筋合いもない。変わるのは加工の届き方である。「緩やか」という語の内容はそれで尽きている。誤差は同じ、ただし不連続ではない。
• Then try "spectral gate". Now the edit is per bin rather than per frame, which is the case the callout above warns about: the gated frames are no longer a valid STFT of anything. Push the threshold up and the rectangular error grows faster than the Hann error — at the top of the slider the peak error is roughly half again as large — because a bin that passes the gate in one frame and fails it in the next switches at a seam instead of crossfading. The readout prints the percentage of bins each setting keeps; they differ slightly because the gate is referred to each path's own median bin.接著試「頻譜閘門」。這時修改是逐頻格而不是逐音框的，正是上面那段提示警告的情況：被閘掉的那些音框，已經不是任何訊號的合法 STFT 了。把門檻往上推，矩形的誤差會比 Hann 的誤差長得更快——滑桿推到頂時，峰值誤差大約是一倍半——因為一個頻格在這一個音框通過、在下一個音框被砍掉時，它是在接縫上切換，而不是交叉淡接。讀數會印出兩個設定各自保留的頻格百分比；兩者略有差異，因為門檻是對各自路徑自己的中位頻格取的。次に「スペクトルゲート」を試す。こんどは加工がフレーム単位ではなくビン単位になる。上の注意書きが警告しているのはこの場合である。ゲートを掛けたフレーム群は、もはやどの信号の正当な STFT でもない。閾値を上げていくと、矩形の誤差は Hann の誤差より速く育つ。つまみを上端に置けばピーク誤差はおよそ一・五倍になる。あるビンがあるフレームではゲートを通り次のフレームでは落とされるとき、それはクロスフェードせず継ぎ目で切り替わるからである。読み出しは各設定が残したビンの百分率を印字する。閾値を各経路自身の中央値ビンに対してとっているので、両者はわずかに異なる。

One consequence is worth stating because it is the bridge to the standard fix the callout names. If what tapering buys is a blend at every output sample, then the analysis window alone provides it only while the edit is a scalar per frame. A per-bin edit changes each frame's time-domain shape, and the frames can then disagree inside the overlap in ways the analysis taper does not smooth, which is exactly the regime panel ⑤ enters under the spectral gate. Applying a second taper on the way out — the synthesis window of weighted overlap-add, with $\sum_m w_a[n-mM]\,w_s[n-mM]=C$ in place of the plain COLA sum — forces every frame's contribution to fade to zero at its own edges no matter what was done to it in between. That is why WOLA, not COLA, is the condition quoted in modification systems; §9.7 picks the thread up from there.有一個推論值得講出來，因為它正是通往上面那段提示所說的標準解法的橋。如果漸縮買到的是「每一個輸出取樣點都是一個混合」，那麼只靠分析視窗提供這個混合，前提是修改必須是「每個音框一個純量」。逐頻格的修改會改變每個音框在時域裡的形狀，於是各個音框可能在重疊區內以分析端的漸縮平不掉的方式彼此矛盾——那正是面板 ⑤ 在頻譜閘門下進入的狀態。在輸出的路上再加一層漸縮——也就是加權重疊相加的合成視窗，把條件從單純的 COLA 和換成 $\sum_m w_a[n-mM]\,w_s[n-mM]=C$——就能強迫每一個音框的貢獻在自己的兩端淡到零，不管中間對它做了什麼。這就是為什麼在會修改係數的系統裡，被引用的條件是 WOLA 而不是 COLA；§9.7 從這裡接下去。述べておく価値のある帰結が一つある。上の注意書きが名を挙げた標準的な対処への橋がそれだからである。漸減が買うものが各出力標本における混合であるならば、分析窓だけでそれを供給できるのは、加工がフレームごとのスカラーである間に限られる。ビン単位の加工は各フレームの時間領域の形そのものを変えるので、フレームどうしが重なりの内部で、分析側の漸減では均せない形に食い違いうる。スペクトルゲートの下でパネル ⑤ が入っていくのは、まさにその領域である。出口側にもう一枚の漸減を掛けること、すなわち重み付き重畳加算の合成窓を置き、素の COLA の和の代わりに $\sum_m w_a[n-mM]\,w_s[n-mM]=C$ を課すことは、途中で何をされたかに関わらず、各フレームの寄与を自分の両端で零まで落とすことを強制する。加工を行う系で引かれる条件が COLA ではなく WOLA である理由はこれである。§9.7 はここから話を引き継ぐ。

Why the taper works漸縮重疊為什麼有用漸減と重なりがなぜ効くのか

The callout above refused the slide's sentence, and the figure above measured how much worse the untapered setting is. Neither says why the taper works, and that is one short derivation: the curve panel ② plots turns out to be a weighted average, and a weighted average taken with a Hann window is a crossfade. What follows derives it. Nothing below re-measures what the figure above already measured.上面那段提示拒絕了投影片的那句話，上面那張圖則量出了沒有漸縮的設定差多少。兩者都沒有說漸縮為什麼有用，而那只是一小段推導：面板 ② 畫的那條曲線，其實是一個加權平均，而用 Hann 窗取的加權平均就是一次交叉淡化。底下把它推出來；上面那張圖已經量過的東西，底下不再量一次。上の注意書きはスライドのあの一文を退け、上の図は漸減しない設定がどれだけ悪いかを測った。どちらも、漸減がなぜ効くのかは述べていない。それは短い導出一つで済む。パネル ② が描くあの曲線は、実は重み付き平均であり、Hann 窓で取る重み付き平均とは一回のクロスフェードにほかならない。以下はそれを導く。上の図がすでに測ったことを、以下で測り直すことはしない。

"tapered overlap makes things OK" means this: the window tapering to 0 at both ends (tapered), together with neighbouring segments overlapping (overlap) — the two of them together let the signal we reconstruct stay smooth and natural after we have modified each segment's spectrum.「tapered overlap makes things OK」的意思是：窗兩端漸縮到 0（tapered），再加上相鄰段重疊（overlap），這兩者合在一起，讓我們修改每一段的頻譜後，還原出來的訊號仍然平滑自然。「tapered overlap makes things OK」の意味はこうである。窓が両端で 0 まで漸減し（tapered）、さらに隣り合うセグメントが重なる（overlap）。この二つが合わさることで、各セグメントのスペクトルを加工したあとでも、復元される信号は滑らかで自然なままでいられる。

Why modification causes trouble為什麼修改後會出問題加工するとなぜ問題が起きるのか

Without modification, each segment's IFFT returns exactly $x[n]\,w[n - rH]$, and the overlap-add reconstructs perfectly. But once some segments have been modified (multiplying certain bins by 0 during denoising, say, or giving each segment a different gain), each segment's result is no longer a piece of the original signal, and the values of two neighbouring segments need not join up where they meet.不修改時，每段 IFFT 得到的正是 $x[n]\,w[n - rH]$，重疊相加後完全還原。但若修改了某些段（例如降噪時把某些格子乘上 0，或每段的增益不同），每段的結果就不再是原訊號的一部分，相鄰兩段在交界處的值不一定接得起來。加工しなければ、各セグメントの IFFT が返すのはまさに $x[n]\,w[n - rH]$ であり、重畳加算すれば完全に復元される。しかし一部のセグメントを加工すると（たとえば雑音除去である種のビンに 0 を掛ける、あるいはセグメントごとに利得を変える）、各セグメントの結果はもはや原信号の一部ではなくなり、隣り合う二つのセグメントの値は境目で必ずしもつながらない。

How the tapered overlap solves it漸縮重疊如何解決漸減と重なりがどう解決するのか

At synthesis time the output at each sample $n$ is the sum of the segments that cover it. If each segment has been modified by "multiply by a gain $g_r$", the output becomes合成時，每個樣本 $n$ 的輸出是覆蓋它的那幾段相加。若每段做了「乘上增益 $g_r$」這種修改，輸出變成合成時、各標本 $n$ の出力は、そこを覆うセグメントの和である。各セグメントに「利得 $g_r$ を掛ける」という加工を施したとすると、出力は次のようになる。

Because $\sum_r w[n - rH] = 1$, the quantity $\sum_r g_r\,w[n - rH]$ is a weighted average of the segment gains, weighted by the shape of the window. The Hann window falls smoothly from 1 to 0 while the next one rises smoothly from 0 to 1, so the gain that actually acts on the signal passes smoothly from $g_r$ to $g_{r+1}$, just like a crossfade in audio editing.因為 $\sum_r w[n - rH] = 1$，所以 $\sum_r g_r\,w[n - rH]$ 就是各段增益的加權平均，權重是窗的形狀。Hann 窗平滑地從 1 降到 0、下一段平滑地從 0 升到 1，所以實際作用在訊號上的增益會平滑地從 $g_r$ 過渡到 $g_{r+1}$，就像音訊剪輯中的交叉淡化（crossfade）。$\sum_r w[n - rH] = 1$ であるから、$\sum_r g_r\,w[n - rH]$ は各セグメントの利得の重み付き平均であり、重みは窓の形そのものである。Hann 窓は 1 から 0 へなめらかに下がり、次の窓は 0 から 1 へなめらかに上がるので、信号に実際に作用する利得は $g_r$ から $g_{r+1}$ へなめらかに移り変わる。音声編集でいうクロスフェードそのものである。

That $\sum_r w[n - rH] = 1$ is the Hann-at-50% case, which is the case this derivation is about. At 75% overlap the window sum is $C = 2$ — measured as $2.000000000000000$, flat to the last digit — so the gain that acts is $\sum_r g_r\,w / \sum_r w$, still the same weighted average, now normalised by $C$. The $G[n]=\sum_m a_m\,w[n-mM]/C$ that panel ② of the figure above plots is this same curve written that way.那個 $\sum_r w[n - rH] = 1$ 是 Hann 配 50% 重疊的情形，也就是這段推導所談的情形。在 75% 重疊下視窗總和是 $C = 2$——量到 $2.000000000000000$，平到最後一位——實際作用的增益因此是 $\sum_r g_r\,w / \sum_r w$，仍然是同一個加權平均，只是再除以 $C$。上面那張圖的面板 ② 畫的 $G[n]=\sum_m a_m\,w[n-mM]/C$，正是寫成這個樣子的同一條曲線。その $\sum_r w[n - rH] = 1$ は Hann と 50% の重なりの場合であり、この導出が扱っているのはまさにその場合である。75% の重なりでは窓の総和は $C = 2$ であり（$2.000000000000000$ と実測され、最下位の桁まで平坦である）、実際に作用する利得は $\sum_r g_r\,w / \sum_r w$ となる。やはり同じ重み付き平均であり、$C$ で正規化されるだけである。上の図のパネル ② が描く $G[n]=\sum_m a_m\,w[n-mM]/C$ は、この同じ曲線をその形に書いたものである。

Besides, the window's weight is small at both ends, so the flaws a modification creates at each segment's edges — the wrap-around of a circular convolution, for instance — are also pressed down small, and are covered over by the middle of the neighbouring segment.另外，窗的兩端權重很小，每段邊緣因修改產生的瑕疵（例如循環卷積造成的繞回）也被壓得很小，而且正好被相鄰段的中央部分蓋過。さらに、窓の両端では重みが小さいので、加工が各セグメントの端に生じさせる欠陥（たとえば巡回畳み込みによる回り込み）も小さく抑えられ、ちょうど隣のセグメントの中央部によって覆い隠される。

An example: segment $r$ has gain 1 and segment $r+1$ has gain 0 (a mask cuts the whole segment away):例子：第 $r$ 段增益 1、第 $r+1$ 段增益 0（遮罩把整段砍掉）：例：第 $r$ セグメントの利得を 1、第 $r+1$ セグメントの利得を 0 とする（マスクがセグメントをまるごと削り取る場合である）。

The interactive figure互動圖インタラクティブ図

Each segment is given a random gain (simulating a modification that varies with time), and the two approaches are compared by the gain curve that actually acts on the signal and by the output waveform.每段隨機給一個增益（模擬隨時間變化的修改），比較兩種做法實際作用在訊號上的增益曲線與輸出波形。各セグメントに乱数の利得を与え（時間とともに変化する加工を模している）、信号に実際に作用する利得の曲線と出力波形とで二つのやり方を比べる。

The signal in the figure is a sine wave of constant amplitude, and each segment is assigned a random gain (grey dashed), simulating "a modification that varies with time".圖中的訊號是固定振幅的正弦波，每一段被指定一個隨機增益（灰色虛線），模擬「隨時間變化的修改」。図中の信号は振幅一定の正弦波であり、各セグメントには乱数の利得が割り当てられる（灰色の破線）。「時間とともに変化する加工」を模したものである。

• Top (rectangular window, no overlap): the gain that acts (orange) is a staircase of steps, jumping instantly at every seam (red dashed), and the waveform swells and shrinks abruptly with it, which is heard as clicking.上（矩形窗，不重疊）：實際增益（橘線）是一階一階的樓梯，在每個接縫（紅虛線）瞬間跳變，波形也跟著突然變大變小，聽起來會有喀喀聲。上（矩形窓、重なり無し）：実際に作用する利得（橙の線）は一段ずつの階段であり、継ぎ目ごと（赤の破線）に瞬時に跳ぶ。波形もそれに合わせて急に大きく小さくなり、カチカチという音として聞こえる。
• Bottom (Hann window, 50% overlap): the gain that acts is one smooth curve, passing gradually from one segment's gain to the next, and the waveform's amplitude changes naturally.下（Hann 窗，50% 重疊）：實際增益是一條平滑曲線，從一段的增益漸漸過渡到下一段，波形的振幅變化很自然。下（Hann 窓、50% の重なり）：実際に作用する利得は一本のなめらかな曲線であり、あるセグメントの利得から次のそれへ徐々に移り変わる。波形の振幅の変化も自然である。
• Press "gains alternating 1, 0": the most extreme case. The rectangular window gives a square wave like a switch; the Hann window turns it into a smooth undulation, every fade in and fade out spanning half a window length.按「增益 1、0 交替」：最極端的情況。矩形窗是開關般的方波；Hann 窗則變成平滑的起伏，每次淡入淡出都橫跨半個窗長。「利得 1 と 0 を交互に」を押す：最も極端な場合である。矩形窓では開閉器のような方形波になり、Hann 窓ではなめらかな起伏に変わって、フェードインもフェードアウトも毎回窓長の半分にわたる。

This is what the slide's "OK" means: the differences the modification creates between one segment and the next are interpolated smoothly by the shape of the window, instead of being switched over abruptly. It cannot make the modified result perfect, but it can make the flaws inconspicuous. For a cleaner result one can go further and use the synthesis window mentioned above (WOLA), pressing down the head and the tail of each segment a second time at synthesis.這就是投影片說「OK」的意思：修改造成的段與段之間的差異，被窗的形狀平滑地內插起來，而不是硬生生地切換。它不能讓修改後的結果完美，但能讓瑕疵不明顯。若需要更乾淨的效果，可以進一步使用前面提到的合成窗（WOLA），讓每段的頭尾在合成時再被壓低一次。これがスライドのいう「OK」の意味である。加工が生むセグメント間の差は、窓の形によってなめらかに内挿されるのであって、無理やり切り替えられるのではない。加工後の結果を完璧にすることはできないが、欠陥を目立たなくすることはできる。もっと清潔な結果が必要なら、先に述べた合成窓（WOLA）をさらに用いて、各セグメントの先頭と末尾を合成時にもう一度押し下げればよい。

9.7 Summary9.7 總結9.7 まとめ

Exercises習題演習問題

clc; clear; close all;

% Step 1: load audio
[x, Fs] = audioread('guitar4.m4a');
t_audio = (0:length(x)-1) / Fs;

figure; plot(t_audio, x, 'r');
xlabel('Time (s)'); ylabel('Amplitude'); title('Audio Signal');

% Step 2: Hann window, N chosen so Fs/N is around 20-40 Hz
N = 2^10;                                   % DFT length (1024)
w = 0.5 * (1 - cos(2*pi*(0:N-1)'/N));       % periodic Hann window
disp(['Frequency resolution (bin spacing): ', num2str(Fs/N), ' Hz']);

figure; plot(w, 'r');
xlabel('Sample Index'); ylabel('Amplitude'); title('Hann Window');

% Step 3-4: spectrogram with hop M = N/4 (75% overlap)
M = N/4;
X = myspectrogram(x, N, w, M);

num_frames = size(X, 2);
t = (0:num_frames-1) * M / Fs;              % frame times
f = (0:N/2-1) * Fs / N;                     % bin frequencies

% Step 5: display in dB
figure;
image(t, f, 10*log10(X(1:N/2, :)));
axis xy;
xlabel('Time (s)'); ylabel('Frequency (Hz)'); title('Spectrogram');
colormap(hot(256)); colorbar;

function X = myspectrogram(x, N, w, M)
    L = length(x);
    num_frames = floor((L - N)/M) + 1;
    X = zeros(N, num_frames);
    for m = 1:num_frames
        idx = (m-1)*M + (1:N);              % frame indices
        X(:, m) = abs(fft(x(idx) .* w)).^2; % window, FFT, power
    end
end