Image 的 NR (noise reduction)

Webcam 噪點產生的原因

一、影像雜訊的基本來源（ISP 視角）

在 webcam 中，雜訊主要來自：

1. Photon Shot Noise（光子散粒噪聲，與亮度相關）

2. Sensor Read Noise（感測器讀出噪聲）

3. Thermal Noise / Dark Current

4. 高 ISO / 高增益放大造成的隨機噪聲

ISP 的 NR 模組通常在 Demosaic 前後、Color Space 轉換前後分階段執行。

二、2D Noise Reduction（空間域降噪）

1. 核心概念

2D NR 僅利用「單張影像的空間資訊」，根據像素與其鄰近像素的關係，抑制高頻隨機噪聲。

關鍵假設：
雜訊是空間上隨機、不連續的；真實影像內容在局部區域內具有相關性

---

2. 常見演算法原理

（1）Spatial Low-pass Filtering

• Box Filter

• Gaussian Filter

• Median Filter（對椒鹽雜訊有效）

缺點：
→ 容易模糊邊緣與細節

---

（2）Edge-aware Filtering（ISP 常用）

• Bilateral Filter

• Guided Filter

• Edge-preserving Filter

特點：

• 在平坦區域強力降噪

• 在邊緣區域降低濾波強度

---

（3）Frequency-based（部分 ISP）

• 將影像分成：

  • Low-frequency（結構）

  • High-frequency（細節 + 雜訊）

• 對高頻部分進行抑制或重建

---

3. 優缺點總結

項目	說明
優點	不需多幀、即時性高、硬體成本低
缺點	無法區分「細節 vs 雜訊」，容易過度平滑
適用	靜態畫面、亮度較高場景

---

三、3D Noise Reduction（時間域降噪）

1. 核心概念

3D NR 利用「時間維度（多幀）」，比較連續影格中同一像素位置的變化。

關鍵假設：
真實畫面在短時間內變化小；雜訊在幀與幀之間是隨機的

這裡的「3D」＝ X + Y + Time

---

2. 基本原理流程

1. 對當前 Frame 與前一/多個 Frame 做比對

2. 若像素變化小 → 判定為雜訊 → 強力平均

3. 若像素變化大 → 判定為運動/邊緣 → 降低降噪強度

---

3. 常見實作方式

（1）Temporal Averaging（最簡單）

Output = α * Current + (1-α) * Previous

缺點：

• 畫面移動時會產生 motion blur / ghosting

---

（2）Motion-adaptive Temporal NR（主流）

• 先做 Motion Detection / Motion Estimation

• 靜態區域：強 NR

• 動態區域：弱 NR 或只用 2D NR

---

（3）Motion Compensation 3D NR（高階 ISP）

• 類似影片編碼的 Motion Vector

• 對齊後再做 Temporal Filtering

• 成本高，但效果最好

---

4. 優缺點總結

項目	說明
優點	降噪能力遠勝 2D，低光表現明顯提升
缺點	計算量大，可能產生殘影
適用	低照度、靜態或半靜態場景

---

四、2D NR 與 3D NR 的實務搭配（Webcam ISP 常見）

ISP Pipeline 常見順序（簡化）

Sensor → Black Level → Demosaic
       → 2D NR（Edge-aware）
       → Color Correction
       → 3D NR（Temporal）
       → Sharpen
       → Output

為什麼要兩者並用？

• 2D NR：快速處理空間隨機噪聲

• 3D NR：消除低光下的殘留顆粒感

• 3D NR 通常建立在 2D NR 之上，避免殘影被放大

---

五、Webcam 特有的調校重點

1. 低延遲需求

   • 3D NR 不能用太多 frame buffer

2. 臉部優先

   • Face ROI 區域 NR 會更保守，避免「蠟像臉」

3. Sharpen 與 NR 的拉鋸

   • NR 過強 → 再 sharpen → 產生假細節

4. 低成本 ISP

   • 多數 webcam 使用簡化版 motion detection，而非完整 motion compensation

---

六、一句話總結

2D NR 是「單張影像的空間平滑」，
3D NR 是「跨影格的時間平均」，
高品質 webcam 依賴兩者協同調校，而不是單一演算法。