Machine Translated by Google

前言

本書新舊版本的比較
本書新版中進行了大小改動和更正，主要改動如下： 1. 新增第5章隨機梯度下降法。

2. 在關於最小均方（LMS）
算法的第6章（舊第5章）
中，根據Langevin方程和相關的布朗運動對LMS
的統計學習理論進行了重大修改。

3. 關於魯棒性的第 11 章是新的。
4. 第 13 章的後半部分關於非平穩環境中的適應是全新的，致力於增量‑Delta‑Bar‑Delta
(IDBD)
算法和自動步進法。
5. 關於 Wirtinger 微積分和 Langevin 方程的附錄 B 和 F，respec
tively，是新的。
6. 參考書目是新的。
7. 刪除了舊版自適應IIR和復雜神經網絡的章節。

新版引言
自適應濾波器的主題構成了統計信號處理的重要組成部分。每當需要處理在未知統計環境或本質
上不穩定的環境中操作產生的信號時，自適應濾波器的使用提供了極具吸引力的方法與傳統方法設
計的固定濾波器相比，自適應濾波器在性能上有顯著提高，已成功應用於通信、控制、雷達、聲納、
地震學、生物醫學工程等多個領域。其他的。

十
Machine Translated by Google

前言 11

本書的目的

本書的主要目的是發展線性自適應濾波器的各種實現的數學理論。非線性濾波器。當我們說自適應濾波器是
“線性的”時，我們的意思如下：濾波器的輸入輸出映射服從疊加原理，無論何時，在任何特定時刻，濾波器的
參數都是固定的。

線性自適應濾波問題沒有唯一的解決方案。相反，我們有一個以各種遞歸算法為代表的“工
具包”，每個遞歸算法都提供了自己想要的特性。本書提供了這樣一個工具包。

就背景而言，假設讀者已在研究生課程中學習過概率論和數字信號處理的入門課程；通信和控制系統
的本科課程也將是一個優勢。

本書的組織

本書以介紹性章節開始，其中概括性地討論了自適應濾波器的操作和不同形式。該章以歷史註釋結尾，其中包
含的歷史註釋為感興趣的讀者提供了深入了解自適應濾波器豐富歷史的動力源泉。主題。

全書主要章節共 17 章，結構如下：

1.第 1 章介紹的隨機過程和模型。本章強調穩態隨機過程的部分特徵（即二階統計描述）。因此，它是本
章其餘部分介紹的大部分內容的基礎書。

2.第 2 章和第 3 章中討論的維納濾波器理論及其在線性預測中的應用。第 2 章中介紹的維納濾波器定義了

靜止環境的最佳線性濾波器，因此為自適應線性濾波器的研究提供了框架第 3 章討論了線性預測理論，
包括其前向和後向形式及其變體；本章最後介紹了線性預測在語音編碼中的應用。

3.梯度下降法，在第 4 章和第 5 章中介紹。第 4 章介紹了一種稱為最速下降法的舊優化技術的基礎，它是

確定性的；這種方法為迭代提供了框架維納濾波器的評估。與此形成鮮明對比的是，後續章節第 5 章介
紹了隨機梯度下降法的基本原理，該方法非常適合處理非平穩問題；第二種方法的適用性由下式說明推
導最小均方 (LMS) 和梯度自適應格 (GAL) 算法。
Machine Translated by Google

12 前言

4. LMS 算法系列，佔據第 6、7 和 8 章：

‧ 第 6 章首先討論 LMS 算法的不同應用，然後詳細介紹小步長統計理論。

這一新理論植根於非平衡熱力學的 Langevin 方程，對 LMS 算法的瞬態行為提供了相當

準確的評估；提供了計算機模擬以證明該理論的實際有效性。 ‧ 第 7 章和第 8 章擴展了
傳統的 LMS 算法通過對歸一化 LMS 算法、仿射投影自適應濾波算法、頻域和子帶 LMS
自適應濾波算法的詳細處理
進行介紹。）
算法；後面的算法將在下面討論。

5.最小二乘法和 RLS 算法，佔據第 9 章和第 10 章。第 9 章討論最小二乘法，它可以看作是植根於

隨機過程的維納濾波器的確定性對應物。，輸入數據被處理在逐塊的基礎上；由於計算機技術的
不斷改進，過去由於其數值複雜性而被忽視的塊方法正變得越來越有吸引力。第 10 章建立在最
小二乘法的基礎上，希望得到 RLS 算法，其次是其瞬態行為的詳細統計理論。

6.基本問題，第 11 章解決穩健性問題，第 12 章解決有限精度效應問題，第 13 章解決非

平穩環境中的適應問題：
‧ 第 11 章首先介紹了H∞理論，它提供了魯棒性的數學基礎。根據手邊的這個理論，表明
LMS 算法在H∞意義上確實是魯棒的，前提是所選擇的步長參數是小，而當兩種算法都在
面對內部和外部干擾的非平穩環境中運行時，RLS 算法的魯棒性較差。本章還討論了確
定性魯棒性和統計效率之間的權衡。

‧ 第 5 章到第 10 章介紹的線性自適應濾波算法的理論基於連續數學（即無限精度）。出現
了算術。第 12 章討論了 LMS 和 RLS 算法的數字實現中的這些影響。本部分的第二部分
本章專門介紹兩種新算法：首先是增量增量‑條形增量 (IDBD) 算法，它通過矢量化步長參
數擴展了傳統的 LMS 算法，其次是Autostep 方法，它建立在 IDBD 算法的基礎上以實驗
性地制定一個自適應程序，繞過手動調整步長參數的需要。
Machine Translated by Google

前言 13

7.卡爾曼濾波器理論和相關的自適應濾波算法，佔據第 14、15 和 16 章： ‧ 實際上，RLS 算法是著名

的卡爾曼濾波器的特例，在
第 14 章中介紹。卡爾曼濾波器強調的是狀態的概念，如前所述，原來RLS算法是卡爾曼濾波器
的一個特例；而且，當環境靜止時，它還包括維納濾波器作為特例。因此，重要的是我們要很好
地理解卡爾曼濾波器理論，特別是考慮到協方差濾波和信息過濾算法是卡爾曼濾波器的變體。

‧ 第 15 章建立在協方差和信息過濾算法的基礎上，推導出它們各自的平方根版本。更具體地
說，介紹了前數組和後數組的概念，這有助於自適應地制定圍繞脈動數組構建的一類新的過濾
算法其實現涉及使用Givens 旋轉。

‧ 第 16 章致力於介紹另一類新的階遞歸最小二乘格 (LSL) 過濾算法，它再次建立在卡爾曼濾

波器的協方差和信息算法變體之上。階遞歸 LSL 過濾算法的另一個吸引人的特徵是事實上，
它們的計算複雜度遵循線性規律。然而，這些算法的所有優點都是以數學和編碼術語中高度複
雜的框架為代價的。

8.無監督（自組織）自適應，這是本書最後一章的特色，即關於盲反捲積的第 17 章。此處使用術語“盲”
來表示自適應濾波過程是在沒有執行的情況下執行的事實所需響應的幫助。這項艱鉅的任務是通過
利用一個模型的使用來實現的，該模型吸引了以下概念：盲均衡問題。為了解決這個問題，使用循環
平穩性 通信系統的一個固有特徵 來尋找信道輸入的二階統計，以便以無監督的方式均衡信道。
在本章的第二部分中涵蓋，可以是顯式或隱式的。本章的這一部分解
決的是後一種方法在推導出一類盲均衡算法，統稱為 Bussgang 算法。它還包括一種基於最大
熵方法的信息論方法的新盲均衡算法。

本書的主要部分以結語結尾，結語分為兩部分：

‧ 第一部分回顧了前面章節中涵蓋的材料，最後總結了一些關於魯棒性、效率和復雜性的評論，以及如
何
Machine Translated by Google

14 前言

LMS 和 RLS 算法在這三個基本的重要工程問題的背景下具有特色。

‧ 結語的第二部分展望未來，提出一類基於內核使用的非線性自適應濾波算法（扮演計算單元隱藏
層的角色）。(RKHS)，這裡的動機是構建關於機器文獻中發展良好的材料。特別是，注意力集中在內
核 LMS 過濾上，其中傳統的 LMS 算法起著關鍵作用；簡要討論了一種相對較新的自適應過濾思考
方式。

本書還包括有關以下主題的附錄：

‧ 複變量理論 ‧ Wirtinger 微
積分 ‧ 拉格朗日乘數法
‧ 估計理論 ‧ 特徵分析 ‧ 朗之萬方程
‧ 旋轉和反射

‧ 複雜的 Wishart 分佈
在本書的不同部分，使用了這些附錄中提出的基本思想。

輔助材料

‧ 包括詞彙表，包括定義、符號和約定列表、縮寫列表以及書中使用的主要符號列表。 ‧ 文中提及的
所有出版物均編入參考書目。作者姓名和出版年份的文本。建議閱讀部分還包含許多其他參考
資料，這些參考資料已添加以供進一步閱讀。

示例、計算機實驗和問題

本書的不同章節中包含許多示例，以說明所討論的概念和理論。

本書還包括許多計算機實驗，這些實驗是為了說明 LMS 和 RLS 算法的基本理論和應用而開發的。

本書的每一章，除了介紹性的一章，都以旨在做兩件事的問題結束：
Machine Translated by Google

前言 15

‧ 幫助讀者加深對本書所涵蓋材料的理解
章節。
‧ 挑戰讀者擴展本文中討論的理論的某些方面
章節。

解決方案手冊

本書有一個配套的解決方案手冊，提供了本書第 1 章到第 17 章末尾所有問題的詳細解決方案。出版商。

可以通過以下方式訪問所有計算機實驗的 MATLAB 代碼
訪問網站 http://www.pearsoninternationaleditions.com/haykin/。

兩個值得注意的符號
通常，負一的平方根用斜體符號j 表示，微分運算符（用於微分和積分）用斜體符號d.表示，各有各的方式；因
此它是不正確的在符號中使用斜體符號。在整本書中，羅馬符號 j 和羅馬符號 d 分別用於表示負一的平方根和
微分運算符。

本書的使用

本書的編寫水平適合在自適應信號處理研究生課程中使用。

希望本書也能對工業界和政府機構的研究人員和工程師有所幫助，解決與自適應濾波器的理論和應用
相關的問題。

西蒙海金
安大略省安卡斯特，
加拿大
Machine Translated by Google

致謝

我要感謝幾位在撰寫本書時以某種形式幫助過我的同事：

1. 加利福尼亞州帕薩迪納市加利福尼亞理工學院 (Caltech) 電氣工程系的 Babak Hassibi 教授通讀了

第 11 章關於魯棒性的內容，並提出了許多意見和建議。

2. Ashique Rupam Mahmood 先生，加拿大艾伯塔省埃德蒙頓市艾伯塔大學計算機科學系，教我他新

開發的程序 Autostep 方法的優點，該方法無需手動調整即可訓練自適應過濾算法，並且用於貢獻實
驗以及第 13 章的章末習題。

3. 佛羅里達州蓋恩斯維爾佛羅里達大學電氣與計算機工程系 Jose Principe 教授，感謝他在 Epilogue

中對核最小均方 (LMS) 算法的許多貢獻。

4. 美國華盛頓特區天主教大學電氣工程與計算機科學系 Phillip Regalia 教授對自適應濾波的持續興趣

以及對第 16 章關於階遞歸最小二乘格濾波的問題 10 的銳化。

5. 加拿大艾伯塔省埃德蒙頓市艾伯塔大學計算科學系的 Richard Sutton 教授向我介紹了他新穎的增量

delta bar‑delta (IDBD) 算法。

6. Peyman Setoodeh 博士，加拿大安大略省漢密爾頓市麥克馬斯特大學電氣與計算機工程系，負責第

6 章有關 LMS 算法的一些新計算機實驗。

7. 希臘雅典大學信息學和電信系 Sergios Theodoridis 教授在 Epilogue 中對內核 LMS 算法的屬性和

局限性提出了許多建設性意見。

8. Weifeng Liu 博士，曾供職於佛羅里達大學，現供職於伊利諾伊州芝加哥的金融公司 Jump Trading,

LLC，對 Epilogue 中的內核 LMS 算法提出了許多評論，並為其中的計算機實驗做出了貢獻。

我感謝他們所有人通過他們的個人貢獻豐富了本書。

16
Machine Translated by Google

致謝 17

我還要感謝韋斯利·莫里森 (Wesley Morrison) 從頭到尾對本書的手稿進行了校對，在此過程中他

提出了許多問題。

接下來，轉向 Pearson，我衷心感謝 Irwin Zucker 作為我和出版商之間的紐帶，他以無限的精力

和熱情。我還要感謝 Alice Dworkin，在過去的 15 年裡（可能還有更多），並且一直以來都是愉快的關
係。還要感謝高級編輯 Andrew Gilfillan 和執行編輯 Scott Disanno 的友好幫助和持續支持。

最後但並非最不重要的一點是，我要感謝 Pavithra Jayapaul 為以最佳形式出版本書所做的不懈

努力。

西蒙海金
安大略省安卡斯特，
加拿大

出版商感謝 SSN 工程學院的 S. Sakthivel Murugan 審閱國際版的內容。

Machine Translated by Google
Machine Translated by Google

背景和預覽

1.過濾問題

術語估計器或過濾器通常用於指代設計用於從噪聲數據中提取有關規定數量的信息的系統。具有如此廣泛的目標，估
計（過濾）
理論在許多不同領域得到應用：通信，雷達、聲納、導航、地震學、生物醫學工程和金融工程等。發射器的功
能是轉換由數字源（例如，a計算機）
轉換為適合通過信道傳輸的波形。從兩種主要類型的損傷：

‧符號間干擾。理想情況下，線性傳輸的脈衝響應
介質定義為

h1t2 = Ad1t ‑ t2, (1)

數字信息 的使用
源 者
信息

消息信號 估計消息信號

發射機 接收者

渠道
發射信號 接收信號

通訊系統

圖 1 通信系統框圖。

19
Machine Translated by Google

20 背景和預覽

其中t表示連續時間， h(t)表示脈衝響應， A是幅度縮放因子， d(t)是 Dirac delta 函數（或

單位脈衝函數）， t表示過程中產生的傳播延遲通過信道傳輸信號。等式 (1) 是理想傳輸介質
的時域描述。等效地，我們可以通過寫作 (2) 在頻域中描述它，其中 j 是 –1 的平方根， v表示角
頻率， H(jv)是傳輸介質的頻率響應，exp(·)代表指數函數。在實踐中，任何物理信道都不可能
滿足理想化時間所體現的嚴格要求(1) 或等式 (2) 中提出的等效頻域描述：我們能做的最好的

H1jv2 = A exp1 ‑jvt2, 事

情是在表示基本頻譜內容的頻帶上近似等式 (2) 在數字通信系統中，這個信道損傷會引起符號

間干擾 連續脈衝（代表 1 和 0 的傳輸序列）
相互混淆，結果它們不再可區分。

每個通信通道的輸出端都存在某種形式的噪聲。噪聲可以是系統內部的，例如接收器前端放大器
產生的熱噪聲，也可以是系統外部由於乾擾而產生的噪聲。來自其他來源的信號。

兩種減損的最終結果是在信道輸出端接收到的信號是在系統輸出端傳輸給用戶的信號的噪聲和失真版
本。

作為涉及使用濾波器理論的另一個例子，考慮圖2 中描述的情況，它顯示了一個連續時間動態系
統，其在時間t的狀態由多維向量x(t) 表示。x (t)通常受到系統誤差。由於x(t)是隱藏的，過濾問題變得複
雜，唯一可以觀察到的方法是通過間接測量，其方程是狀態x(t)本身的函數。此外，測量方程本身不可避
免地會受到噪聲的影響。圖 2 中描繪的動力系統可能是一架飛行中的飛機，在這種情況下，飛機的位置
和速度構成了狀態 x ( t)的元素，而測量系統可能是跟踪雷達。

狀態 觀察
y(t) 狀態估計
動力系統 x(t) 測量系統 估算器
^

x(t)

系統 測量 先驗信
錯誤 錯誤 息

圖 2 框圖描述了狀態估計中涉及的組件，即xn1t2。
Machine Translated by Google

第 1 節過濾問題 21

在區間 [0, T] 和給定先驗信息的情況下，要求估計動態系統的狀態x(t) 。

剛才描述的兩個例子說明的估計理論本質上是統計的，因為不可避免地存在噪聲或
系統誤差，這些誤差會污染正在研究的系統的運行。

三種基本的估計

三種基本的信息處理操作是過濾、平滑和預測，其中每一種都可以由估計器執行。

‧過濾是一種操作，涉及通過使用直到並包括 t 的測量數據來提取有關時間t的感興趣數量的信息。 ‧平
滑是後驗（即事後）
估計形式，因為在之後測量的數據感興趣的時間用於估計。具體來
說，時間t 的平滑估計是通過使用在區間 [0, t ] 上測量的數據獲得的，其中t < t。因此存在t － t的延
遲 參與計算平滑估計。

‧預測是估計的預測方面。它的目的是通過使用直到並包括時間t的測量數據，得出有關
未來某個時間t + t （對於某些t > 0）
感興趣的數量會是什麼樣子的信息.

從圖中可以看出，過濾和預測都是實時操作，而平滑不是。實時操作是指根據現有數據計算興趣估計的操作。

在時間t用於過濾的可用數據跨度

時間
噸
起源

（A）

在時間t平滑時使用的可用數據跨度

時間
噸 噸
起源

（二）

在時間t + t用於預測的可用數據范圍

時間
噸 時間 +時間
起源

（C）

圖 3 說明了三種基本的估計形式：(a) 過濾；(b) 平滑；(c) 預測。

Machine Translated by Google

22 背景和預覽

2. 線性最優濾波器

我們可以將濾波器分類為線性或非線性。如果濾波器輸出的濾波、平滑或預測量是應用於濾波器輸入的觀測值的線性
函數，則稱濾波器是線性的。

在解決線性濾波問題的統計方法中，我們假設有用信號和不需要的加性噪聲的某些統計參數（即均值和相關函
數）
的可用性，並且要求設計具有噪聲的線性濾波器數據作為輸入，以便根據一些統計標準將噪聲對濾波器輸出的影
響最小化。響應和實際濾波器輸出。對於固定輸入，得到的解決方案通常稱為維納濾波器，據說它是最佳的均方誤差
意義。誤差信號的均方值與線性濾波器可調參數的關係圖稱為誤差性能表面。

維納濾波器不足以處理信號和/或噪聲的非平穩性是固有問題的情況。問題出現在卡爾曼濾波器中，它是一個
功能強大的系統，具有廣泛的工程應用。

線性濾波器理論，包括維納和卡爾曼濾波器，在連續時間和離散時間信號的文獻中得到了很好的發展。信號
處理設備，我們在實踐中發現離散時間表示通常是首選方法相應地，在後續的章節中，我們只考慮維納和卡爾曼濾波
器的離散時間版本。輸出信號，以及濾波器本身的特性，都是在離散的瞬間定義的。瞬間。沒有損失在此轉換過程中
會產生信息，當然，我們滿足眾所周知的採樣定理，根據該定理，採樣率必須大於連續時間信號最高頻率分量的兩倍。
因此，我們可以表示連續‑時間信號u(t)由序列u(n), n = 0, ;1, ;2, . . . 為方便起見，我們將採樣週期歸一化為單位，這
是我們在整本書中遵循的做法。

3.自適應過濾器

維納濾波器的設計需要有關要處理的數據的統計信息的先驗信息。

然而，當此信息不完全已知時，可能無法設計維納濾波器，否則設計可能不再是最佳的。在這種情況下，我們可以使用
的一種直接方法是“估計和插入”
程序。
Machine Translated by Google

第 3 節自適應濾波器 23

是一個兩階段過程，濾波器首先“估計”相關信號的統計參數，然後將如此獲得的結果“插
入”到非遞歸公式中以計算濾波器參數。缺點是需要過於復雜和昂貴的硬件。為了減輕這個
限制，我們可以使用自適應濾波器。我們所說的這樣一個系統是指一種自我設計的系統，因
為自適應濾波器依賴於其在遞歸算法上的操作，這使得濾波器有可能在環境中令人滿意地
執行在無法獲得相關信號特徵的完整知識的情況下。該算法從一些預先確定的初始條件集
開始，代表我們對環境的了解。然而，在靜止環境中，我們發現在算法的連續自適應循環之後
它會收斂到某種統計意義上的最優維納解。在非平穩環境中，該算法提供跟踪能力，因為它
可以跟踪輸入數據統計中的時間變化，前提是變化足夠慢。

作為自適應濾波器的參數從一個自適應循環更新到下一個自適應循環的遞歸算法的應
用的直接結果，參數變得依賴於數據，在它不服從疊加原理的意義上。

儘管有此屬性，自適應濾波器通常被分類為線性或非線性。

在線性自適應濾波器的操作文獻中已經開發了各種各樣的遞歸算法。

‧收斂速率。這被定義為算法所需的自適應循環數，以響應固定輸入，以“足夠接近”
收
斂到均方誤差意義上的最佳維納解。收斂速度快允許算法快速適應未知統計的靜止環
境。

‧失調。對於感興趣的算法，此參數提供了均方誤差最終值（在一組自適應濾波器上取平
均值）
偏離維納解的量的定量度量。自適應濾波算法在非平穩環境，算法需要跟踪環境
中的統計變化。 ‑算法噪聲引起的狀態波動。魯棒性。為了使自適應濾波器具有魯
棒性，小擾動（即具有小能量的擾動） 只能導致小的估計誤差。到過濾器。

‧計算要求。這里關注的問題包括(a) 完成算法的一個完整自適應循環所需的運算次數（即乘
法、除法和加法/減法），(b) 內存大小
Machine Translated by Google

24 背景和預覽

存儲數據和程序所需的位置，以及 (c)在計算機上編寫算法所需的投資。例如，具有高度模塊化、並行性或併發
性的結構的算法非常適合使用非常大規模的實現集成 (VLSI)錯誤，
而這些錯誤又是由輸入數據的模數轉換和內部計算的數字表示引起的。

通常，後一種量化誤差的來源會造成嚴重的設計問題。特別是，有兩個基本問題值得關注：數值穩定性和數值
精度。數值穩定性是自適應濾波算法的固有特性。另一方面在其數字實現中，由數據樣本和濾波器係數的數字
表示中使用的位數（即二進制數字）
決定。

這些因素，以他們自己的方式，也進入了非線性自適應濾波器的設計，除了我們現在不再有維納濾波器形式的
明確定義的參考系這一事實。可能收斂的非線性濾波算法到局部最小值，或者希望是錯誤性能表面上的全局最小值。

4. 線性濾波器結構

線性自適應濾波算法的操作涉及兩個基本過程：(1)設計用於響應輸入數據序列產生輸出的濾波過程和 (2)自適應過
程，其目的是提供一種機制過濾過程中使用的一組可調參數的自適應控制。

在此基礎上，我們可以將線性濾波器分為有限持續時間脈衝響應（FIR）
和無限持續時間脈衝響應（IIR）
濾波
器，它們分別具有有限記憶和無限長但衰落記憶的特徵。

具有有限記憶的線性濾波器
在具有有限內存的自適應濾波器的上下文中，三種類型的濾波器結構各不相同：

1. FIR 濾波器。也稱為抽頭延遲線濾波器或橫向濾波器， FIR濾波器由三個基本元件組成，如圖 4 所示：(a)單

位延遲元件， (b)乘法器， (c)加法器 濾波器中使用的延遲元件的數量決定了其脈衝響應的有限持續時間。
Machine Translated by Google

第 4 節線性濾波器結構 25

圖 4 FIR 濾波器。

圖中顯示為M ，通常被稱為濾波器階數。在這個圖中，每個延遲元素都由單位延遲算子z －1標識。結果輸出為u(n

－ 1)。作用濾波器中的每個乘法器都是將抽頭輸入（它所連接的）
乘以一個稱為抽頭權重的濾波器係數。第 k 個 ‑1
抽頭輸入u(n – k) 產生w M。星號表示複數共軛，假設抽頭輸入和抽頭權重都是複數。濾波器中加法器的綜合作用
是對各個乘法器輸出求和，並產生濾波器的整體響應。

* u(n – k)，其中wk是相應的抽頭權重， k = 0, 1, .
k ,

對於所示的 FIR 濾波器，輸出由下式給出

M.
w ku
* ( n ‑ k)。
y(n) =一個 (3)
k=0

等式 (3) 被稱為有限卷積和，因為它將濾波器的有限持續時間脈衝響應w與濾波器輸入u(n)進行卷積以產生濾波
器輸出y(n)。 *
,

2. Lattice predictor. lattice predictor具有模塊化結構，因為它由許多單獨的階段組成，每個階段都具有

lattice 的外觀 ‑ 因此名稱“lattice”
作為結構描述符。預測器由 M組成階段；數字M稱為預測器順序。數據）

* 1n ‑ 12
fm 1n2 = fm‑1 1n2 + k mbm‑1 (四)

bm 1n2 = bm‑1 1n ‑ 12 + km fm‑1 1n2, （五）

Machine Translated by Google

陣
點
級
多
圖
5器。
波
濾

26
Machine Translated by Google

第 4 節線性濾波器結構 27

其中m = 1、2、... , M, M是最終的預測階數。變量fm(n)是第m個前向預測誤差， bm (n)是第m個後向預測誤

差。係數km稱為第m個反射係數。fm (n)定義為輸入u (n)與其一步預測值之差；後者基於m個過去輸入u(n ‑1),. m的
集合。相應地，後向預測誤差bm( n)定義為輸入u(n – m) 與其基於m 個“未來”
輸入集u(n) , . , u(n – m + 1) 的“後
向”
預測之間的差異。

考慮到圖中第 1 階段的輸入條件，我們有

f0 1n2 = b0 1n2 = u1n2, (6)

其中u(n)是時間n 的格預測器輸入。因此，從等式 (6) 的初始條件開始，給定反射係數集k1 , k2 , , kM，我們可以確定
最終的輸出對fM (n)和bM(n)通過點陣預測器逐階段移動。 ..

對於一個相關的輸入序列u ( n) , u (n – 1 ) , . , bM(n)形成一個不相關的隨機變量序列。而且，這兩個隨機變
量序列之間存在一一對應關係如果給定其中之一，我們就可以唯一地確定另一個。因此，可以使用後向預測誤差b0
(n)、 b1 (n)、...、 bM(n)的線性組合來提供一些期望響應d(n) 的估計，如圖5 的下半部分所示。d (n)與由此產生的
估計之間的差異表示估計誤差e(n) 。

自然地，我們可以使用原始輸入序列u(n), u(n – 1), . . , u(n – M) 直接產生期望響應d(n)的估計值。然而，該圖是具有

簡化估計中使用的抽頭權重h0 、 h1和 tion 誤差的計算的優點。

. . , hM通過利用相應後向謂詞的不相關性質

3. 脈動陣列。脈動陣列代表並行計算網絡，非常適合映射許多重要的線性代數計算，例如矩陣乘法、三角化和
反向替換。兩種基本類型的處理元素可以在脈動陣列中區分：邊界單元和內部單元。它們的功能分別如圖 6(a) 和 6(b)
所示。輸出等於輸入u除以存儲在單元中的數r 。內部單元的功能是雙重的： (a) 將輸入s （從頂部輸入）
乘以存儲在
單元格中的數字r ，從第二個輸入（從左側輸入）
中減去乘積rs ，從而產生差值u – rs作為從單元的右側輸出，並且 (b)
將第一個輸入s向下傳輸而不改變。

例如，考慮圖 7 中所示的 3×3 三角形陣列。此收縮陣列涉及邊界和內部單元的組合。

y = R ‑塗, (7)
‑T TT.R的元素是con
其中 R 是三角形陣列的各個單元格的轉置矩陣 R 帳篷的逆。
Machine Translated by Google

28 背景和預覽

輸入
z

輸入 r 輸入 r 輸出
你 你 你‑你

y=u/r 秒

輸出 輸出

（A） （二）

圖 6 收縮陣列的兩個基本單元：(a) 邊界單元；(b) 內部單元。

u1 r11

u2 0 r12 r22

u3 0 0 r13 r23 r33

y1 0 0

y2 0

y3

圖 7 三角脈動陣列為例。

圖中的陣列旨在提供流水線化方程式 (7) 給出的計算所需的延遲。

如本文所述，脈動陣列架構提供了模塊化、本地互連以及高度流水線化和同步並行處理的
理想特徵；
Machine Translated by Google

第 4 節線性濾波器結構 29

具有無限內存的線性濾波器
我們注意到圖 4 的結構、圖 5 的基於點陣預測器的聯合過程估計器和圖 7 的三角收縮陣列
具有共同的特性：它們三個的特徵在於脈衝響應為有限持續時間。換句話說，它們是 FIR 濾
波器的示例，其結構僅包含前饋路徑。另一方面，圖 8 所示的結構是 IIR 濾波器的示例。

輸入 + 輸出
G G
–

z‑1

G a1 b1 G

z‑1

G a2 b2 G

G 上午‑ 1 bM ‑1 G

z‑1

是 bM

圖 8 IIR 濾波器，假設為實值數據。
Machine Translated by Google

30 背景和預覽

IIR 濾波器與 FIR 濾波器的區別在於是否包含反饋路徑。

實際上，正是反饋的存在使 IIR 濾波器的脈衝響應持續時間無限長（即進入振盪），除非在選擇反
饋係數時採取特殊預防措施。相比之下，FIR 濾波器是固有穩定。線性自適應濾波器的設計。

5. 線性自適應濾波器的開發方法

線性自適應濾波問題沒有唯一的解決方案。相反，我們有一個以各種遞歸算法為代表的“工具
包”，每個算法都提供了自己想要的特性。首先，要了解各種算法的能力和局限性自適應過濾算法，
其次，在為手頭的應用程序選擇合適的算法時使用這種理解。

基本上，我們可以確定兩種不同的方法來推導線性自適應濾波器操作的遞歸算法。

隨機梯度下降法

隨機梯度方法使用抽頭延遲線或 FIR濾波器作為實現線性自適應濾波器的結構基礎。均方誤差（即
所需響應與 FIR 濾波器輸出之間的差值的均方值). 這個成本函數恰好是 FIR 濾波器中抽頭權重的
二階函數。‑未知抽頭權重的平方誤差可以看作是多維拋物面的形式（即“打孔碗” ） 具有唯一定
義的底部或最小點。如前所述，我們將此拋物面稱為誤差性能表面；對應於表面最小點的抽頭權重
定義了最佳維納解。

顧名思義，為了開發一種使用隨機梯度方法更新自適應 FIR 濾波器的抽頭權重的遞歸算法，

我們需要從隨機成本函數開始，即誤差信號的瞬時平方值，定義為外部提供的期望響應與FIR濾波
器對輸入信號的實際響應之間的差異。濾波器，我們得到一個自然隨機的梯度向量。隨著走向最優
的願望，沿著“負”方向進行自適應梯度向量。如下：

點擊@重量 點擊@重量 速度

£更新向
量≥=£舊向量≥
+ £學習@參數≥
£ tap@輸入向量
* ≥ *錯誤信號b。
Machine Translated by Google

第 6 節自適應波束形成 31

學習率參數確定執行適應的速率。
如此描述的遞歸算法稱為最小均方 (LMS) 算法，該算法在計算方面簡單但性能有效。

最小二乘法
開發線性自適應濾波算法的第二種方法是基於最小二乘法。根據這種方法，我們將定義為加
權誤差平方和的成本函數最小化，其中誤差或殘差本身定義為一些期望的響應和實際濾波
器輸出之間的差異。與隨機梯度的方法不同，這種最小化是使用代數矩陣操作實現的，從而
產生可以用文字表達的更新規則，如下所示：

點擊@體重 點擊@體重
°更新矢
量¢=°舊矢量¢+增益矢量b * 1innovation2，
其中創新是在更新時放入過濾過程的“新”信息。所描述的自適應過濾算法稱為遞歸最小二乘法(RLS)
算法。第二種算法的一個顯著特性是其收斂速度快，這是以增加計算複雜性為代價的。

線性自適應濾波算法的兩個系列
LMS 和 RLS 算法構成了兩個基本算法，圍繞每個算法制定了一個算法家族。在每個家族中，
自適應濾波算法在配置濾波結構的方式上彼此不同。自適應所使用的結構執行參數時，每個
系列中的算法都繼承了植根於 LMS 和 RLS 算法的某些屬性。具體來說：

基於 LMS 的算法是獨立於模型的，因為沒有 st
在推導它們時所做的統計假設。
另一方面，基於 RLS 的算法依賴於模型，因為它們的推導
假設使用多元高斯模型。

我們在這裡所做的區分對算法的收斂速度、跟踪和魯棒性具有深遠的影響。

6. 自適應波束成形

到目前為止討論的自適應濾波方法和結構都是時間類型的，因為濾波操作是在時域中執行
的。空間中的點以“收聽”
來自遠處源的信號。實際上，傳感器提供一種在空間中對接收到的
信號進行採樣的方法。
Machine Translated by Google

32 背景和預覽

當傳感器均勻地位於一條直線上時，空間濾波器中的數據快照所起的作用類似於特定時刻 FIR濾
波器中存在的一組連續抽頭輸入的作用。

涉及使用陣列信號處理的重要應用包括：

‧雷達，其中傳感器由天線元件（例如，偶極子、喇叭或開槽波導）組成，這些天線元件響應入
射電磁波。波的，並提取有關源的信息。聲納，學習傳感器由水聽器組成，設計用於響應入射
聲波和信號處理要求的性質類似於雷達中的要求。

‧語音增強，其中傳感器由麥克風組成，要求是，例如，在存在背景噪音的情況下收聽所需說話
者的聲音。

在這些應用中，我們談到波束成形，其目的是區分信號和噪聲的空間特性。天線被設計成形成筆形
波束，以便接收從特定方向輻射的源信號並衰減來自特定方向的信號其他沒有興趣的方向。能量。

圖 9 顯示了使用相同傳感器線性陣列的自適應波束形成器的框圖。假設為基帶形式的傳感
器輸出被單獨加權，然後求和以產生整體波束形成器輸出。

術語“基帶”
是指源在其中運行的原始頻帶。

‧控制能力，目標（源）
信號始終受到保護 ‧干擾消除，使輸出信噪比最大化。

滿足這些要求的一種方法是最小化波束形成器輸出的方差（即平均功率），受限於在自適應過程
中，M×1 權重向量 w(n )滿足條件

w H1n2 s1u2 = 1 對於所有n和u = ut ， (8)

其中s(u)是一個M×1的導向向量，上標H表示Hermitian轉置（即轉置結合复共軛），复共軛。電
角u = ut的值由下式確定目標的方向。角度u本身是通過將傳感器 0 視為參考點來測量的。

轉向矢量對u的依賴性使用關係式 (9) 進行定義

T.
s1u2 = 31,e ‑ju子，丙， 電‑j1M‑12u 4 .
Machine Translated by Google

第 6 節自適應波束形成 33

可調重量
陣列的
傳感器

w* (n) 0

瓦*
(n)
1個

輸出
瓦*
2個 (n)
G
瓦*
3個
(n)

瓦*
四 (n)

自適應控
制算法

操舵
載體
小號（你）

圖 9 五個傳感器陣列的自適應波束形成器。傳感器輸出（以基帶形式）
是複數值；因此，
權重是複數值。

令f表示平面波的實際入射角，相對於線性陣列的法線測量。然後，從圖 10 中，我們很容易看到

2pd
u = sinf, ‑p> 2 ⋯ f ⋯ p> 2, （十）
升

其中d是陣列相鄰傳感器之間的間距， l是入射波的波長。f限制在[‑π/2, π/2]範圍內， u的允許值位於

該範圍內range [ ‑π, π] ，我們從式（10）
中發現， d必須小於l/2，這樣u和f的值之間存在一一對應關
係，沒有歧義。因此，l/2 可被視為採樣定理的空間模擬。
Machine Translated by Google

34 背景和預覽

事件平面

波浪

傳感器 0

空間延遲d sin f

法向陣列

傳感器 1

線的
陣列

圖 10 平面波撞擊線性陣列時產生的空間延遲。

輻射方向圖是波束形成器的輸出功率與測量方向的關係圖。

在等式 (8) 中施加信號保護約束可確保，對於規定的觀察方向u = ut ，陣列的響應保持不變

（等於統一），無論將什麼值分配給權重向量 w 的元素。一種最小化波束形成器輸出方差的算
法，受制於
Machine Translated by Google

第 7 節四類應用程序 35

這種約束被稱為最小方差無失真響應 (MVDR) 波束形成算法。請注意，施加信號保護約束會將可用的自由度數減少到

M ‑ 2，其中M是傳感器的數量因此，MVDR 算法產生的獨立零值的數量（即可以消除的獨立干擾的數量）
為M ‑ 2。

7. 四類申請

自適應濾波器在未知環境中令人滿意地運行並跟踪輸入統計數據的時間變化的能力使自適應濾波器成為信號處理和控
制應用的強大設備。、控制、雷達、聲納、地震學和生物醫學工程。雖然這些應用在本質上是完全不同的，然而，它們有
一個共同的基本特徵：一個輸入向量和一個期望的響應被用來計算一個估計誤差，這個估計誤差又被用來控制一組可
調濾波器係數的值. 過濾以提取所需響應的方式出現。在這種情況下，我們可以區分四種基本類別的自適應過濾應用，
如圖 11 所示。

u = 應用於自適應濾波器的輸入； y = 自適應濾
波器的輸出； d = 期望的響應； e = d
– y = 估計誤差。

四個基本類別的自適應濾波應用程序的功能描述如下：

I.識別[圖 11(a)]。數學模型的概念是科學和工程的基礎。在處理識別的應用類別中，自適應濾波器用於提供表示最
佳擬合的線性模型（設備和自適應濾波器由相同的輸入驅動。設備輸出為自適應濾波器提供所需的響應。如果
設備本質上是動態的，則模型將隨時間變化。

II.逆向建模[圖 11(b)]。在第二類應用中，自適應濾波器的功能是提供一個逆向模型，代表對未知噪聲設備的最佳擬
合（在某種意義上） 。在在線性系統的情況下，逆模型的傳遞函數等於設備傳遞函數的倒數（逆） ，這樣兩者
的組合構成了理想的傳輸介質。輸入構成了自適應濾波器的所需響應。
Machine Translated by Google

你
自適應濾波
器
– 是

電子
G
+ d

系統輸入 系統輸出
植物

（A）

你
系統輸入 植物
Adaptive 自適應濾 系統輸出
波器 Filter

– 是

電子
G
+d

延遲

（二）

系統輸出

d 2
+
你 是
電子

隨機的 系統輸出1
信號
延遲
自適應濾波
器 – G

（C）

初級信號

+d
你 是 電子

參考信號 自適應濾波 系統輸出

器 – G

(四)
圖 11 自適應濾波應用的四個基本類別：(a) I 類：識別；(b) II 類：逆向建模；(c) III 類：預測；(d) IV 類：
干擾消除。

36
Machine Translated by Google

第 7 節四類應用程序 37

III.預測[圖 11(c)] 這裡，自適應濾波器的功能是提供隨機信號當前值的最佳預測（在某種意義

上）。
因此，信號的當前值用於自適應濾波器的期望響應。信號的過去值提供應用於濾波器的輸
入。根據感興趣的應用，自適應濾波器輸出或估計（預測） ) 錯誤可以作為系統輸出。

IV.干擾消除[圖 11(d ) ] .某種意義。主要信號作為自適應濾波器的期望響應。參考（輔助）

信號被
用作濾波器的輸入。在這種情況下提供主要信號信息承載信號分量微弱或基本上檢測不到
的一種方式。

表 1 列出了說明自適應濾波應用的四個基本類別的具體應用。列出的應用來自控制系統、地震學、
心電圖、通信和雷達領域。

表 1 自適應濾波器的應用

自適應濾波應用類別 目的
一、身份證明 系統識別 給定一個未知的動態系統，系統識別的目的是設計一個自適應
濾波器來提供對系統的近似。

分層地球建模 在勘探地震學中，開發了地球的分層模型來揭示地球表面的複雜性。

II. 逆向建模 均衡 給定未知脈衝響應的信道，自適應均衡器的目的是對

信道輸出進行操作，使得信道和均衡器的級聯連接提供
對理想傳輸介質的近似。

三、預測 預測編碼 自適應預測用於開發感興趣信號（例如，語音信號）的模

型；而不是直接對信號進行編碼，在預測編碼中，預測誤
差被編碼用於傳輸或存儲。

通常，預測誤差的方差小於原始信號 因此是改進編碼
的基礎。

頻譜分析 在此應用中，預測建模用於估計感興趣信號的功率譜。

（繼續）
Machine Translated by Google

38 背景和預覽

表 1 自適應濾波器的應用（續）

自適應濾波應用類別 目的

四、干擾消除 降噪 自適應噪聲消除器的目的是以自適應控制的方式從接收到的信號中減去噪
聲，從而提高信噪比。也用於心電圖。

波束形成 波束形成器是一種空間濾波器，由具有可調權重（係數）
的天
線元件陣列組成。
自適應波束形成器的雙重目的是自適應地控制權重，以消除從未知方向
撞擊陣列的干擾信號，同時為感興趣的目標信號提供保護。

8. 歷史記錄

要了解一門科學，就必須了解它的歷史。
奧古斯特·孔德 (1798–1857)

我們通過對與本書主題密切相關的三個領域的發展進行簡要的歷史回顧來結束本介紹性章節：線性估計理論、線性自
適應濾波器和自適應信號處理應用。

線性估計理論

線性估計（濾波器）
理論 1 發展的最早刺激顯然是由天文學研究提供的，在這些研究中，行星和彗星的運動是通過使
用望遠鏡測量數據來研究的。被用來最小化各種誤差的函數可以歸因於伽利略1632年伽利略。然而，線性估計理論的
起源歸功於高斯，他在1795年18歲時發明了最小二乘法來研究天體的運動（ Gauss，1809）。然而，在19世紀初，關
於最小二乘法的實際發明者存在相當大的爭議。爭議的產生是因為高斯沒有在當年發表他1795年的發現；1805年由勒
讓德首次發表，他獨立發明了該方法(Legendre, 1810) .

Kolmogorov、Krein 和 Wiener 在 1930 年代末和 40 年代初對隨機過程中的最小均方估計進行了首次研究

1 有關線性估計的註釋受到以下評論文章的影響：Sorenson (1970)、Kailath (1974) 和 Makhoul

(1975)。
Machine Translated by Google

第 8 節歷史註釋 39

(Kolmogorov, 1939; Krein, 1945; Wiener, 1949)。預計在 140 年後）

高斯問題與 Kolmogorov、Krein
和 Wiener 處理的問題之間。

Kolmogorov 受到 Wold 關於離散時間平穩過程的一些早期工作的啟發（Wold，1938），開發了

對離散時間隨機過程的線性預測問題的綜合處理。Kerin 指出了 Kolmogorov 的結果與 Szegö 的一些
早期工作的關係在正交多項式上 (Szegö, 1939; Grenander & Szegö, 1958)，並通過巧妙地使用雙線性
變換將結果擴展到連續時間。

獨立地，Wiener 制定了連續時間線性預測問題並推導出最佳預測器的顯式公式。Wiener 還考慮了

估計被加性“噪聲” 破壞的過程的“過濾” 問題。最佳估計的顯式公式需要解決方案稱為Wiener–Hopf 方
程的積分方程（Wiener & Hopf，1931）。

1947 年，Levinson 提出了離散時間的 Wiener 濾波問題。在離散時間信號的情況下，Wiener‑

Hopf 方程採用由 2 描述的矩陣形式

Rwo = p, (11)
其中wo是以 FIR 濾波器形式構造的最佳維納濾波器的抽頭權重向量，R 是抽頭輸入的相關矩陣，p 是抽頭
輸入與所需響應之間的互相關向量。輸入，相關矩陣 R 假定一個特殊的結構，稱為Toeplitz，以數學家 O.
Toeplitz 的名字命名。通過利用 Toeplitz 矩陣的特性，Levinson 推導出一個優雅的遞歸程序來求解
Wiener‑Hopf 方程的矩陣形式(Levinson, 1947). 1960 年，Durbin 重新發現了 Levinson 的遞歸過程，
作為將自回歸模型遞歸擬合到標量時間序列數據的方案。

Durbin 考慮的問題是 Eq. (11) 的一個特例，其中列向量 p 包含與相關矩陣 R 中相同的元素。1963 年，

Whittle 表明 Levinson–Durbin 遞歸和對於 Szegö 的正交多項式，還導出了 Levinson‑Durbin 遞歸的
多元推廣。

Wiener 和 Kolmogorov 假設了無限量的數據，並假設隨機過程是平穩的，並涵蓋了非平穩過程的

估計。但是，一些研究人員對這一時期最重要的結果不滿意，因為它們相當複雜，困難隨著觀察間隔的增加
而更新，並且難以修改

2Wiener–Hopf 方程最初表示為積分方程，指定了受因果關係約束的連續時間線性濾波器的最優解。
（有關該主題的教程處理，請參見 Gardner，1990 年。）
Machine Translated by Google

40 背景和預覽

後兩個難點在 20 世紀 50 年代後期在確定衛星軌道的問題上變得尤為明顯。在這個應用中，一般是對
一些位置和速度的組合進行矢量觀測，並且大量的數據也隨著衛星的每一次 Pass 依次積累。跟踪站上
方的衛星。

Swerling 是第一個通過提出一些有用的遞歸算法來解決這個問題的人（Swerling，1958）。出於不同
的原因，Kalman 獨立開發了一種比 Swerling 的算法更受限制的算法，但它是一種似乎特別適合動態
估計的算法太空時代的到來帶來的問題 (Kalman, 1960)。在 Kalman 發表他的論文並獲得相當大的名
氣後，Swerling 寫了一封信，要求優先考慮 Kalman 濾波器方程 (Swerling, 1963)。請求落在具有諷
刺意味的是，軌道確定問題為高斯的最小二乘法和卡爾曼濾波器提供了刺激，並且在每種情況下，都存
在與它們的發明者有關的爭論。卡爾曼線性濾波問題的原始公式是為離散時間過程。連續時間濾波器是
由 Kalman 在隨後與 Bucy 的合作中推導出來的；後一種解決方案有時被稱為 Kalman –Bucy 濾波器
（Kalman & Bucy，1961）。

在一系列激動人心的論文中，Kailath 通過使用創新方法（Kailath，1968 年，1970 年；Kailath

和 Frost，1968 年；Kailath 和 Geesey，1973 年）
重新制定了線性過濾問題的解決方案。n）
表示為輸出
由白噪聲過程n(n) 驅動的因果和因果可逆濾波器，稱為創新過程，術語“創新” 表示新穎性。過程n(n)
的每個樣本都提供全新的信息，在它在統計上獨立於原始過程u(n)的所有過去樣本的意義，假設高斯
性； u(n)。創新方法背後的想法實際上是由 Kolmogorov (1939) 引入的。

線性自適應濾波器
隨機梯度算法。自適應濾波器的最早工作可以追溯到 20 世紀 50 年代後期，在此期間，許多研究
人員獨立研究此類濾波器的不同應用。從這項早期工作中，最小均方 (LMS )算法作為自適應FIR 濾波
器操作的簡單而有效的算法出現。在文獻中通常稱為Adaline （Widrow & Hoff，1960 年；Widrow，
1970 年）。LMS 算法是一種隨機梯度算法，因為它在誤差信號的平方幅值相對於抽頭權重的梯度方向
上迭代 FIR 濾波器的每個抽頭權重.

因此，LMS 算法與 Robbins 和 Monro (1951) 在統計學中為解決某些順序參數估計問題而提出的隨

機逼近概念密切相關。 ，而在隨機逼近方法中，步長參數與時間n或成反比
Machine Translated by Google

第 8 節歷史註釋 41

n的冪。另一種與 LMS 算法密切相關的隨機梯度算法是梯度自適應格 (GAL) 算法(Griffiths, 1977, 1978)；

它們之間的區別在於結構，因為 GAL 算法是基於格的，而 LMS 算法使用 FIR 濾波器。

Recursive Least‑Squares Algorithms. 接下來轉向自適應過濾算法的遞歸最小二乘 (RLS) 系列，

我們發現關於傳統RLS 算法的原始論文似乎是 Plackett (1950) 的論文，儘管必須說1974 年，戈達爾使
用卡爾曼濾波理論推導出該算法的一種變體，有時在文獻中稱為戈達爾算法。應用卡爾曼濾波理論解決自
適應濾波問題後，戈達爾的方法被廣泛接受為最成功的方法卡爾曼濾波理論應用了二十年。然後，Sayed
和 Kailath (1994) 發表了一篇說明性論文，其中首次準確地描述了 RLS 算法與卡爾曼濾波理論之間的關
係，從而奠定了基礎如何利用有關卡爾曼濾波器的大量文獻來解決線性自適應濾波問題。

1981 年，Gentleman 和 Kung 引入了一種基於矩陣代數QR 分解的數值穩健方法，用於解決 RLS

問題，許多其他研究者以各種方式提出了這種方法。

在 20 世紀 70 年代及以後，大量的研究工作被用於開發數值穩定的快速 RLS 算法，目的是將 RLS

算法的計算複雜度降低到與 LMS 算法相當的水平。快速 RLS 算法的研究可以追溯到 Morf 於 1974 年得
出的結果，該結果用於解決固定輸入的 Levinson‑Durbin 算法有效解決的隨機過濾問題的確定性對應問
題。

H∞ ‑sense的魯棒性

魯棒性，特別是在控制系統中，在 20 世紀多年來一直受到控制理論家的關注；參見 Zames (1996)，了解

1959 年至 1985 年期間輸入輸出反饋穩定性和魯棒性文獻的歷史記錄。

一個突破發生在 70 年代後期，當時人們認識到靈敏度問題的最小化可以接受明確的甚至
封閉形式的解決方案。這個想法為製定優化魯棒性的實用理論打開了大門，Zames (1979) 提出
在 Allerton 會議上發表了一篇論文，隨後在IEEE Transactions on Automatic Control (1981)
上發表了一篇期刊論文，在 Francis 和 Zames (1984) 合著的同一期刊上發表了另一篇論文。有
了這些論文，我們現在知道的隨著從穩定性理論中分離出來的H∞‑魯棒性理論的誕生。

然而，信號處理社區花了十多年的時間才掌握了這種新的魯棒性理論。
Machine Translated by Google

42 背景和預覽

Signal Processing (1996)；在那篇論文中，首次描述了 LMS 算法的魯棒性，從理論上證實了長期以

來 LMS 算法在實際應用中已知的知識。‑H∞‑sense 中的平方估計，由 Hassibi 和 Kailath (2001) 撰
寫，已出版。

自適應信號處理應用

自適應均衡。直到 1960 年代初期，為了對抗符號間干擾對數據傳輸的劣化影響，電話信道的均

衡是通過使用固定均衡器（導致性能損失） 或參數手動調整的均衡器（相當繁瑣的過程）來執行的).

1965 年，Lucky 在均衡問題上取得重大突破，提出了一種自動調整 FIR 均衡器抽頭權重的迫零算法

（Lucky，1965）。Lucky 工作的一個顯著特點是使用極小極大類型特別是，他使用了一種稱為峰值失
真的性能指標，該指標與可能發生的符號間干擾的最大值直接相關。調整均衡器中的抽頭權重以最小化
峰值失真。包含在 FIR 均衡器中的脈衝變為零 算法的名稱由此而來。均衡器輸入端存在的失真） 小於
1。在 1966 年發表的後續論文中，Lucky 擴展了迫零的使用1965 年，DiToro 獨立使用自適應均衡來
對抗符號間干擾對高頻鏈路數據傳輸的影響。

Lucky 的開創性工作以某種方式激發了對自適應均衡問題的不同方面的許多其他重要貢獻。使用
均方誤差標準，Gersho (1969) 和 Proakis 和 Miller (1969) 獨立地重新表述了自適應均衡1972 年，
Ungerboeck 使用 LMS 算法對自適應 FIR 均衡器的收斂特性進行了詳細的數學分析。1974 年，如前
所述，Godard 使用卡爾曼濾波器理論推導了一種用於調整 FIR 均衡器抽頭權重的強大算法. In 1978,
Falconer and Ljung presented a modification of this algorithm that simplerized its
computational complexity to a level comparable to the level of the simple LMS algorithm.
Satorius and Alexander (1979) and Satorius and Pack (1981) demonstrates the useful of
lattice‑基於色散信道自適應均衡的算法。

前面簡短的歷史回顧涉及線性同步接收器的自適應均衡器的使用，其中，“同步”
是指接收器中
的均衡器的抽頭間隔為符號率的倒數。即使我們感興趣的是自適應均衡器主要限於此類接收器，如果不
提及分數間隔均衡器和決策反饋均衡器，這樣的歷史回顧將是不完整的。

在分數間隔均衡器 (FSE) 中，均衡器抽頭的間隔比符號率的倒數更近。

Machine Translated by Google

第 8 節歷史註釋 43

延遲失真比傳統的同步均衡器更有效。
FSE 的另一個優點是數據傳輸可以從任意採樣階段開始。Brady (1970)。對該主題的其他貢獻包括
Ungerboeck (1976) 以及 Gitlin 和 Weinstein (1981) 的後續工作。在早期1990 年代，通過展示如
何僅使用二階統計數據將其用於信道的“盲” 均衡，更多地闡明了分數均衡的好處。以前，傳統觀點認
為只能使用最小相位信道以這種方式識別或均衡，因為二階統計與通道輸出中的相位信息無關。但是，
這種差異僅適用於平穩的二階統計；FSE中使用的過採樣意味著二階統計是循環平穩，它在通道輸出的
部分描述中增加了一個新的維度，即周期 (Franks, 1969; Gardner & Franks, 1975; Gardner, 1994a,
b)。Tong 和他的合作者 (1993, 1994a, b )表明如何在弱操作條件下有效地利用循環平穩性進行盲均
衡。導致該領域的活動激增，隨後出現了許多擴展、改進和變化。（例如，參見 Tong 的教程論文和佩
羅，1998 年。）

決策反饋均衡器使用前饋部分和反饋部分。前饋部分包含一個 FIR 濾波器，其抽頭間距為符號率

的倒數。反饋部分包含另一個 FIR 濾波器，其抽頭間距也為符號率的倒數。應用於反饋部分的輸入由對
先前檢測到的符號的決定組成。先前檢測到的符號根據對未來符號的估計產生的符號間干擾部分。這種
消除是一個古老的想法，稱為自舉技術。決策反饋均衡器在存在嚴重符號間干擾的情況下產生良好的性
能，例如衰落無線電信道。第一份關於決策反饋均衡的報告由 Austin (1967) 發表，並且優化了用於最
小均方誤差分析的決策反饋接收器首先由 Monsen (1971) 完成。

語音編碼。1966 年，Saito 和 Itakura 使用最大似然法將預測應用於語音。應用最大似然原理的

標准假設是輸入過程是高斯分佈的。

在這種情況下，該原理的精確應用產生一組預測器參數的非線性方程。使用該假設使得從最大似然原
理獲得的結果呈現與結果相同的近似形式線性預測的自相關方法。

最大似然原理的應用基於語音是平穩高斯過程的假設是合理的，這在清音的情況下似乎是合理的。
Machine Translated by Google

44 背景和預覽

1970 年，Atal 首次在語音分析中使用術語“線性預測”。這種稱為線性預測編碼 (LPC) 的語音

分析和合成新方法的詳細信息由 Atal 和 Hanauer 於 1971 年發表。在 LPC 中，語音波形直接用與聲
道傳遞函數和激勵特性相關的時變參數表示。語音樣本的實際值和預測值。在 Atal 和 Hanauer 的工
作中，語音波以 10 kHz 採樣，然後通過將當前語音樣本預測為 12 個先前樣本的線性組合來進行分
析。因此，15 個參數 [預測器的 12 個參數、基音週期、指示語音是否為濁音或清音，以及語音樣本的均
方根 (rms) 值] 被用來描述語音分析儀。合成器，使用了全極點濾波器，具有準週期脈衝序列或白‑提供
激勵的噪聲源。

1972 年 Itakura 和 Saito 對語音線性預測做出了另一項重大貢獻，他們使用偏相關技術開發了

一種新結構，即格，用於製定線性預測問題。 3 表徵格預測器的參數稱為反射儘管到 1972 年，其他幾
位研究人員已經考慮了晶格結構的本質，但晶格預測器的發明歸功於 Saito 和 Itakura。1973 年，
Wakita 表明晶格預測器模型和聲管模型的濾波作用的語音是相同的，與聲管模型中的反射係數作為公
因數。

語音信號線性預測建模的一個限制是無法從離散頻譜樣本中恢復正確的包絡；此限制可追溯到
選擇最小均方誤差作為線性預測建模的標準。Itakura 和 Saito（1970 年） ) 開發了一種用於濁音的
頻譜包絡估計的類最大值程序；在這樣做時，他們引入了一種稱為 Itakura–Saito 距離測量的新標準.
McAulay (1984) 以及 El‑Jaroudi 和 Makhoul (1991)。

格預測器的早期設計基於塊處理方法（Burg，1967）。1981 年，Makhoul 和 Cossell 使用自

適應方法設計了用於語音分析和合成應用的格預測器。自適應格預測器足夠快它的性能等於最優（但
更昂貴）
的自適應自相關方法。

迄今為止對語音編碼的歷史回顧與 LPC 聲碼器有關。接下來我們將對語音的自適應預測編碼進

行歷史回顧，從普通的脈衝編碼調製 (PCM) 開始。

PCM 是 Reeves (1975) 於 1937 年發明的，隨後 Cutler (1952) 發明了差分脈衝編碼調製

(DPCM)。

3 根據 Markel 和 Gray (1976) 日本 Itakura 和 Saito 關於偏相關的工作

(PARCOR) 線性預測公式於 1969 年提出。
Machine Translated by Google

第 8 節歷史註釋 45

語音信號的預測編碼僅限於具有固定參數的線性預測器 (McDonald, 1966)。

為了響應語音信號的非平穩特性，預測器必須是自適應的。1970 年，Atal 和 Schroeder 描述了

一種用於實現語音自適應預測編碼的複雜方案。在語音中（Schroeder，1966 年）： (1)語音段
期間的準週期性和 (2) 短時頻譜包絡的非平坦性。因此，預測器旨在分兩個階段去除信號冗餘：首
先，它去除信號的準週期性，然後去除共振峰來自頻譜包絡的信息。該方案以顯著增加電路的複
雜性為代價實現了比特率的顯著降低。Atal 和 Schroeder (1970) 報告說，該方案可以 10 kb/s
的速度傳輸語音，這是幾倍比具有可比語音質量的對數 PCM 編碼所需的比特率慢。

頻譜分析。在 20 世紀之交，Schuster 引入了用於分析時間序列功率譜的周期圖 (Schuster,

1898)。週期圖被定義為該序列的離散傅里葉變換的平方振幅。最初由Schuster 檢測和估計隱藏
在噪聲中的已知頻率的正弦波的振幅。直到 1927 年 Yule 的工作，週期圖是唯一可用於頻譜分析
的數值方法。限制是當它應用於經驗時間序列時在自然界中觀察到的結果非常不穩定。這種限制導
致 Yule 在他對時間序列週期性的研究中引入了一種基於穩態隨機過程的有限參數模型概念的新
方法，特別參考了 Wolfer 的太陽黑子number (Yule, 1927)。實際上，Yule 創建了一個隨機反饋
模型，其中假設時間序列的當前樣本值由過去樣本值的線性組合加上一個模型組成，這個模型稱為
自回歸模型，因為時間序列的樣本會對其自身的過去值進行回歸，因此基於這種模型的譜分析方法
被稱為自回歸譜分析。由 Wold 在他的博士論文中創造（Wold，1938）。

Burg (1967, 1975) 重新引起了人們對自回歸方法的興趣，他引入了術語最大熵方法來描述直接

從可用時間序列估計功率譜的算法方法。 1971年，Van den Bos 表明，最大熵法等價於自回歸模型對
已知自相關序列的最小二乘擬合。

Thomson (1982) 對頻譜分析文獻的另一個重要貢獻。他的多窗口方法基於長球體波函數，是

一種非參數的頻譜估計方法，克服了上述技術的許多局限性。
Machine Translated by Google

46 背景和預覽

自適應噪聲消除。自適應迴聲消除器的最初工作始於 1965 年左右。貝爾電話實驗室的凱利似

乎是第一個提出使用自適應濾波器進行迴聲消除的人，語音信號本身用於執行自適應；凱利的Sondhi
(1967) 的一篇論文承認了他的貢獻。

自適應線增強器由 Widrow 和他在斯坦福大學的同事發明。該設備的早期版本建於 1965 年，

用於消除心電圖放大器和記錄器輸出端的 60 Hz 干擾。(1975b)。自適應線增強器和它作為自適應檢
測器的應用已獲得 McCool 等人的專利（1980 年）。

自適應迴聲消除器和自適應線性增強器雖然適用於不同的應用程序，但可被視為Widrow 等人
(1975b) 討論的自適應噪聲消除器的示例。該方案對兩個傳感器的輸出進行操作：一個主傳感器提供
隱藏在噪聲中的感興趣的所需信號和單獨提供噪聲的參考傳感器。傳感器與主傳感器輸出的噪聲分
量相關。

自適應噪聲消除器由一個自適應濾波器組成，該濾波器對參考傳感器輸出進行操作以產生噪
聲估計，然後從主傳感器輸出中減去該估計。自適應 FIR 濾波器中的抽頭權重。

自適應波束成形。自適應波束成形技術的發展可以追溯到Howells 在 1950 年代後期發明的中頻

(IF) 旁瓣消除器。在IEEE Transactions on Antennas and Propagation 1976 年特刊上發表的一篇論
文中， Howells 描述了他對通用電氣和錫拉丘茲大學研究公司自適應天線早期工作的個人觀察。根據這
份歷史報告，到 1957 年年中，Howells 已經開發出一種旁瓣消除器，能夠自動消除單個乾擾機的影響。

旁瓣消除器使用一個主（高增益）天線和一個參考全向（低增益） 天線來形成一個具有一個自由度
的雙元件陣列，從而可以在旁瓣區域的任何位置引導深度零點組合天線方向圖。特別是，在干擾機
的方向放置一個零點，主瓣只有輕微的擾動。隨後，Howells (1965) 獲得了旁瓣消除器的專利。

自適應陣列天線的第二個主要貢獻是由 Applebaum 在 1966 年做出的。在一份經典報告中，

他推導出控制自適應陣列天線運行的控制法則，其中每個陣列元素都有一個控制環路 (Applebaum,
1966)。 Applebaum 推導出的算法基於在任何類型的噪聲環境中最大化陣列天線輸出端的信噪比
(SNR)。Applebaum 的理論包括旁瓣消除器作為特例。他 1966 年的經典報告在1976 年IEEE 天線
和傳播彙刊特刊。
Machine Translated by Google

第 8 節歷史註釋 47

1967 年，Widrow 及其同事在斯坦福大學獨立提出了自適應陣列天線權重調整的另一種

算法。
他們的理論基於簡單但有效的 LMS 算法。Widrow 等人於 1967 年發表的論文。

值得注意的是，自適應陣列天線的最大 SNR 算法（Applebaum 使用） 和 LMS 算法（Widrow

及其同事使用）非常相似。這兩種算法都推導了陣列天線中權重自適應調整的控制律：感測元素信號之
間的相關性。事實上，它們都收斂於固定輸入的最佳維納解 (Gabriel, 1976)。

Capon (1969) 提出了一種解決自適應波束形成問題的不同方法，他意識到延遲求

和波束形成器的性能不佳是因為它沿感興趣方向的響應不僅取決於輸入目標信號的功
率，但也從其他干擾源收到的貢獻。為了克服這種不良限制，Capon提出了一種新的波束
形成器，其中選擇權重向量 w(n) 以最小化方差（即，輸出的平均功率），受約束 w
H(n)s(u) = 1 對於所有n，其中s(u)是規定的導向向量。這種約束最小化產生具有最小方
差無失真響應的自適應波束形成器（MVDR）。

1983 年，McWhirter 提出了用於遞歸最小二乘估計的 Gentleman–Kung（收縮）

陣列的簡化。
由此產生的濾波結構通常稱為 McWhirter（收縮） 陣列，特別適合自適應波束形成應用。

本介紹性章節中介紹的自適應濾波器理論和應用中的歷史註釋並未聲稱是完整的。最重
要的是，希望它們能為讀者提供靈感來源。
Machine Translated by Google

106 第 1 章隨機過程和模型

在哪裡
2pk
=
vk
N.

和
N‑1個

sk =一個 r(l) exp(‑jlvk ), k = 0, 1, c, N ‑ 1。

k=0

參數

Sk = [ Uk ]
2個

指定離散功率譜； Uk是複數隨機變量，定義為
N‑1個

英國=一個 u(n) exp(‑jnvk ), k = 0, 1, c, N ‑ 1個

n=0

和
N‑1個
1個

你（n） = A Uk exp(jnvk ), n = 0, 1, c, N ‑ 1。
Nk = 0

(a) 證明光譜樣本U0 , U1 , . . , UN ‑ 1不相關；

*
[英國
0 否則。
j ] = e Sk對於j =k

(b) 假設u(n)和Uk服從高斯分佈，表明聯合概率
U0 , U1的能力密度函數, . . , UN ‑1由下式給出
N‑1個 2個

‑N 英國
fU(U0 , U1 , c, UN‑1 ) = p
exp a ‑a k=0 sk ‑ln Sk b。

19. 確定樣本數M = 2的相關矩陣 R。 [提示：信噪比r = ∞。]

20. 證明隨機過程的積分X(t)是一個隨機變量。
21. 評估圖 1.3 的隨機 MA 模型的傳遞函數。
22. 考慮一個均值為零的隨機過程。
功率譜密度S(v)對於所有頻率都是常數，如
2個

S(v) = 小號 對於 ‑2p < v <‑2p

在哪裡 2個

是從過程中提取的樣本的方差。假設該過程通過如圖 1.13 所示的離散時間帶通濾波器，求濾波

器輸出的均方。

23. 確定N = 5的奇數情況的複雜高斯過程，其中u(n)由五個樣本u1 、 u2 、 u3 、 u4和u5組成。

24.利用高斯矩分解定理，確定復高斯過程
對於N = 2的偶數情況。 U(n)由樣本u1和u2組成。
25. 證明隨機過程 {X (t)} 是均方連續的，如果它的自相關函數
是連續的。