正則化

正則化

代數幾何概念
正則化(regularization),是指在線性代數理論中,不适定問題通常是由一組線性代數方程定義的,而且這組方程組通常來源于有着很大的條件數的不适定反問題。大條件數意味着舍入誤差或其它誤差會嚴重地影響問題的結果。正則化的做法,實際上是在不可約平面代數曲線的奇點處,把具有不同切線的曲線分支分開,從而消除這種奇異性。正則化就是對最小化經驗誤差函數上加約束,這樣的約束可以解釋為先驗知識(正則化參數等價于對參數引入先驗分布)。
    中文名:正則化 外文名:regularization 定義: 出處:線性代數理論 屬于:代數幾何中的一個概念

形式

反問題有兩種形式。最普遍的形式是已知系統和輸出求輸入,另一種系統未知的情況通常也被視為反問題。許多反問題很難被解決,但是其他反問題卻很容易得到答案。顯然,易于解決的問題不會比很難解決的問題更能引起人們的興趣,我們直接解決它們就可以了。那些很難被解決的問題則被稱為不适定的。一個不适定問題通常是病态的,并且不論是簡單地還是複雜地改變問題本身的形式都不會顯着地改善病态問題。複圖像域上的正則化特征增強方法的計算量比頻域上的正則化特征增強方法的計算量大大減小。

方法

求解不适定問題的普遍方法是:用一組與原不适定問題相“鄰近”的适定問題的解去逼近原問題的解,這種方法稱為正則化方法。如何建立有效的正則化方法是反問題領域中不适定問題研究的重要内容。通常的正則化方法有基于變分原理的Tikhonov正則化、各種叠代方法以及其它的一些改進方法,這些方法都是求解不适定問題的有效方法,在各類反問題的研究中被廣泛采用,并得到深入研究。

通俗來說

就是給平面不可約代數曲線以某種形式的全純參數表示。

即對于PC^2中的不可約代數曲線C,尋找一個緊Riemann面C*和一個全純映射σ:C*→PC^2,使得σ(C*)=C

嚴格的定義如下

設C是不可約平面代數曲線,S是C的奇點的集合。如果存在緊Riemann面C*及全純映射σ:C*→PC^2,使得

(1)σ(C*)=C(2)σ^(-1)(S)是有限點集(3)σ:C*σ^(-1)(S)→CS是一對一的映射

則稱(C*,σ)為C的正則化。不至于混淆的時候,也可以稱C*為C的正則化。

正則化的做法,實際上是在不可約平面代數曲線的奇點處,把具有不同切線的曲線分支分開,從而消除這種奇異性。

主要解決的問題

正則化就是對最小化經驗誤差函數上加約束,這樣的約束可以解釋為先驗知識(正則化參數等價于對參數引入先驗分布)。約束有引導作用,在優化誤差函數的時候傾向于選擇滿足約束的梯度減少的方向,使最終的解傾向于符合先驗知識(如一般的l-norm先驗,表示原問題更可能是比較簡單的,這樣的優化傾向于産生參數值量級小的解,一般對應于稀疏參數的平滑解)。

同時,正則化解決了逆問題的不适定性,産生的解是存在,唯一同時也依賴于數據的,噪聲對不适定的影響就弱,解就不會過拟合,而且如果先驗(正則化)合适,則解就傾向于是符合真解(更不會過拟合了),即使訓練集中彼此間不相關的樣本數很少。

上一篇:鳳巢

下一篇:世襲制

相關詞條

相關搜索

其它詞條