一、核
1.1 核的介紹
內核方法是一類用于模式分析或識別的算法，其最知名的使用是在支持向量機(SVM)。模式分析的一般任務是在一般類型的數(shù)據(jù)(例如序列，文本文檔，點集，向量，圖像等)中找到并研究一般類型的關系(例如聚類，排名，主成分，相關性，分類)圖表等)。內核方法將數(shù)據(jù)映射到更高維的空間，希望在這個更高維的空間中，數(shù)據(jù)可以變得更容易分離或更好的結構化。對這種映射的形式也沒有約束，這甚至可能導致無限維空間。然而，這種映射函數(shù)幾乎不需要計算的，所以可以說成是在低維空間計算高維空間內積的一個工具。
1.2 核的訣竅內核技巧是一個非常有趣和強大的工具。
它是強大的，因為它提供了一個從線性到非線性的連接以及任何可以只表示兩個向量之間的點積的算法。 它來自如下事實：如果我們首先將我們的輸入數(shù)據(jù)映射到更高維的空間，那么我在這個高維的空間進行操作出的效果，在原來那個空間就表現(xiàn)為非線性。現(xiàn)在，內核技巧非常有趣，因為不需要計算映射。 如果我們的算法只能根據(jù)兩個向量之間的內積表示，我們所需要的就是用一些其他合適的空間替換這個內積。
這就是"技巧"的地方：無論使用怎樣的點積，它都被內核函數(shù)替代。 核函數(shù)表示特征空間中的內積，通常表示為：K(x，y)= <φ(x)，φ(y)>使用內核函數(shù)，該算法然后可以被攜帶到更高維空間中，而不將輸入點顯式映射到該空間中。 這是非常可取的，因為有時我們的高維特征空間甚至可以是無限維，因此不可能計算。
1.3 核函數(shù)的性質核函數(shù)必須是連續(xù)的，對稱的，并且最優(yōu)選地應該具有正(半)定Gram矩陣。
據(jù)說滿足Mercer定理的核是正半定數(shù)，意味著它們的核矩陣只有非負特征值。使用肯定的內核確保優(yōu)化問題將是凸的和解決方案將是唯一的。然而，許多并非嚴格定義的核函數(shù)在實踐中表現(xiàn)得很好。一個例子是Sigmoid內核，盡管它廣泛使用，但它對于其參數(shù)的某些值不是正半定的。 Boughorbel(2005)也實驗證明，只有條件正定的內核在某些應用中可能勝過大多數(shù)經(jīng)典內核。內核還可以分為各向異性靜止，各向同性靜止，緊湊支撐，局部靜止，非穩(wěn)定或可分離非平穩(wěn)。此外，內核也可以標記為scale-invariant(規(guī)模不變)或scale-dependent(規(guī)模依賴)，這是一個有趣的屬性，因為尺度不變內核驅動訓練過程不變的數(shù)據(jù)的縮放。補充：Mercer 定理：任何半正定的函數(shù)都可以作為核函數(shù)。所謂半正定的函數(shù)f(xi,xj)，是指擁有訓練數(shù)據(jù)集合(x1,x2,...xn)，我們定義一個矩陣的元素aij = f(xi,xj)，這個矩陣式n*n的，如果這個矩陣是半正定的，那么f(xi,xj)就稱為半正定的函數(shù)。這個mercer定理不是核函數(shù)必要條件，只是一個充分條件，即還有不滿足mercer定理的函數(shù)也可以是核函數(shù)
二、 幾種常用的核
2.1 線性核線性內核是最簡單的內核函數(shù)。
它由內積加上可選的常數(shù)c給出。 使用線性內核的內核算法通常等于它們的非內核對應物，即具有線性內核的KPCA與標準PCA相同。
2.2 多項式核函數(shù)多項式核是非固定內核。
多項式內核非常適合于所有訓練數(shù)據(jù)都歸一化的問題。我記得一般都會把問題歸一化吧?可調參數(shù)是斜率α，常數(shù)項c和多項式度d。
2.3 高斯核高斯核是徑向基函數(shù)核的一個例子。
可調參數(shù)sigma在內核的性能中起著主要作用，并且應該仔細地調整到手頭的問題。 如果過高估計，指數(shù)將幾乎呈線性，高維投影將開始失去其非線性功率。 另一方面，如果低估，該函數(shù)將缺乏正則化，并且決策邊界將對訓練數(shù)據(jù)中的噪聲高度敏感。
2.4 指數(shù)的內核指數(shù)核與高斯核密切相關，只有正態(tài)的平方被忽略。
它也是一個徑向基函數(shù)內核。
2.5 拉普拉斯算子核拉普拉斯核心完全等同于指數(shù)內核，除了對sigma參數(shù)的變化不那么敏感。
作為等價的，它也是一個徑向基函數(shù)內核。
京公網(wǎng)安備 11010802030320號