今天要介紹的是一種非線性的降維方法，就是Neighbor Embedding
免費閱讀文章：Unsupervised Learning: Neighbor Embedding
Manifold Learning
很多時候我們的樣本分佈可能在一個高維空間，但是樣本的分布點可能只是在低維空間裡面，被扭曲到高維空間中。像是地球表面就是一個Manifold，他是一個二維平面，卻被塞到三維空間裡
在Manifold中，只有距離很近的點可以使用歐式距離（Euclidean Distance)。Ｍanifold Learning 要做的就是把塞在高維空間的低維空間攤平。
Locally Linear Embedding
局部線性嵌入，Locally Linear Embedding，簡稱LLE
假設在原來的空間中，樣本點的分佈如下所示，我們關注 x^i 和它的鄰居x^j ，用 w_ij 來描述兩者的關係
假設每一個樣本點都是可以用它的neighbor做linear combination組合而成，那 w_ij 就是拿 x^j 去組合 x^i 時的權重weight，因此找點與點的關係 w_ij 這個問題就轉換成，找一組使得所有樣本點與周圍點線性組合的差距能夠最小的參數 w_ij
接下來就要做Dimension Reduction，把 x^j和 x^i 降維到z^j和 z^i，並且保持降維前後兩個點之間的關係 w_ij 是不變的
LLE的具体做法如下:
- 在原先的高維空間中找到 x^i 和 x^j 之間的關係 w_ij 以後就把它固定住
- 使 x^i 和 x^j 降維到新的低維空間上的 z^j和 z^i
- z^j和 z^i 需要minimize下面的式子:
- 即在原本的空間裡，x^i 可以由周圍點通過參數 w_ij 進行線性組合得到，則要求在降維後的空間裡， z^i 也可以用同樣的線性組合得到
實際上，LLE並沒有給出明確的降維函數，它沒有明確地告訴我們怎麼從x^i降維到z^i ，只是給出了降維前後的約束條件
在實際應用LLE的時候，對x^i來說，需要選擇合適的鄰居點數目K才會得到好的結果…
