使用 scikit learn 进行快速 ICA - 重建误差分析

Question

我正在尝试在 scikitLearn 中使用

fastICA

程序。出于验证目的，我尝试了解基于

PCA

和

ICA

的信号重建之间的区别。

原始观测信号数量为6，我尝试使用3个重建独立分量。问题是，无论我使用什么规范，

ICA

和

PCA

都会导致相同的重建错误。有人可以解释一下这里发生的事情吗？

代码如下：

 pca = PCA(n_components=3)
 icamodel = FastICA(n_components=3,whiten=True)

 Data = TrainingDataDict[YearSpan][RiskFactorNames]

 PCR_Dict[YearSpan] = pd.DataFrame(pca.fit_transform(Data), 
                                   columns=['PC1','PC2','PC3'],index=Data.index)

 ICR_Dict[YearSpan] = pd.DataFrame(icamodel.fit_transform(Data), 
                                   columns=['IC1','IC2','IC3'],index=Data.index)

'------------------------Inverse Transform of the IC and PCs -----------'

 PCA_New_Data_Df = pd.DataFrame(pca.inverse_transform(PCR_Dict[YearSpan]),
                                   columns =['F1','F2','F3'],index = Data.index)

 ICA_New_Data_Df = pd.DataFrame(icamodel.inverse_transform(ICR_Dict[YearSpan]),
                                   columns =['F1','F2','F3'],index = Data.index)

以下是我测量重建误差的方法

'-----------reconstruction errors------------------'
 print 'PCA reconstruction error L2 norm:',np.sqrt((PCA_New_Data_Df - Data).apply(np.square).mean())

 print 'ICA reconstruction error L2 norm:',np.sqrt((ICA_New_Data_Df - Data).apply(np.square).mean())

 print 'PCA reconstruction error L1 norm:',(PCA_New_Data_Df - Data).apply(np.absolute).mean()

 print 'ICA reconstruction error L1 norm:',(ICA_New_Data_Df - Data).apply(np.absolute).mean()

以下是

PC

和

IC

s

的尾巴的描述

PC Stats :  ('2003', '2005') 
       Kurtosis  Skewness
PCR_1 -0.001075 -0.101006
PCR_2  1.057140  0.316163
PCR_3  1.067471  0.047946 

IC Stats :  ('2003', '2005') 
       Kurtosis  Skewness
ICR_1 -0.221336 -0.204362
ICR_2  1.499278  0.433495
ICR_3  3.654237  0.072480 

以下是重建的结果

PCA reconstruction error L2 norm: 
SPTR        0.000601
SPTRMDCP    0.001503
RU20INTR    0.000788
LBUSTRUU    0.002311
LF98TRUU    0.001811
NDDUEAFE    0.000135
dtype: float64 

ICA reconstruction error L2 norm : 
SPTR        0.000601
SPTRMDCP    0.001503
RU20INTR    0.000788
LBUSTRUU    0.002311
LF98TRUU    0.001811
NDDUEAFE    0.000135

甚至

L1

规范也是相同的。我有点困惑！

Answer 1

抱歉回复晚了，希望这个答案仍然可以帮助到你。

fastICA 可以看作是白化（可以通过 PCA 实现）加上正交旋转（正交旋转使得估计的源尽可能非高斯）。

正交旋转不会影响 ICA 解的重建误差，因此 PCA 和 ICA 具有相同的重建误差。

旋转 PCA 解决方案经常在心理学中使用（例如 Varimax 旋转）。然而，fastICA 中的正交旋转矩阵是通过迭代过程进行估计的（来自 Aapo Hyvärinen 的定点迭代方案）

Answer 2

请问PCA和ICA的峰度是怎么得到的？