只有第一个主成分的 PCA 分数是“错误”符号

问题描述

我目前正在尝试进行主成分分析和回归。因此，我尝试手动计算给定矩阵的主成分，并将其与您从 r-package rcomp 中获得的结果进行比较。

下面是手工做pca的代码


### compute principal component loadings and scores by hand

df <- matrix(nrow = 5,ncol = 3,c(90,90,60,30,60))

# calculate covariance matrix to see variance and covariance of 
cov.mat <- cov.wt(df)
cen <- cov.mat$center
n.obs <- cov.mat$n.obs
cv <- cov.mat$cov * (1-1/n.obs)

## calcualate the eigenvector and values
edc <- eigen(cv,symmetric = TRUE)
ev <- edc$values
evec <- edc$vectors
cn <- paste0("Comp.",1L:ncol(cv))

cen <- cov.mat$center

### get loadings (or principal component weights) out of the eigenvectors and compute scores

loadings <- structure(edc$vectors,class = "loadings")

df.scaled <- scale(df,center = cen,scale = FALSE)
scr <- df.scaled %*% evec

我将我的结果与使用 princomp-package 获得的结果进行了比较

pca.mod <- princomp(df)
loadings.mod <- pca.mod$loadings
scr.mod <- pca.mod$scores

scr
scr.mod

> scr
           [,1]       [,2]       [,3]
[1,]  -6.935190  32.310906  7.7400588
[2,] -48.968014 -19.339313 -0.3529382
[3,]   1.733797  -8.077726 -1.9350147
[4,]  13.339605  18.519500 -9.5437444
[5,]  40.829802 -23.413367  4.0916385
> scr.mod
         Comp.1     Comp.2     Comp.3
[1,]   6.935190  32.310906  7.7400588
[2,]  48.968014 -19.339313 -0.3529382
[3,]  -1.733797  -8.077726 -1.9350147
[4,] -13.339605  18.519500 -9.5437444
[5,] -40.829802 -23.413367  4.0916385

显然，我做得很好。计算出的分数至少在比例上相等。但是：第一主要成分的分数在符号上有所不同。其他两个就不是这样了。

这就引出了两个问题：

我已经读到将载荷和主成分的分数乘以减一是没有问题的。当只有一个主成分也具有不同的符号时，这是否成立？
从计算的角度来看，我做错了什么？这个过程对我来说似乎很简单，我不知道在我自己的计算中我可以改变什么以获得与 princomp-package 相同的符号。

当使用 mtcars 数据集检查这一点时，我的第一台 PC 的标志是正确的，但是现在第二台和第四台 PC 的分数与包装相比具有不同的标志。我无法理解这一点。任何帮助表示赞赏！

解决方法

特征向量和载荷的符号是任意的，所以这里没有什么“错误”。您应该期望保留的唯一一件事是每个载荷向量中符号的整体模式，即在上面的示例中，PC1 的 princomp 答案给出了 +,+,-,-，而您的给出了 -,+。没关系。如果你给了例如-,+ 那会很麻烦（因为两者不再等价于乘以 -1）。

然而，虽然通常符号是任意的，因此可能因算法、编译器、操作系统等而异，但在这种特殊情况下有一个简单的解决方案。 princomp 有一个 fix_sign 参数：

fix_sign: 是否应该选择载荷和分数的符号，以便每个加载的第一个元素是非负的？

尝试princomp(df,fix_sign=FALSE)$scores，您会看到符号（可能！）与您的结果一致。（通常，fix_sign=TRUE 选项很有用，因为它以特定方式破坏了对称性，因此将总是在所有平台上产生相同的答案。）

pca r r