spark 协方差计算 spark

val data = https://www.it610.com/article/Array(
Vectors.dense(4.0, 2.0, 3.0),
Vectors.dense(5.0, 6.0, 1.0),
Vectors.dense(2.0, 4.0, 7.0),
Vectors.dense(3.0, 6.0, 5.0)
)

rdd是可以直接算协方差的
rddData=https://www.it610.com/article/sc.parallelize(data)

// RDD转换成RowMatrix
val mat: RowMatrix = new RowMatrix(rddData)
// 统计
val stasticSummary: MultivariateStatisticalSummary =mat.computeColumnSummaryStatistics()

// 均值
println(stasticSummary.mean)
// 结果：3.5,4.5,4.0
// 方差
println(stasticSummary.variance)
// 结果：1.6666666666666667,3.6666666666666665,6.666666666666667
【spark 协方差计算】
// 协方差
val covariance: Matrix = mat.computeCovariance()
println(covariance)
// 结果：
//cov(dim1,dim1) cov(dim1,dim2) cov(dim1,dim3)
//cov(dim2,dim1) cov(dim2,dim2) cov(dim2,dim3)
//cov(dim3,dim1) cov(dim3,dim2) cov(dim3,dim3)
//1.66666666666666790.3333333333333357-3.3333333333333304
//0.33333333333333573.666666666666668-0.6666666666666679
//-3.3333333333333304-0.66666666666666796.666666666666668
// 结果分析：以cov(dim1,dim2)为例
//dim1均值：3.5dim2均值：4.5
//val cov(dim2,dim3)=((4.0-3.5)*(2.0-4.5)+(5.0-3.5)*(6.0-4.5)+(2.0-3.5)*(4.0-4.5)+(3.0-3.5)*(6.0-4.5))/(4-1)
//cov(dim2,dim3)=0.3333333333333333
---------------------
作者：wangpei1949
原文：https://blog.csdn.net/wangpei1949/article/details/53190922
版权声明：本文为博主原创文章，转载请附上博文链接！

spark 协方差计算

推荐阅读

椰子油的生活小妙用椰子油有什么用途和功效

庆东锅炉故障代码是什么如何解决

教学教务管理人员是干什么的

联想yoga2

如何选择抗体稀释液？抗体稀释液

下载导航地图，导航地图下载

流媒体后视镜可以当行车记录仪吗行车记录仪有必要买流媒体吗

炒苔菜用不用焯水，苔菜用不用焯水再炒

昆明工业职业技术学院怎么样

（152）感赏女儿|（152）感赏女儿 2020-12-4

桃子核发霉外面是好的还能吃吗

离散傅立叶分析,origin怎么进行傅立叶分析

次密接触者的一般接触者需要隔离吗

海带炖土豆的做法海带炖土豆的做法窍门

大概的近义词大概的近义词是什么标准答案

合金筷子是塑料还是金属合金筷子是什么材质

真我与假我

钢材包括哪些钢材怎么分类

heos,黑色素瘤

【家事】节如流水