之前计算欧式距离的时候,直接使用了
dist()
方法。但是在实际应用中,这种方法在处理大量数据的时候会被截断,运行时间很长。
百度出来一个感觉很高大上的方法:
快速欧式距离计算【豆瓣】
里面提供了一种运算方法,代码如下:
mat <- matrix(runif(2000*1000),nrow=2000)
system.time({
smat <- apply(mat, 1, crossprod)
mat1 <- matrix(smat, nrow=2000, ncol=2000)
mat3 <- tcrossprod(mat)
mat4 <- mat1 + t(mat1) - 2*mat3
diag(mat4) <- 0
mat5 <- sqrt(mat4)
})
system.time(mat7 <- as.matrix(dist(mat)))
#print(mat7[1:6, 1:6])
用这种方法,可以计算四百万条数据,用时22s左右
使用这种方法,开始调试自己的数据。
在调试中,需要注意的是
mat4
这个矩阵。首先是
mat1
和
t(mat1)
要可以进行加减运算;其次是这两者的和可以和
mat3
进行运算,否则这两种错误都会报错:non-conformable arrays
债见!
版权声明:本文为sinat_41805381原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。