场景是有一个字符串的集合，集合中元素是类似"id!时间 1，数据项 1&时间 2，数据项 2&时间 3，数据项 3……"的字符串，id 后面的以'&'分割的内容数量不一定，数据项一共有 5 个值。
现要求集合中两两元素之间的相似度，数据量大概是 50W 。
算法是只要两个 id 数据项相同，时间在给定阈值内就算相似，按一定规则给一个相似分。等两个 id 的所有时间和数据项比对完毕，把这些相似分加一块，就是这两个 id 的相似度。
最后结果格式为"id1，id2，相似度"
现在用 spark 的 cartesian 算子算笛卡尔积，很慢，而且最后没跑出来。
不知各位有什么好的办法，在此先谢过。
 |
1
以'&'分割的内容数量不一定，数据项一共有 5 个值
没看懂 |
 |
2
不懂笛卡尔积在这里的作用……这个相似度直接用欧式距离表示也行吧？
|
 |
5
感觉就是一个 自连接的 out join 之后，对每个组合计算相似度就好了……
|
 |
6
不懂 spark，随便说下简单粗暴的思路抛个砖。。
把数据遍历一遍，整成 Map<数据项，ChronologicalSortedList<Time_Id_Object>> 这样的，然后遍历 Map 就行了 当然这样会加载所有数据占不少内存。。内存不够的话就多遍历几遍，一次只处理一个数据项。。 |
 |
8
@lidlesseye11 单是数据可以放到内存中，但是当数据自身去匹配的时候，数据会膨胀到很大
|
1
Select Language