1、相似度是搜索引擎去重用的最多的算法，用的比较多的一种是TF除以IDF算法，这个也是计算相关性的算法，TF和IDF的主要意思是说如果某个词或短语在一篇文章中出现的频率高，并且在其他文章中很少出现，则认为此词或者短语具有很好的类别区分能力，适合用来分类；

2、数据指纹，当搜索引擎通过相似度把文章收集起来后，要判别一下是否是重复文章，经常用的就是数据指纹，数据指纹有很多种算法，常见的比如讲文章的标点符号提出，进行对比，你很难想象有两篇不同的文章，标点符合是一致的。还有对向量进行对比，也就是