搜索引擎数据分析程序

数据分析系统用来处置搜索引擎蜘蛛抓取回来的网页，包含以下几个程序。

（1）网页构造化。简单地说，就是把哪些html代码全体删掉，提取出内容。

（2）消噪。消噪是什么意思呢？在网页构造化中，已经删掉了html代码，剩下了文字，那么消噪指的就是留下网页的主题内容，删掉没用的内容。

（3）查重。查重对比好懂得，就是搜索引擎查找重复的网页与内容，如果找到重复的页面，就删除。

（4）分词。搜索引擎蜘蛛在进行了前面的程序后，提取出正文的内容，把内容分成N个词语排列出来，存入索引库。同时，也会盘算这一个词在这个页面涌现了多少次。

（5）链接分析。搜索引擎会查询这个页面的反向链接有多少、导出链接有多少，以及内链，然后赋予该页面相应的权重。