专利详情

专利名称	自适应语义驱动的主题网页过滤系统
申请号	CN200810240359.0	专利类型	发明专利
公开（公告）号	CN101751438A	公开（授权）日	2010.06.23
申请（专利权）人	中国科学院自动化研究所	发明（设计）人	张文生;杨彦武;刘琰琼;李益群;肖宪;梁玉旋
主分类号	G06F17/30(2006.01)I	IPC主分类号	G06F17/30(2006.01)I
专利有效期	自适应语义驱动的主题网页过滤系统至自适应语义驱动的主题网页过滤系统	法律状态	实质审查的生效
说明书摘要	本发明公开了一种自适应语义驱动的主题网页过滤系统，该系统能针对不同的网页集自适应的选用不同的处理方法得到一棵分类语义树，包括爬虫、文本分类以及文本层次聚类；然后采用一种新的网页评估算法——语义驱动的主题网页算法来计算网页的STP值，即对主题相关度及其本身网页重要性两方面的综合评估。对于不同应用，经过多次测试选择一个过滤效果最好的阈值，对STP值低于该阈值的网页进行舍弃。本方法提出了对不同网页集分别对待的思想，对系统资源利用率和网页主题相关度准确率有很大改进，并提出一种语义驱动的STP算法，改善了原来PageRank的不足，能够很好的过滤不相关网页。