首页 » SEO网站优化 » 采集百度知道后生成问答聚合详情页的流程(思路篇)

采集百度知道后生成问答聚合详情页的流程(思路篇)

 

采集百度知道问答方法就不说了。看了以前的博客肯定都会。就是几个脚本和火车头设置的交叉使用

模式仿的爱福窝的。主域名+community/detail/12713840/

采集百度知道后生成问答聚合详情页的流程初期思路篇
1、文章分词
2、分出来的词有核心词的建立标签页
3、有同样标签的问答放在一个页面里
4、标题使用第一个问答的标题

这里有几个问题:
1、标签页名称
2、标题怎么写
3、怎么知道同样标签的问答内容和标题是相关的?
4、分词的步骤是否可以简化

解决方案:
分词使用火车头内置分词方法,消去html后分词。(感谢唔知大神)
分好词后整理进倒排索引表
标签与标签之间组合成为标题,组合完成后匹配倒排索引表筛选出文章,组合的关键词作为标题的核心词。
每个标签都可以建立个标签页,标签页里放的文章就是包含这个标签的文章

倒排索引表的建立与使用:将词分解完后,取前10,然后做倒排索引表,做好倒排索引表后。将分的词组合成为新标题(新标题所含关键词使用凤巢筛选),新标题里面含有的关键词在进行并集匹配。这时候出来的就是可以和这个标题相配的问答了。

小进展:简化倒排索引表步骤,可以使用excel的分类汇总,将少于4的词筛去。省不少时间。

和群里的人又聊了下,发现某些步骤不利于以后数据量大的时候的使用,所以改进下,改进的方法就是先生成标题列表,然后直接分词后跟倒排索引表匹配。大于或等于3个就放在一起。

kk提了下,如果使用倒排索引表的方式,会极大的降低效率,他采用的方法是Levenshtein.ratio检测标题相似度,将于关键词相似度高的放在一起,而且内容采用的是部分展示,非全展示。下面是聊天记录。
Itseo-Kk
直接 针对标题 Levenshtein.ratio
悄悄告诉你,百度对单页的相关推荐,看标题的权重明显更高
至于内容嘛 合并的方法,不如提取部分详情 组合成列表,又合理又不违规,
当然,你要是心灵鸡汤,段子,笑话,名人名言除外
乐透
我用了闯哥的方法,5600页面,收录5200多
Itseo-Kk
啥方法
乐透
提取,增益,

原文链接:采集百度知道后生成问答聚合详情页的流程(思路篇),转载请注明来源!

8