标签归档:链接收集

基于sitemap的链接收集

0 sitemap基础 sitemap反映了一个网站网页的整体结构示意图。通过该网页,站长会将需要被抓取的页面全部列出来。 sitemap允许级联。按照[1],sitemap允许三种格式:txt、xml、索引格式。 但实际上,大量网站使用普通的html网页作为sitemap链接,因此html网页也需要考虑。

发表在 搜索引擎 | 标签为 , , | 留下评论