按内容类型查看抓取频率

latix60748@egvo

找出正在爬网的内容，或者是否有任何内容类型占用爬网预算，是发现爬网预算浪费的一个很好的检查方法。通过这种策略，可以轻松发现不必要或低优先级 CSS 和 JS 文件的频繁爬行，或者如果您尝试优化图像搜索，则图像上发生的爬行情况。

在 Excel 中，按内容类型查看爬网频率就像使用 Ends With 筛选选项按 URL 或 URI 词干进行筛选一样简单。



快速提示：您还可以使用“不结束于”过滤器并使用 .html 扩展名来查看非 HTML 页面文件的爬网方式 - 始终值得检查，以防爬网预算浪费在不必要的 js 或 css 文件，甚至图 office 365 数据库 像和图像变体上（看看您的 WordPress）。另外，请记住，如果您的网站包含尾随斜杠 URL 和非尾随斜杠 URL，请在过滤时使用“或”运算符将其考虑在内。

监视机器人：了解网站抓取行为
日志文件分析让我们了解机器人的优先级，从而了解它们的行为方式。不同的机器人在不同的情况下如何表现？有了这些知识，您不仅可以加深对 SEO 和爬行的理解，还可以让您在理解网站架构的有效性方面获得巨大的飞跃。

查看最多和最少抓取的 URL
此策略之前已通过查看用户代理抓取的 URL 进行了修改，但速度更快。

在 Excel 中，选择表中的一个单元格，然后单击“插入”>“数据透视表”，确保所选内容包含必要的列（在本例中为 URL 或 URI 词干和用户代理），然后单击“确定”。