服务器日志分析可以对爬网优先级提供无与伦比的见解，使搜索引擎优化团队能够微调爬网预算管理以获得更好的排名。

大多数网站运营商都不知道web服务器日志的重要性。他们不记录，更不用说分析他们网站的服务器日志了。尤其是大型品牌，它们无法利用服务器日志分析，无法挽回地丢失未记录的服务器日志数据。

选择接受服务器日志分析作为其持续SEO工作的一部分的组织通常在谷歌搜索中表现出色。如果您的网站包含100000页或更多页面，并且您希望了解服务器日志如何以及为什么会带来巨大的增长机会，请继续阅读。

为什么服务器日志很重要

每次机器人请求web服务器上托管的URL时，都会自动创建一个日志记录条目，以反映过程中交换的信息。当覆盖较长的时间段时，服务器日志将代表接收到的请求和返回的响应的历史记录。

服务器日志文件中保留的信息通常包括客户端IP地址、请求日期和时间、请求的页面URL、HTTP响应代码、服务的字节数以及用户代理和引用者。

虽然服务器日志是在每个请求网页的实例中创建的，包括用户浏览器请求，但搜索引擎优化只关注bot服务器日志数据的使用。这与涉及GDPR/CCPA/DSGVO等数据保护框架的法律考虑有关。由于没有用户数据用于SEO目的，原始的匿名web服务器日志分析仍然不受其他潜在适用法律法规的影响。

值得一提的是，在某种程度上，基于谷歌搜索控制台爬网统计数据，类似的见解是可能的。然而，这些样本的数量和时间跨度有限。与谷歌搜索控制台（GoogleSearchConsole）不同的是，它的数据只反映了过去几个月的数据，而只有服务器日志文件才能提供清晰、宏观的SEO长期趋势概述。

服务器日志中有价值的数据

每次bot请求服务器上托管的页面时，都会创建一个日志实例，记录多个数据点，包括：

请求客户端的IP地址。

请求的准确时间，通常基于服务器的内部时钟。

请求的URL。

HTTP用于请求。

返回的响应状态代码（例如，200、301、404、500或其他）。

来自请求实体的用户代理字符串（例如，搜索引擎bot名称，如Googlebot/2.1）。

典型的服务器日志记录示例可能如下所示：

150.174.193.196--[15/Dec/2021:11:25:14+0100]"GET/index.htmlHTTP/1.0"2001050"-""Googlebot/2.1(+http://www.google.com/bot.html)""www.example.ai"

Inthisexample:

150.174.193.196istheIPoftherequestingentity.

[15/Dec/2021:11:25:14+0100]isthetimezoneaswellasthetimeoftherequest.

"GET/index.htmlHTTP/1.0"istheHTTPmethodused(GET),thefilerequested(index.html)andtheHTTPprotocolversionused.

200istheserverHTTPstatuscoderesponsereturned.

1050isthebytesizeoftheserverresponse.

"Googlebot/2.1(+http://www.google.com/bot.html)"istheuseragentoftherequestingentity.

"www.example.ai"isthereferringURL.

如何使用服务器日志

从SEO的角度来看，web服务器日志提供无与伦比的洞察力有三个主要原因：

协助从合法机器人（如Googlebot、Bingbot或YandexBot）产生的理想搜索引擎机器人流量中过滤出没有SEO意义的不良机器人流量。

为爬网优先级提供SEO见解，从而使SEO团队有机会主动调整和微调爬网预算管理。

允许监视并提供发送到搜索引擎的服务器响应的跟踪记录。

假冒的搜索引擎机器人可能令人讨厌，但它们很少影响网站。有许多专门的服务提供商，如Cloudflare和AWSShield，可以帮助管理不需要的bot流量。在分析web服务器日志的过程中，假冒的搜索引擎机器人往往扮演次要角色。

为了准确地衡量除了主要搜索引擎之外，网站的哪些部分正在被优先排序，在执行日志分析时，必须对机器人程序流量进行过滤。根据目标市场的不同，重点可能是谷歌、苹果、必应、Yandex等搜索引擎机器人。

特别是对于内容新鲜度至关重要的网站，这些网站被重新爬网的频率会严重影响它们对用户的有用性。换句话说，如果内容变化得不够快，用户体验信号和有机搜索排名就不可能充分发挥其潜力。

带有三个搜索引擎徽标的图形，代表各自的网络爬虫。

只有通过服务器日志过滤，才有可能准确地衡量相关的搜索引擎bot流量。

虽然谷歌倾向于抓取所有可用信息，并定期重新抓取已知的URL模式，但其抓取资源并非无限。这就是为什么，对于由数十万个登录页组成的大型网站，重新爬网周期取决于谷歌的爬网优先级分配算法。

这种分配可以通过可靠的启动时间、高度响应的web服务得到积极的刺激，这些服务专门针对持续体验进行了优化。这些步骤本身就有助于SEO。但是，只有通过分析覆盖较长时间段的完整服务器日志，才有可能确定所有可爬网登录页的总容量之间的重叠程度，通常是较小数量的相关登录页，优化和可索引的SEO登录页在站点地图中有代表性，谷歌在爬行、索引和排名方面经常优先考虑。

这种日志分析是技术SEO审计的一个组成部分，也是发现预算浪费程度的唯一方法。无论是可爬行过滤、占位符还是精简内容页、开放的暂存服务器还是网站的其他过时部分，都会继续影响爬行，最终影响排名。在某些情况下，例如有计划的迁移，通过SEO审计（包括服务器日志分析）获得的见解通常决定迁移的成功与失败。

此外，日志分析为大型网站提供了重要的SEO见解。它可以回答谷歌需要多长时间重新扫描整个网站。如果这个答案恰好是决定性的长-数月或更长-行动可能是有保证的，以确保索引搜索引擎优化登录页被抓取。否则，网站的任何SEO改进都有可能在发布后数月内被搜索引擎忽视，这反过来又会导致排名不佳。

一个由三部分组成的维恩图，显示了谷歌爬行、XML站点地图和SEO登录页之间的重叠

可索引SEO登录页和Google定期爬行页面之间的高度重叠是一个积极的SEOKPI。

服务器响应对于谷歌搜索的可见性至关重要。虽然谷歌搜索控制台确实提供了对最近服务器响应的重要一瞥，但谷歌搜索控制台向网站运营商提供的任何数据都必须被视为具有代表性但样本有限。虽然这对于识别异常问题很有用，但通过服务器日志分析，可以分析和识别所有HTTP响应，包括任何可能危及排名的定量相关非200OK响应。如果性能问题（例如，503服务不可用的计划停机时间）过多，则可能的替代响应可能表示性能问题。

显示503和200状态代码的抽象图形

过多的非200OK服务器响应会对有机搜索可见性产生负面影响。

从哪里开始

尽管服务器日志分析具有潜力，但大多数网站运营商并未利用所提供的机会。服务器日志要么根本没有记录，要么定期被覆盖或不完整。绝大多数网站在任何有意义的时间段内都不会保留服务器日志数据。这对于任何愿意收集和利用服务器日志文件进行搜索引擎优化的运营商来说都是一个好消息。

在计划服务器日志数据收集时，值得注意的是，为了使数据可用，服务器日志文件中至少必须保留哪些数据字段。以下列表可视为指南：

请求实体的远程IP地址。

请求实体的用户代理字符串。

请求方案（例如，是HTTP或https或wss或其他内容的HTTP请求）。

请求主机名（例如，HTTP请求用于哪个子域或域）。

请求路径，通常是服务器上作为相对URL的文件路径。

请求参数，可以是请求路径的一部分。

请求时间，包括日期、时间和时区。

请求方法。

响应http状态代码。

响应时间。

如果请求路径是相对URL，则服务器日志文件中经常忽略的字段是记录请求的主机名和方案。这就是为什么与it部门确认请求路径是否为相对URL非常重要的原因，以便主机名和方案也记录在服务器日志文件中。一个简单的解决方法是将整个请求URL记录为一个字段，其中包括一个字符串中的方案、主机名、路径和参数。

收集服务器日志文件时，还必须包含来自CDN和网站可能使用的其他第三方服务的日志。请向这些第三方服务咨询如何定期提取和保存日志文件。

克服服务器日志分析的障碍

通常，为了应对保留服务器日志数据的迫切需要，会提出两个主要障碍：成本和法律问题。虽然这两个因素最终都取决于具体情况，如预算和法律管辖权，但两者都不必构成严重的障碍。

云存储可能是一种长期选择，物理硬件存储也可能会限制成本。由于大约20TB硬盘的零售价格低于600美元，硬件成本可以忽略不计。考虑到存储硬件的价格多年来一直在下降，最终存储成本不太可能对服务器日志记录构成严重挑战。

此外，日志分析软件或提供服务的SEO审计提供商将产生相关成本。虽然这些成本必须考虑到预算中，但考虑到服务器日志分析提供的优势，再次证明这些成本是合理的。

虽然本文旨在概述SEO服务器日志分析的固有好处，但不应将其视为法律建议。此类法律意见只能由符合法律框架和相关司法管辖权的合格律师提供。GDPR/CCPA/DSGVO等一系列法律法规可适用于此。尤其是在欧盟运营时，隐私是一个主要问题。但是，对于SEO的服务器日志分析，任何与用户相关的数据都是无关的。任何无法根据IP地址进行最终验证的记录都将被忽略。

关于隐私问题，不得使用任何未经验证且不是已确认的搜索引擎bot的日志数据，而是可以根据相关法律建议在规定的时间段后删除或匿名。一些最大的网站运营商正在定期采用这种久经考验的方法。

什么时候开始

剩下的主要问题是何时开始收集服务器日志数据。答案是现在！

服务器日志数据只能以有意义的方式应用，并在足够大的容量下提供可操作的建议。服务器日志对于搜索引擎优化审计的有用性通常在6到36个月之间，这取决于网站的大小及其爬网优先级信号。

需要注意的是，未记录的服务器日志不能在以后的阶段获取。很有可能，今天开始的任何保留和保存服务器日志的努力最早将在明年取得成果。因此，收集服务器日志数据必须在尽可能早的时间开始，并在网站运行期间不间断地继续进行，以便在有机搜索中表现良好。