不要轻易使用 Chrome 复制的 XPath

家可以看到，数据就在网页源代码里面，那为什么我们在Chrome 上面通过 XPath Helper 就能提取数据，而用 requests 就无法提取数据?

实际上，如果大家仔细观察从 Chrome 中复制出来的 XPath，就会发现它里面有一个tbody节点。但是我们的网页源代码是没有这个节点的。

这就要说到 Chrome 开发者工具里面显示的 HTML 代码，跟网页真正的源代码之间的区别了。很多人分不清楚这两者的区别，所以导致写出的 XPath 匹配不到数据。

当我们说到网页源代码的时候，我们指的是在网页上右键，选择“显示网页源代码”按钮所查看到的 HTML 代码，如下图所示：

 

两个地方的HTML代码可能是不一样的，而且在现代化的网站中，这两个地方的 HTML大概率是不一样的。当我们使用 requests 或者 Scrapy 时，拿到的是第一种情况的源代码，这才是网页真正的源代码。而在开发者工具里面的 HTML 代码，是经过 Chrome 浏览器修饰甚至大幅度增删后的 HTML 代码。当网站有异步加载时，JavaScript 可以轻易在这里增加、删除非常多的内容。即使网站没有异步加载，如果网站原始的 HTML 代码编写不够规范，或者存在一些错漏，那么 Chrome 浏览器会自动纠错和调整。

以本文的例子来说，在 HTML 的官方规范里面，表格的正文确实应该包在标签里面。但现在大多数情况下，前端开发者都会省略这个标签，所以真正的源代码里面是没有这个标签的。而 Chrome 会自动识别到这种情况，然后自动加上这个标签，所以在开发者工具里面看到的 HTML 代码是有这个标签的。

当你写爬虫的时候，不仅仅是 Chrome 开发者工具里面复制的 XPath 仅作参考，甚至这个开发者工具里面显示的 HTML 代码也是仅作参考。你应该首先检查你需要的数据是不是在真正的源代码里面，然后再来确定是写 XPath 还是抓接口。如果是写 XPath，那么更应该以这个真正的源代码为准，而不是开发者工具里面的 HTML 代码。

（编辑：张家口站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!