提高web爬虫开发效率的工具有哪些

涉及到的工具或技术

• Python 3.7
• Fiddler v5.0
• Charles v4.2.8

小工具

在线转换的工具网站：alisen39.com^[1]

将 webForms 的数据转成 dict 格式

工具地址： alisen39.com/FiddlerData^[2]

在 Fiddler 里面，webForms 的数据是 POST 请求所带的参数

可以直接将其复制出来然后转换成 dict 格式，如下：

然后将转换后的结果直接复制到你的爬虫代码里面就可以使用了！

将 Header 数据转成 dict 格式

工具地址： FiddlerHeader^[3]

Fiddler 里的 Header 部分，在 Raw 选项里面：

将其复制出来，然后粘贴到左边：

将 Cookies 的数据转成 dict 格式

工具地址： FiddlerCookie^[4]

Fiddler 里抓到的 Cookies 数据：

将其复制出来，然后粘贴到左边：

重磅工具！将 raw 的数据转成 reqeusts 代码

最重磅的一个功能！直接将包的内容转成 python 代码，真心节省 90% 的时间。

摁头推荐！！！

工具地址：HttpRaw^[5]

复制抓到的 Raw 信息，从 Fiddler 或者 Charles 里都可以。

将其复制出来，然后粘贴到左边：

再将右边的代码复制到你的IDE里面去