WebScraper插件

是一款功能非常强大的浏览器插件，在很多时间可以方便快捷地生成网站数据爬虫，模拟浏览器行为去获取网站数据，能在一定程度上防止网站对python爬虫的屏蔽和反制，以获取数据。

具体的安装和使用见：Chrome插件网的详细介绍文章https://chromecj.com/productivity/2018-05/942.html

在使用了WebScraper插件和Python以后，从个人学习经验做个简单对比：

• 插件下载和安装都是比较方便的，即使在墙的情况下，很多国内网站都提供了浏览器和插件的下载链接、安装教程
• 目前部分国内浏览器不支持，只能在chorme和少数浏览器中使用
• 可以抓取几乎所有网站数据，因为插件本身就是浏览器运行方式，可以得到正确数据
• 教程比较全面，使用比较简单，适合针对不同网站的少量数据快速获取
• 与Python爬虫对比：
  • 优势：
    • 学习成本低，节约时间，对照网络教程，3天时间的学习和应用能满足绝大部分的使用需求
    • 浏览器爬取，可以取到正确返回数据
    • 应用比较方便，可以针对不同网站的不同数据格式，编写专门爬取规则
  • 不足：
    • 不能自动运行，Python可以定时自动运行
    • 针对性比较强，不能广泛使用
    • 数据无序，还需后期进一步进行整理

WebScraper插件实例

抓取A股流通市值的WebScraper代码

微信公众号：Digiccy数据信息

关注我们，获取更多有价值的数据！

1200人已关注