WebScraper插件和Python的使用对比

WebScraper插件

是一款功能非常强大的浏览器插件,在很多时间可以方便快捷地生成网站数据爬虫,模拟浏览器行为去获取网站数据,能在一定程度上防止网站对python爬虫的屏蔽和反制,以获取数据。

具体的安装和使用见:Chrome插件网的详细介绍文章https://chromecj.com/productivity/2018-05/942.html

在使用了WebScraper插件和Python以后,从个人学习经验做个简单对比:

  • 插件下载和安装都是比较方便的,即使在墙的情况下,很多国内网站都提供了浏览器和插件的下载链接、安装教程
  • 目前部分国内浏览器不支持,只能在chorme和少数浏览器中使用
  • 可以抓取几乎所有网站数据,因为插件本身就是浏览器运行方式,可以得到正确数据
  • 教程比较全面,使用比较简单,适合针对不同网站的少量数据快速获取
  • 与Python爬虫对比:
    • 优势:
      • 学习成本低,节约时间,对照网络教程,3天时间的学习和应用能满足绝大部分的使用需求
      • 浏览器爬取,可以取到正确返回数据
      • 应用比较方便,可以针对不同网站的不同数据格式,编写专门爬取规则
    • 不足:
      • 不能自动运行,Python可以定时自动运行
      • 针对性比较强,不能广泛使用
      • 数据无序,还需后期进一步进行整理

WebScraper插件实例

抓取A股流通市值的WebScraper代码

微信公众号:Digiccy数据信息
关注我们,获取更多有价值的数据!
1200人已关注
分享到:
赞(0)