python爬虫常用工具

• 基本请求操作: requests + beautiful Soup4
• 需要异步加载的网页：selenium
• 图形化抓包工具：charles， 命令行抓包工具： mitmproxy

*安卓原生爬虫：UiAutomator（谷歌提供的android的自动化接口图形接口测试框架），使用的前提是需要在电脑上安装安卓开发工具SDK

• Python分布式爬虫：scrapy
• 其他： https://github.com/MegatronKing/HttpCanary