python3_spider_mine

《一》、python爬虫的例子

一、爬取csdn论坛数据`csdn_spider`

二、爬取安智应用市场的数据`anzhi_selenium_spider`

peewee + selenium + chromedriver

三、京东某个商品详情页的数据`jd_selenium_spider`

peewee + selenium + chromedriver

四、b站滑动验证码，自动识别登录(2020-06-07)`bilibili_slenium_login`

五、使用scrapy爬取糗事百科(2020-06-08)`qiushibaike`

六、通过CrawlSpider对拉勾网站进行整站爬取(2020-06-09) `lagou`

七、线程池下载资源网的视频资源(2020-06-13) `video`

《二》、基础知识

一、区分动态和静态网页

打开网页的源代码(view-source:http://xxx.com)，复制需要爬的元素，查看source源码中是否有该元素，没有的话说明这个元素是动态加载的

二、免费代理ip网站

https://www.zdaye.com/dayProxy/ip/321750.html 站大爷

https://www.xicidaili.com/nn/8 高匿代理IP

三、收费代理ip网站

阿布云