爬虫

【爬虫】解析库之beautifulsoup库

一介绍Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式.Beautiful Soup会帮你节省数小时甚至数天的工作时间.你可能在寻找 Beautiful Soup3 的文档,Beautiful Soup 3 目前已经停止开发,官网推荐在现在的项目中使用Beautiful Soup 4, 移植到BS4#安装 Beautiful Soup pip&nb...

Spider 2019-12-03 31 0 爬虫
【爬虫】请求库之requests库

一、介绍#介绍：使用requests可以模拟浏览器的请求，比起之前用到的urllib，requests模块的api更加便捷（本质就是封装了urllib3） #注意：requests库发送请求将网页内容下载下来以后，并不会执行js代码，这需要我们自己分析目标站点然后发起新的request请求 #安装：pip3 install requests #各种请求方式：常用的就是requests.get()和requests.post() >>> import...

Spider 2019-11-25 38 0 爬虫
【爬虫】基本原理

一、爬虫是什么？#1、什么是互联网？互联网是由网络设备（网线，路由器，交换机，防火墙等等）和一台台计算机连接而成，像一张网一样。 #2、互联网建立的目的？互联网的核心价值在于数据的共享/传递：数据是存放于一台台计算机上的，而将计算机互联到一起的目的就是为了能够方便彼此之间的数据共享/传递，否则你只能拿U盘去别人的计算机上拷贝数据了。 #3、什么是上网？爬虫要做的是什么？ &n...

Spider 2019-11-25 46 0 爬虫

爬虫

【爬虫】解析库之beautifulsoup库

【爬虫】请求库之requests库

【爬虫】基本原理