首页 教程

教程

Python SQL Vue Spider
  • 【爬虫】高性能相关

    【爬虫】高性能相关

    一 背景知识    爬虫的本质就是一个socket客户端与服务端的通信过程,如果我们有多个url待爬取,只用一个线程且采用串行的方式执行,那只能等待爬取一个结束后才能继续下一个,效率会非常低。需要强调的是:对于单线程下串行N个任务,并不完全等同于低效,如果这N个任务都是纯计算的任务,那么该线程对cpu的利用率仍然会很高,之所以单线程下串行多个爬虫任务低效,是因为爬虫任务是明显的IO密集型程序。关于IO模型详见链接:http://www.cnblogs.com/linhaifeng/article...

    Spider 2019-12-03 22 0
  • 【爬虫】存储库之MongoDB

    【爬虫】存储库之MongoDB

    一 简介MongoDB是一款强大、灵活、且易于扩展的通用型数据库1、易用性MongoDB是一个面向文档(document-oriented)的数据库,而不是关系型数据库。 不采用关系型主要是为了获得更好得扩展性。当然还有一些其他好处,与关系数据库相比,面向文档的数据库不再有“行“(row)的概念取而代之的是更为灵活的“文档”(document)模型。 通过在文档中嵌入文档和数组,面向文档的方法能够仅使用一条记录来表现复杂的层级关系,这与现代的面向对象语言的开发者对数据的看法一致。 另外,不再有预定义模式(pr...

    Spider 2019-12-03 18 0
  • 【爬虫】解析库之beautifulsoup库

    【爬虫】解析库之beautifulsoup库

    一 介绍Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式.Beautiful Soup会帮你节省数小时甚至数天的工作时间.你可能在寻找 Beautiful Soup3 的文档,Beautiful Soup 3 目前已经停止开发,官网推荐在现在的项目中使用Beautiful Soup 4, 移植到BS4#安装 Beautiful Soup pip&nb...

    Spider 2019-12-03 30 0 爬虫
  • 数据分析开发环境部署

    数据分析开发环境部署

    1、AnacondaAnaconda是Python的一个开源的发行版本,里面包含了很多科学计算相关的包,它和Python的关系就像linux系统中centos和Ubuntu的关系一样,不冲突,你可以同时在电脑上安装这两个东西。那至于为什么我已经在电脑上安装了pycharm还要安装这个Anaconda呢,主要有以下几点原因:(1)Anaconda附带了一大批常用数据科学包,它附带了conda、Python和 150 多个科学包及其依赖项。因此你可以用Anaconda立即开始处理数据。(2)管理包。Anaconda 是...

    Spider 2019-12-02 19 0 数据分析
  • 数据分析介绍

    数据分析介绍

    1、数据分析是什么在我们如今这个时代,相信大多数人都能明白数据的重要性,数据就是信息,而数据分析就是可以让我们发挥这些信息功能的重要手段。2、数据分析能干什么对于数据分析能干什么其实我们可以简单的举几个例子:1、淘宝可以观察用户的购买记录、搜索记录以及人们在社交媒体上发布的内容选择商品推荐2、股票可以根据相应的数据选择买进卖出3、今日头条可以将数据分析应用到新闻推送排行算法当中4、爱奇艺可以为用户提供个性化电影推荐服务其实数据分析不仅可以完成像以上这样的推荐系统,在制药行业也可运用数据分析来预测什么样的化合物更有可...

    Spider 2019-12-02 24 0 数据分析
  • 【爬虫】请求库之selenium库

    【爬虫】请求库之selenium库

    一、介绍selenium最初是一个自动化测试工具,而爬虫中使用它主要是为了解决requests无法直接执行JavaScript代码的问题 selenium本质是通过驱动浏览器,完全模拟浏览器的操作,比如跳转、输入、点击、下拉等,来拿到网页渲染之后的结果,可支持多种浏览器 from selenium import webdriver browser=webdriver.Chrome() browser=webdriver.Firefox() browser=webdri...

    Spider 2019-11-29 23 0
  • 【爬虫】请求库之requests库

    【爬虫】请求库之requests库

    一、介绍#介绍:使用requests可以模拟浏览器的请求,比起之前用到的urllib,requests模块的api更加便捷(本质就是封装了urllib3) #注意:requests库发送请求将网页内容下载下来以后,并不会执行js代码,这需要我们自己分析目标站点然后发起新的request请求 #安装:pip3 install requests #各种请求方式:常用的就是requests.get()和requests.post() >>> import...

    Spider 2019-11-25 37 0 爬虫
  • 【爬虫】基本原理

    【爬虫】基本原理

    一、爬虫是什么?#1、什么是互联网?     互联网是由网络设备(网线,路由器,交换机,防火墙等等)和一台台计算机连接而成,像一张网一样。 #2、互联网建立的目的?     互联网的核心价值在于数据的共享/传递:数据是存放于一台台计算机上的,而将计算机互联到一起的目的就是为了能够方便彼此之间的数据共享/传递,否则你只能拿U盘去别人的计算机上拷贝数据了。 #3、什么是上网?爬虫要做的是什么?   &n...

    Spider 2019-11-25 45 0 爬虫
  • 【DRF】 django rest framework总结

    【DRF】 django rest framework总结

    1.接口""" 1、什么是接口:url+请求参数+响应数据 | 接口文档 2、接口规范: url:https,api,资源(名词复数),v1,get|post表示操作资源的方式,?过滤条件 响应数据:status,msg,results|data,url资源数据 """2.DRF入门""" 1、封装风格 2、请求生命周期:走APIView的as_view =>&nb...

    Python 2019-10-25 113 0 DRF
  • 【DRF】偏移分页组件/游标分页组件/自定义过滤器/过滤器插件

    【DRF】偏移分页组件/游标分页组件/自定义过滤器/过滤器插件

    1.drf偏移分页组件pahenations.pyfrom rest_framework.pagination import LimitOffsetPagination class MyLimitOffsetPagination(LimitOffsetPagination):     # ?offset=从头偏移的条数&limit=要显示的条数     limit_quer...

    Python 2019-10-25 96 0 DRF
1 2 3 4 5 6 7 8 ››
登录
用户名
密码
注册
用户名
密码
确认密码
邮箱
获取邀请码
邀请码
验证码
找回密码
用户名
邮箱
※ 重置链接将发送到邮箱
召唤伊斯特瓦尔