第2页

【Go】语言介绍

Go语言介绍Go 即Golang，是Google公司2009年11月正式对外公开的一门编程语言。Go是静态强类型语言，是区别于解析型语言的编译型语言。解析型语言——源代码是先翻译为中间代码，然后由解析器对代码进行解释执行。编译型语言——源代码编译生成机器语言，然后由机器直接执行机器码即可执行。Go语言特性跨平台的编译型语言语法接近C语言管道（channel），切片（slice），并发（routine）有垃圾回收的机制支持面向对象和面向过程的编程模式Go语言发展（版本/特性）2009年11月7日 weekly.200...

Go 2019-12-09 116 0
【爬虫】高性能相关

一背景知识爬虫的本质就是一个socket客户端与服务端的通信过程，如果我们有多个url待爬取，只用一个线程且采用串行的方式执行，那只能等待爬取一个结束后才能继续下一个，效率会非常低。需要强调的是：对于单线程下串行N个任务，并不完全等同于低效，如果这N个任务都是纯计算的任务，那么该线程对cpu的利用率仍然会很高，之所以单线程下串行多个爬虫任务低效，是因为爬虫任务是明显的IO密集型程序。关于IO模型详见链接：http://www.cnblogs.com/linhaifeng/article...

Spider 2019-12-03 101 0
【爬虫】存储库之MongoDB

一简介MongoDB是一款强大、灵活、且易于扩展的通用型数据库1、易用性MongoDB是一个面向文档（document-oriented）的数据库，而不是关系型数据库。不采用关系型主要是为了获得更好得扩展性。当然还有一些其他好处，与关系数据库相比，面向文档的数据库不再有“行“（row）的概念取而代之的是更为灵活的“文档”（document）模型。通过在文档中嵌入文档和数组，面向文档的方法能够仅使用一条记录来表现复杂的层级关系，这与现代的面向对象语言的开发者对数据的看法一致。另外，不再有预定义模式（pr...

Spider 2019-12-03 113 0
【爬虫】解析库之beautifulsoup库

一介绍Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式.Beautiful Soup会帮你节省数小时甚至数天的工作时间.你可能在寻找 Beautiful Soup3 的文档,Beautiful Soup 3 目前已经停止开发,官网推荐在现在的项目中使用Beautiful Soup 4, 移植到BS4#安装 Beautiful Soup pip&nb...

Spider 2019-12-03 158 0 爬虫
数据分析开发环境部署

1、AnacondaAnaconda是Python的一个开源的发行版本，里面包含了很多科学计算相关的包，它和Python的关系就像linux系统中centos和Ubuntu的关系一样，不冲突，你可以同时在电脑上安装这两个东西。那至于为什么我已经在电脑上安装了pycharm还要安装这个Anaconda呢，主要有以下几点原因：（1）Anaconda附带了一大批常用数据科学包，它附带了conda、Python和 150 多个科学包及其依赖项。因此你可以用Anaconda立即开始处理数据。（2）管理包。Anaconda 是...

Spider 2019-12-02 122 0 数据分析
数据分析介绍

1、数据分析是什么在我们如今这个时代，相信大多数人都能明白数据的重要性，数据就是信息，而数据分析就是可以让我们发挥这些信息功能的重要手段。2、数据分析能干什么对于数据分析能干什么其实我们可以简单的举几个例子：1、淘宝可以观察用户的购买记录、搜索记录以及人们在社交媒体上发布的内容选择商品推荐2、股票可以根据相应的数据选择买进卖出3、今日头条可以将数据分析应用到新闻推送排行算法当中4、爱奇艺可以为用户提供个性化电影推荐服务其实数据分析不仅可以完成像以上这样的推荐系统，在制药行业也可运用数据分析来预测什么样的化合物更有可...

Spider 2019-12-02 119 0 数据分析
利用腾讯云函数设置定时任务实现腾讯视频自动签到获得V力值

腾讯视频vip花了钱，还不能自动升级，要每天签到才涨V力值。升级VIP等级。。实在蛋疼。这次又是云服务器函数，搞了个脚本COOKIES方式登录。测试了40多天。还没到期，感觉自用够了。分享出来吧。。cookies获取麻烦点。不过也就一两分钟的事，能用1个月以上就够了。准备工具：chrome浏览器qq或微信登录腾讯云腾讯视频会员一枚第一步：获取cookies1.浏览器打开腾讯视频官网：https://v.qq.com/登录VIP账号（这里我就不详写了。应该都会。我是直接手机扫码登录）2.VIP账号登录成功后，打开另一...

头条 2019-12-02 267 0
【爬虫】请求库之selenium库

一、介绍selenium最初是一个自动化测试工具,而爬虫中使用它主要是为了解决requests无法直接执行JavaScript代码的问题 selenium本质是通过驱动浏览器，完全模拟浏览器的操作，比如跳转、输入、点击、下拉等，来拿到网页渲染之后的结果，可支持多种浏览器 from selenium import webdriver browser=webdriver.Chrome() browser=webdriver.Firefox() browser=webdri...

Spider 2019-11-29 115 0
【爬虫】请求库之requests库

一、介绍#介绍：使用requests可以模拟浏览器的请求，比起之前用到的urllib，requests模块的api更加便捷（本质就是封装了urllib3） #注意：requests库发送请求将网页内容下载下来以后，并不会执行js代码，这需要我们自己分析目标站点然后发起新的request请求 #安装：pip3 install requests #各种请求方式：常用的就是requests.get()和requests.post() >>> import...

Spider 2019-11-25 130 0 爬虫
【爬虫】基本原理

一、爬虫是什么？#1、什么是互联网？互联网是由网络设备（网线，路由器，交换机，防火墙等等）和一台台计算机连接而成，像一张网一样。 #2、互联网建立的目的？互联网的核心价值在于数据的共享/传递：数据是存放于一台台计算机上的，而将计算机互联到一起的目的就是为了能够方便彼此之间的数据共享/传递，否则你只能拿U盘去别人的计算机上拷贝数据了。 #3、什么是上网？爬虫要做的是什么？ &n...

Spider 2019-11-25 146 0 爬虫