小白如何入门爬虫

在学习爬虫之前我们需要明白的一个问题：    爬虫能做什么？爬虫除了能够获取互联网的数据以外还能够帮我们完成很多繁琐的手动操作，这些操作不仅仅包括获取数据，还能够添加数据，比如：    1. 投票    2. 管理多个平台的多个账户(如各个电商平台的账号)    3. 微信聊天机器人实际的应用远不止上面这些，但是上面的应用只是除开数据本身的应用而已，数据本身的应用也是很广的：    1. 机器学习语料库    2. 垂直领域的服务(二手车估值)    3. 聚合服务(去哪儿网,美团)    4. 新闻推荐(今日头条)    5. 预测和判断(医疗领域)    所以爬虫能做的功能非常多，也就造就了爬虫的需求也是越来

python的多路复用实现聊天群

在我的《python高级编程和异步io编程》中我讲解了socket编程，这里贴一段用socket实现聊天室的功能的源码，因为最近工作比较忙，后期我会将这里的代码细节分析出来，目前先把代码贴上。大家自行研究运行一下。 server端： """ server select """ import sys import time import socket import select import logging from queue import Queue import queue g_select_timeout = 10 class Server(object): def __init__(self, host='0.0.0.0', port=3333, timeout=

mac下如何搭建python开发环境

1. 安装brew ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)" 2. 安装 mysql #安装 1. brew install mysql #启动 2. brew services start mysql #进入 mysql 3. mysql -u root -p 初次进入的时候会让你输入密码，这时候直接回车进入 #进入mysql后， 添加所有ip可以访问方式 GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY 'root' WITH GRANT OPTION; flush privileges; 3. 安装 pychar

从django、flask、tornado的部署说起

今天我们来讨论一下、django、flask和tornado的部署对比： 1. 概述 在python的web开发框架中，目前使用量最高的几个是django、flask和tornado， 经常会有人拿这几个对比，相信大家的初步印象应该是 django大而全、flask小而精、tornado性能高。 tornado性能比django和flask高很多是因为tornado在底层io处理机制上和django以及flask有着根本的区别： 1. tornado、gevent、asyncio、aiohttp：底层使用的是事件循环+协程 2. django和flask： 传统的模型，阻塞io模型 虽然django和flask

python与java、php、go的优势对比

看来关心这个问题的人比较多， 这里就重点细说一下： 首先在讲解python的优势之前， 大家需要先将这里的语言进行一个分类， 这里我们按照动态语言和静态语言来分类： 动态语言： python， javascript， php， ruby等 静态语言： java， c， c++, go等 注： 动态语言也经常被大家称为脚本语言， 由于经常被称为脚本语言， 所以大多数时候大家都认为一些简单的任务就用python来说， 大型的项目python就做不了或者做不好，实际上这是一个很大的误区。 为了纠正大家对这个问题的

selenium和phantomjs爬取动态网页

1. 什么是动态网页 部分不懂前端的人可能对这个概念不是很理解，所以这里先解释一下什么是动态网页： 1. 正常情况下， 网站服务器给我们直接返回html源码。 2. html源码里面会指明我们还需要去请求的其他文件如css， js和image等 3. 这些请求在浏览器获取到html之后浏览器会主动分析这些请求然后依次去请求， 4. 然后浏览器会去执行js和css等文件， 这时候js文件实际上是可以直接操作html内容的， js可以修改我们的html源码。 5. 我们直接通过requests.get方法或者urllib获取到

技术干货：django通过celery实现发送邮件的异步执行（内附代码）

异步任务的重要性 大家在做web项目的时候经常会遇到一些耗时的操作， 比如： 发送邮件、发送短信、生成pdf。这些操作在某些情况下需要立即返回结果给用户，但是可以在后台异步执行。 比如用户邮箱注册的时候， 在发送邮件的时候可以先把"已经发送激活邮件到邮箱"返回给用户， 同时把邮件发送任务提交到异步处理线程中。 现在介绍一款python写的专门用于处理异步任务的框架--celery。当然celery能完成的功能远不止异步任务， 还有一个很常用的功能--定时任务 celery的功能还包括：定义工