【金秋打卡】第3天 爬虫面试题笔记

python 工程師 -爬蟲面試題 -講師??

請簡述HTTP 和 HTTPS 區別?

HTTP : 超文本"明文"传输协议 Port: 80

HTTPS: SSL+HTTP -數據加密 + HTTP 需要帳密 Port: 443

常见的响应状态码有哪些, 分别代表甚么意思?

200 请求成功

302 资源(网页等)被永久转移到其他URL

404 请求的资源不存在

500 内部服务器错误

列举请求头中常见的栏位?

User-Agent: 客户端请求标示

Accept: 传输文件类型

Referer: 请求跳转来源

cookie: 登陆凭据

Content-Type: 数据类型

cookie 和 session 的区别?

cookie 和 session 都是跟踪浏览用户者的

cookie保存在客户端 session保存在服务器端

cookie过期看生成时设置的值 session过期看服务器设定

IP proxy distinction?

透明代理:

最不安全 -爬虫请求数据时会携带真实IP

普通匿名代理

-改变请求, 隐藏真实IP

高匿名代理

-隐藏真实IP, 不改变请求

python 中 有哪些框架和技术被应用于爬虫?

爬虫请求数据 -request, selenium, scrapy

爬虫解析数据 -beautifulsoup, lxml, xpath, re

爬虫存储数据 -pymongo, redis

常见的反爬手段有哪些 及破解办法?

Headers反爬 -User-Agent : 携带正确的User-Agent和使用随机User-Agent列表和fake-useragent

Headers反爬 -cookie : 注册多个帐号获取数据 或 破解JS生成cookie逻辑

Headers反爬 -通过referer栏位: 伪造referer

IP反爬 -IP limitation: IP proxies pool

验证码反爬: pytesseract/ 商业打码平台/ selenium

前端JS加密: 破解JS -pyexeJS/ selenium

如何增量爬取数据? (能够保存上一次的状态)

scrapy-redis 透过url 生成redis 指纹 比对下一次的指纹