为了账号安全,请及时绑定邮箱和手机立即绑定

使用tornado 这种异步请求框架做爬虫,效率高么

使用tornado 这种异步请求框架做爬虫,效率高么

蛊毒传说 2018-10-10 12:52:02
查看完整描述

1 回答

?
阿波罗的战车

TA贡献1862条经验 获得超6个赞

同时在get或者post方法处理上应用@tornado.web.asynchronous和@tornado.gen.engine装饰器,可以非常方便的和有callback参数的异步方法配合实现非阻塞请求处理。
这里不想说官方的那个例子,因为官方的例子给的本来就是用异步的http客户端来拉取数据然后自己转到回调函数执行,讨论http客户端的代码不在本文范围内。于是我用一个简单的函数来演示,且这样更能说明问题。
class RegisterHandler(basehandler.BaseHandler):
@tornado.web.asynchronous
@tornado.gen.engine
def get(self, *arg, **args):
response = yield tornado.gen.Task(self.method_while)
print "response",response
self.finish()
查看完整回答
反对 回复 2018-10-24
  • 1 回答
  • 0 关注
  • 920 浏览

添加回答

举报

0/150
提交
取消
意见反馈 帮助中心 APP下载
官方微信