为了账号安全,请及时绑定邮箱和手机立即绑定

请问django和爬虫程序如何整合?

/ 猿问

请问django和爬虫程序如何整合?

慕圣8478803 2019-07-08 10:06:24

django和爬虫程序如何整合? 


查看完整描述

4 回答

?
侃侃无极

它采用类似策略模式的实现方法,该类有一个字符串的成员变量,用于存放该函数对象对应的函数名字,在ProcessFunction类中主要实现了process方法
此方法的功能是通过协议层从传输层中读取并解析出调用的参数,然后再由具体的函数对象提供的getResult函数计算出结果!

查看完整回答
反对 回复 2019-07-13
?
慕田峪9158850

django1.9.5&python3.4.4

文件结构


在一个爬虫脚本中将爬取的数据通过django自带的model保存到数据库

修改的文件(其余pycharm新建Django项目生成,未修改):

# testapp/models.pyfrom django.db import models class Problem(models.Model):    title = models.CharField(max_length=100, default="")    author = models.CharField(max_length=100, default="")    def __str__(self):        return self.title    pass# testapp/spider.pyimport osimport sysimport django pathname = os.path.dirname(os.path.abspath(__file__))sys.path.insert(0, pathname)sys.path.insert(0, os.path.abspath(os.path.join(pathname, '..')))os.environ.setdefault("DJANGO_SETTINGS_MODULE", "testproject.settings") django.setup() from testapp.models import Problem if __name__ == "__main__":    p = Problem(title="hi", author="hi")    p.save()    pass# testproject/setting.py......INSTALLED_APPS = [    'django.contrib.admin',    'django.contrib.auth',    'django.contrib.contenttypes',    'django.contrib.sessions',    'django.contrib.messages',    'django.contrib.staticfiles',    # 添加应用    'testapp',]......# testapp/admin.py 在后台管理界面注册 Problemfrom django.contrib import admin # Register your models here. from testapp.models import Problemadmin.site.register(Problem)

运行spider.py,添加一条实例记录


运行Django项目, 创建管理员账号, 后台管理界面查看结果



查看完整回答
反对 回复 2019-07-13
?
慕函数4003404

Django 模型是与数据库相关的,与数据库相关的代码一般写在 models.py 中,Django 支持 sqlite3, MySQL, PostgreSQL等数据库,只需要在settings.py中配置即可,不用更改models.py中的代码,丰富的API极大的方便了使用。

本节的最后有源代码,但建议初学者按照代码操作,有问题再下载源代码和自己的代码进行比较。
多动手,这是学习编程最好的方法!
1. 新建项目和应用
django-admin.py startproject learn_models # 新建一个项目
cd learn_models # 进入到该项目的文件夹
django-admin.py startapp people # 新建一个 people 应用(app)

补充:新建app也可以用 python manage.py startapp people, 需要指出的是,django-admin.py 是安装Django后多出的一个命令,并不是运行的当前目录下的django-admin.py(当前目录下也没有),但创建项目会生成一个 manage.py 文件。

那project和app什么关系呢?

一个项目一般包含多个应用,一个应用也可以用在多个项目中。

2. 添加应用
将我们新建的应用(people)添加到 settings.py 中的 INSTALLED_APPS中,也就是告诉Django有这么一个应用。
INSTALLED_APPS = (
'django.contrib.admin',
'django.contrib.auth',
'django.contrib.contenttypes',
'django.contrib.sessions',
'django.contrib.messages',
'django.contrib.staticfiles',

'people',
)

3. 修改models.py
我们打开 people/models.py 文件,修改其中的代码如下:

from django.db import models

class Person(models.Model):
name = models.CharField(max_length=30)
age = models.IntegerField()

我们新建了一个Person类,继承自models.Model, 一个人有姓名和年龄。
这里用到了两种Field,更多Field类型可以参考教程最后的链接。
4. 创建数据表
我们来同步一下数据库(我们使用默认的数据库 SQLite3,无需配置)
先 cd 进入 manage.py 所在的那个文件夹下,输入下面的命令

# Django 1.6.x 及以下
python manage.py syncdb

# Django 1.7 及以上的版本需要用以下命令
python manage.py makemigrations
python manage.py migrate

Django 1.6.x 以下版本 显示大概如下:

Django 1.7.x 以上版本的同学会看到

我们会看到,Django生成了一系列的表,也生成了我们新建的people_person这个表,那么如何使用这个表呢?

5. 使用 Django 提供的 QuerySet API
Django提供了丰富的API, 下面演示如何使用它。
$ python manage.py shell

>>> from people.models import Person
>>> Person.objects.create(name="WeizhongTu", age=24)
<Person: Person object>
>>>

我们新建了一个用户WeizhongTu 那么如何从数据库是查询到它呢?
>>> Person.objects.get(name="WeizhongTu")
<Person: Person object>
>>>

我们用了一个 .objects.get() 方法查询出来符合条件的对象,但是大家注意到了没有,查询结果中显示<Person: Person object>,这里并没有显示出与WeizhongTu的相关信息,如果用户多了就无法知道查询出来的到底是谁,查询结果是否正确,我们重新修改一下 people/models.py
name 和 age 等字段中不能有 __(双下划线,因为在Django QuerySet API中有特殊含义(用于关系,包含,不区分大小写,以什么开头或结尾,日期的大于小于,正则等)
也不能有Python中的关键字,name 是合法的,student_name 也合法,但是student__name不合法,try, class, continue 也不合法,因为它是Python的关键字( import keyword; print(keyword.kwlist) 可以打出所有的关键字)
from django.db import models

class Person(models.Model):
name = models.CharField(max_length=30)
age = models.IntegerField()

def __unicode__(self):
# 在Python3中使用 def __str__(self):
return self.name

按 CTRL + C 退出当前的 Python shell, 重复上面的操作,我们就可以看到:

新建一个对象的方法有以下几种:
Person.objects.create(name=name,age=age)
p = Person(name="WZ", age=23)
p.save()
p = Person(name="TWZ")
p.age = 23
p.save()
Person.objects.get_or_create(name="WZT", age=23)
这种方法是防止重复很好的方法,但是速度要相对慢些,返回一个元组,第一个为Person对象,第二个为True或False, 新建时返回的是True, 已经存在时返回False.

获取对象有以下方法:
Person.objects.all()
Person.objects.all()[:10] 切片操作,获取10个人,不支持负索引,切片可以节约内存

Person.objects.get(name=name)

get是用来获取一个对象的,如果需要获取满足条件的一些人,就要用到filter
Person.objects.filter(name="abc") # 等于Person.objects.filter(name__exact="abc") 名称严格等于 "abc" 的人
Person.objects.filter(name__iexact="abc") # 名称为 abc 但是不区分大小写,可以找到 ABC, Abc, aBC,这些都符合条件

Person.objects.filter(name__contains="abc") # 名称中包含 "abc"的人
Person.objects.filter(name__icontains="abc") #名称中包含 "abc",且abc不区分大小写

Person.objects.filter(name__regex="^abc") # 正则表达式查询
Person.objects.filter(name__iregex="^abc") # 正则表达式不区分大小写

filter是找出满足条件的,当然也有排除符合某条件的
Person.objects.exclude(name__contains="WZ") # 排除包含 WZ 的Person对象
Person.objects.filter(name__contains="abc").exclude(age=23) # 找出名称含有abc, 但是排除年龄是23岁的

查看完整回答
反对 回复 2019-07-13
?
慕哥6287543

这些模组的使用是需要相对路径以及可以搜索到的;
你需要看一下包的定义和导入;
在python里面含有__init__.py的文件的文件夹叫做包;
才能进行导入:

from django.http import httpresponse
表示:django是一个包,它下面包含一个包http,
httpresponse应该是类名或者函数;

查看完整回答
反对 回复 2019-07-13

添加回答

回复

举报

0/150
提交
取消
意见反馈 帮助中心 APP下载
官方微信