Django 框架3：ORM基础--建表和增、删、改、查

一、Django的ORM配置：

    settings.py配置数据库引擎，在pycharm里使用import django.db.backends.查看支持的数据库模块。

    添加pymysql模块，django默认使用MySQLdb模块操作mydql，所以要在project下__init__.py中，加载pymysql模块,

    注册app，settings.py的INSTALLED_APPS添加

    定义表结构，app下的models.py添加models，Meta定义表名

    1、settings.py配置数据库引擎

        默认引擎是sqlite3，默认的数据库是自带的db.sqlite3

DATABASES = {
    'default': {
        'ENGINE': 'django.db.backends.sqlite3',
        'NAME': os.path.join(BASE_DIR, 'db.sqlite3'),
    }
}

        自定义引擎方法：

DATABASES = {
    'default': {
        'ENGINE': 'django.db.backends.mysql',                # 指定引擎
        'NAME': 'os.path.join(BASE_DIR, 'db name')',         # 数据库名，如果是远程，直接与库名。
        # 以下可省
        'USER': '',         # 登陆数据库用户名
        'PASSWORD': '',     # 密码
        'HOST': '',         # 远程数据库ip或主机名
        'PORT': ''          # 端口
    }
}

    2、加载pymysql模块：

        因为我熟悉pymysql模块，所以设置成pymysql，

        python3没有，所以先进行安装：pip install pymysql，再在django里设置 

# 设置默认ORM模块，路径：project下的project命名的文件夹下，__init__.py添加
import pymysql
pymysql.install_as_MySQLdb()

    3、注册APP，向settings.py的INSTALLED_APPS添加新建的app

INSTALLED_APPS = [
    'django.contrib.admin',
    'django.contrib.auth',
    'django.contrib.contenttypes',
    'django.contrib.sessions',
    'django.contrib.messages',
    'django.contrib.staticfiles',
    'ormtest',                        # 新加的app
]

    4、使用ORM类，定义表结构

# 路径：app目录下的models.py定义
from django.db import models

class UserInfo(models.Model):
    username = models.CharField(max_length=32)
    password = models.CharField(max_length=20)

class Meta:
    # 调用元类，自定义表名为user
    # 如果不定义表名，默认表名：appname_classname，本例中ormtest_userinfo
    db_table = 'user'

    5、使用manage.py添加数据表。

        在cmd下运行

c:\class2>python manage.py makemigrations     #   生成migrations临时文件
c:\class2>python manage.py migrate            #   根据migrations生成数据库表

        修改表结构：表结构变动时，也需要再次运行这两个命令

二、ORM字段类型和参数：

            灰字段类型，仅供Django admin使用，如果不使用admin管理，和正常的CharField字段一样，没有区别

            Django可以把自定义模型添加到Admin后台管理中，

            在admin后台管理时，如果定义了本文【灰字段】，提交时，admin进行格式校验，不符合提示错误，无法提交

            添加方法：

# 找到admin.py文件，把自定义模型注册到admin
from django.contrib import admin                # 添加admin时自动存在
from ormtest import models                      # 导入模型
admin.site.register(models.UserInfo)            # 注册UserInfo模型

        1、字段类型

注：CommaSeparatedIntegerField(CharField)  - 字符串类型，格式必须为逗号分割的数字，Django1.9中被删除

        使用CharField(validators=[validate_comma_separated_integer_list]) instead.

        validate_comma_separated_integer_list需要从django.core.validators 中导入

        2、字段的通用参数：

    null                数据库中字段是否可以为空
    db_column           数据库中字段的列名
    db_tablespace
    default             数据库中字段的默认值
    primary_key         数据库中字段是否为主键
    db_index            数据库中字段是否可以建立索引
    unique              数据库中字段是否可以建立唯一索引
    unique_for_date     数据库中字段【日期】部分是否可以建立唯一索引
    unique_for_month    数据库中字段【月】部分是否可以建立唯一索引
    unique_for_year     数据库中字段【年】部分是否可以建立唯一索引

    verbose_name        Admin中显示名称，替换字段名称
    blank               Admin中是否允许用户输入为空
    editable            Admin中是否可以编辑
    help_text           Admin中该字段的提示信息
    choices             Admin中显示选择框的内容，用不变动的数据放在内存中从而避免跨表操作
                        （简单说就是写死在程序中了）在Django的HTML中显示为下拉列表
                        如：gf = models.IntegerField(choices=[(0, '何穗'),(1, '大姐'),],default=1)

    error_messages      自定义错误信息（字典类型），从而定制想要显示的错误信息；
                        字典健：null, blank, invalid, invalid_choice, unique, and unique_for_date
                        如：{'null': "不能为空.", 'invalid': '格式错误'}

    validators          自定义错误验证（列表类型），从而定制想要的验证规则
                        from django.core.validators import RegexValidator
                        from django.core.validators import EmailValidator,URLValidator,DecimalValidator,\
                        MaxLengthValidator,MinLengthValidator,MaxValueValidator,MinValueValidator
                        如：
                            test = models.CharField(
                                max_length=32,
                                error_messages={
                                    'c1': '优先错信息1',
                                    'c2': '优先错信息2',
                                    'c3': '优先错信息3',
                                },
                                validators=[
                                    RegexValidator(regex='root_\d+', message='错误了', code='c1'),
                                    RegexValidator(regex='root_112233\d+', message='又错误了', code='c2'),
                                    EmailValidator(message='又错误了', code='c3'), ]
                            )

            附：       
            自定义无符号整数字段
                class UnsignedIntegerField(models.IntegerField):
                    def db_type(self, connection):
                        return 'integer UNSIGNED'
        
                PS: 返回值为字段在数据库中的属性，Django字段默认的值为：
                    'AutoField': 'integer AUTO_INCREMENT',
                    'BigAutoField': 'bigint AUTO_INCREMENT',
                    'BinaryField': 'longblob',
                    'BooleanField': 'bool',
                    'CharField': 'varchar(%(max_length)s)',
                    'CommaSeparatedIntegerField': 'varchar(%(max_length)s)',
                    'DateField': 'date',
                    'DateTimeField': 'datetime',
                    'DecimalField': 'numeric(%(max_digits)s, %(decimal_places)s)',
                    'DurationField': 'bigint',
                    'FileField': 'varchar(%(max_length)s)',
                    'FilePathField': 'varchar(%(max_length)s)',
                    'FloatField': 'double precision',
                    'IntegerField': 'integer',
                    'BigIntegerField': 'bigint',
                    'IPAddressField': 'char(15)',
                    'GenericIPAddressField': 'char(39)',
                    'NullBooleanField': 'bool',
                    'OneToOneField': 'integer',
                    'PositiveIntegerField': 'integer UNSIGNED',
                    'PositiveSmallIntegerField': 'smallint UNSIGNED',
                    'SlugField': 'varchar(%(max_length)s)',
                    'SmallIntegerField': 'smallint',
                    'TextField': 'longtext',
                    'TimeField': 'time',

三、表结构

        1、定义基本表结构：

            把表结构，使用migrate命令，创建成数据表，表名默认是appname_userinfo

from django.db import models
from django.core.validators import validate_comma_separated_integer_list
class UserInfo(models.Model):
    username = models.CharField(max_length=32)
    email = models.EmailField(max_length=50, default='111@126.com')
    password = models.CharField(max_length=20, verbose_name='干啥呢？密码')
    test = models.CharField(validators=[validate_comma_separated_integer_list], max_length=100,default='1,2,3')
    test1 = models.GenericIPAddressField(default='1.2.2.2')
    test_url = models.URLField(default='http://localhost')
    test_slug = models.SlugField(default='da_wei')
    test_bool = models.BooleanField(default=True)
    test_bool_null = models.NullBooleanField(default=False)
    test_filepath = models.FilePathField(path='2/', default='2/')
    # test_uuid = models.UUIDField(default='1')    # default不合法，不能同步到数据库，备注
    user_type_choices = (
        (1, '超级用户'),
        (2, '管理员用户'),
        (3, '普通用户'),
        )
    user_type_id = models.IntegerField(choices=user_type_choices, default=3)

dependencies = [
    ('ormtest', '0012_userinfo_test_bool_null'),
]

    2、使用元信息修改表属性

class Meta:
    # 数据库中生成的表名称 默认 app名称 + 下划线 + 类名
    # db_table = "table_name"

    # 联合索引
    index_together = [
        ("username", "email"),
    ]

    # 联合唯一索引，两个字段加一起不重复
    unique_together = (("username", "user_type_id"),)

    # admin中显示的表名称
    verbose_name = '用户信息表'

    # verbose_name加s
    verbose_name_plural = '多用户信息表'

四、Django ORM操作数据库：

    django orm类提供的数据操方法。增、删、改、查。

    以下操作都是基于models.ClassName.objects

        ORM字典形式的增删改查

            dic = {'name':'root', 'pwd':'123456'}

            增：models.User.objects.create(**dic)

            改：models.User.objects.filter(id=1).update(**dic)

            查：models.User.objects.filter(**dic)

    1、添加数据：

        方法一(常用)：使用models.UserInfo.objects.create

from ormtest import models
def add(request):
    obj = models.UserInfo.objects.create(username='root',password='123456')
    return HttpResponse('<h2>添加成功</h2>')

        方法二：使用字典传参数,字典前加**，修改、删除、查询，都可以用这种形式

form ormtest import models
def add(request):
    info_dic = {'username': 'root', 'password': '1234567'}
    obj = models.UserInfo.objects.create(**info_dic)

        方法三：使用save()方法。

from ormtest import models
def add(request):
    obj = models.UserInfo(username='root1',password='1234568')
    obj.save()

    2、删除数据：

        delete()方法删除筛选对象。

from ormtest import models
def del_data(request):
    obj = models.UserInfo.objects.filter(password='12345678').delete()
    # 删除密码为12345678的记录
    return HttpResponse('done!')

        清空表！！！

from ormtest import models
def del_data(request):
    obj = models.UserInfo.objects.all().delete()
    # 删除密码为12345678的记录
    return HttpResponse('done!')

    3、修改数据：

         update()方法修改。updata(filedname=value),可以配合filter(条件).all()批量修改

def one_modify(request):
    result = models.UserInfo.objects.filter(user_name='root1').update(password='111111')
    return HttpResponse('modify ok')

    4、查询数据：

            django查询到的数据和sqlalchemy一样，都是对象，使用：.字段读取

            查询结果可直接传到html模板文件，也使用：.+字段读取

            all()结果是Queryset对象列表，first()结果是Queryset对象，query可以用来查看这个ORM查询语句最终被翻译成的SQL语句。

            get()结果是普通对象，不能使用query查询

        .filter()按条件查询：结果是所有符件条件的QuerySet列表，查看类型是<class 'django.db.models.query.QuerySet'>

from ormtest import models
def query_data(request):
    result = models.UserInfo.objects.filter(username='root1').all()  # 如果读取所有可以不加all
    return HttpResponse(result)

        .all()查所有，结果是QuerySet的object列表。

form ormtest import models
def query_data(request):
    all_data = models.UserInfo.objects.all()
    retrun HttpResponse(all_data)

        .first()结果中的首个，QuerySet对象。

from ormtest import models
def query_data(request):
    one_data = models.UserInfo.objects.filter(username='root1').first()
    # 结果只显示符合条件的第一个对象
    print(one_data.id, one_data.name, one_data.password)
    # 使用.读取id，html模板也使用相同方式读取
    retrun HttpResponse(one_data)

        .get()方法查询单条数据，如果不存在数据或查到多个数据，报错！，结果是对象

from ormtest import models
def query_data(request):
    one_data = models.UserInfo.objects.get(id=1)        # 一般指定字段唯一值
    return HttpResponse('ok')

        .exclude()包含不满足给定的查找参数的对象

from ormtest import models
def query_exdata(request):
    exdata = models.UserInfo.objects.exclude(genter=True)
    return HttpResponse('女：{}'.format(exdata))

        .values()获取指定字段的值：返回字典

all_data = models.UserInfo.objects.all().values('name','password')
# 结果是Queryset对象，[{'name':'','password':''},{'name':'','password':''},{'name':'','password':''}]

        .values_list()获取指定字段的值，返回元组

all_data = models.UserInfo.objects.all().values('name','password')
# 结果是Queryset对象，[('name1','pw1'),('name2','pw2'),('name3','pw3')]

        .clear()，清空表

        .count()，统计查询结果的数量

result = models.UserInfo.objects.all().count()    # 统计所有
result = models.UserInfo.objects.filter(username='root').count()    # 统计root名字有几个

    5、分组与统计

        annotate：分组查询，可以指定KEY，结果是一个Queryset

        aggregate：聚合查询，可以指定KEY，结果是一个字典

        区别：annotate方法返回结果的不仅仅是含有统计结果的一个字典，而是包含有新增统计字段的查询集(queryset）

from django.db.models import Sum,Count,Avg,Max,Min
# -----------aggregate--------------:
obj = models.UserInfo.objects.filter(age__lt=18).aggregate(Count('age'))    # 小于18岁的人数，结果是{'name__count':100}
obj = models.UserInfo.objects.filter(age__lt=18).aggregate(count=Count('age'),max=Max('age'))  # 指定了字段，结果是{'count':100,'max':17}
# 也可以使用__跨表统计(正向，salary是定义的外键,)
obj = models.UserInfo.objects.filter(group='DBA').aggregate(Avg('salary__money'))        # 求所有DBA的平均工资

# 返向跨表，UserInfo模型定义了group的ForeignKey，使用   小写的模型名__字段
obj = models.GroupInfo.objects.filter(group='DBA').aggregate(Avg('userinfo__age'))        # 求DBA的平均年龄

# -----------annorate-----------
# 返回的是Queryset的对象列表
obj = models.GroupInfo.objects.annotate(avg_age=Avg('userinfo__age'))        # 每个职位的平均年龄，读取obj[0].avg_age
# 想要直接显示返回字典列表，后面加上.values
obj = models.GroupInfo.objects.annotate(avg_age=Avg('userinfo__age')).values('name',avg_age)

# 带value方法，返回的是Queryset 字典列表
obj = models.UserInfo.objects.values('gender').annotate(avg=Avg('age'))    # 对男、女分组，统计每组的平均年龄
# 结果：<Queryset [{'gender':'男','avg':28},{'gender':'女','avg':22}]>

obj = models.UserInfo.objects.values('gender').annotate(many=count('name')).filter(group='DBA') 
# filter一定要放在后面
# 分别统计职位是DBA职员的男、女数量<Queryset [{'gender':'男','many':99},{'gender':'女','many':1}]>

obj = models.GroupInfo.objects.annotate(many='userinfo__name').order_by('-many').values('name','many')[0:5]
# 统计人数最多的五个职位,annotate对象名可以用于order_by

五、关系运算：

    1、运算符：

        字段名加__条件=值，条件：

                gt大于，gte大于等于，lt小于，lte小于等于，in在列表中，

                icontains大小写不敏感，contains大小写敏感

                isnull判断字段是否为空

                range范围[1,6]，

                startswith以某个值开头，istartswith(不区分大小写)以某个值开头，endswith以某个值结尾，iendswith（不区分大小写）以某个值结尾

from ormtest import models
obj = models.UserInfo.objects.filter(age__lt=35)
obj = models.UserInfo.objects.filter(age__lte=35)
obj = models.UserInfo.objects.filter(age__gt=35)
obj = models.UserInfo.objects.filter(age__gte=35)
obj = models.UserInfo.objects.filter(group__in=['DB','FTP','WEB'])

obj = models.UserInfo.objects.filter(name__icontains='o') # 所有name中有大写和小写o的名字
obj = models.UserInfo.objects.filter(name__contains='o')

obj = models.UserInfo.objects.filter(mobile__isnull=True) # 电话不为空的字段

obj = models.UserInfo.objects.filter(age__range=[20,30])   # 年龄在20-30之间的，
# 当range参数为日期时，使用make_aware转换
    start_time = make_aware(datetime(year=2018,month=11,day=2,hour=16,minute=0,second=0))
    end_time = make_aware(datetime(year=2018,month=11,day=2,hour=17,minute=0,second=0))
    obj = models.UserInfo.objects.filter(age__range=[start_time,end_time])
    
obj = models.UserInfo.objects.filter(name__startswith='r')      # 以小写r开头的
obj = models.UserInfo.objects.filter(name__istartswith='r')     # 以大小或小写r开头的

    2、分组、排序与统计：

        count()，统计记录数量

        order_by()，排序ASC

        order_by(-)，排序DESC

        group_by()，分组

obj = models.UserInfo.objects.filter(name__istartswith='r').count()        # 统计名字里包含'r'的记录数量

obj = models.UserInfo.objects.filter(name__istartswith='r').order_by('age')         # 按年龄从大到小ASC
obj = models.UserInfo.objects.filter(name__istartswith='r').order_by('-age')        # 按年龄从小到大DESC

# 分组：
from django.db.models import Count
obj = models.UserInfo.objects.filter(name__istartswith='r').values('age').annotate(age_same=Count('name'))
# 筛选名字以r开头的所有记录，获取age，Count是计算每个age中name的数量，并把数量起个名字age_same
返回值是一个字典列表，[{'age':19,'age_same':2},{'age':20,'age_same':6}]

    3、切片：

        [开始:结束]，从列表下开始下标到结束，（不包括结束）

obj = models.UserInfo.objects.all()[0:2]    # 结果中的下标0，1

     4、时间：

        时间可以关系运算结合

        date日期，接datetime对象；

        year年，接数字；month月，接数字；day日，接数字；week_day星期，接数字；hour小时，接数字；minute分，接数字；second秒，接数字

import datetime
obj = models.UserInfo.objects.filter(create_date__date__lt=datetime.date(2018,9,20))               # 只是日期
obj = models.UserInfo.objects.filter(create_date__date__lt=datetime(2018,9,20,12,12,12))           # 带时，分，秒
obj = models.UserInfo.objects.filter(create_date__year__gt=2018)                                  # 年份大于2018年
obj = models.UserInfo.objects.filter(create_date__hour__lt=12)                                  # 所有小于12点的，也就是上午

     5、正则

         regex正则，iregex不区分大小写的正则。

obj = models.UserInfo.objects.filter(name__regex='^r')            # 必须以小写r开头的名字
obj = models.UserInfo.objects.filter(name__iregex='^R')           # 可以以大小写r开头的名字

六、遇到的错误

    1、在migrate时，提示 django.core.exceptions.ValidationError: ["'1' is not a valid UUID."]

        原因，因为我把default设成1，被检验出来了

        解决方法：从app下的migrate文件夹里，找到生成的文件，比如我的是0013_userinfo_test_uuid.py

第一种方法：把文件删除

dependencies = [
    ('ormtest', '0012_userinfo_test_bool_null'),    # 记录上一步操作，如果把上一个文件删了，值就得改
]

# 执行makemigrations时表结构的变更操作
# 第二种方法就是把列表中，AddField，关于UUIDField删掉
operations = [
    migrations.AddField(
        model_name='userinfo',
        name='test_uuid',
        field=models.UUIDField(default='1'),        # 第三种方法就是default更改成正确格式UUID
    ),
]

    2、django.db.utils.IntegrityError: UNIQUE constraint failed: ormtest_userinfo.username, ormtest_userinfo.user_type_id

        原因，username+user_type_id不唯一

第一种方法：从元类里删掉

第二种方法：更改联合唯一 的字段

    3、配置完FilePathField字段，admin编辑用户时报错。 FileNotFoundError，[WinError 3] 系统找不到指定的路径。: '/templates/'

        原因，FilePathField字段的path错误

# 解决方法：去掉前面的/，并检查project下面是否存在templates文件夹default不会被检测
test_filepath = models.FilePathField(path='templates/', default='2/')