温馨提示×

温馨提示×

您好,登录后才能下订单哦!

密码登录×
登录注册×
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》

tf.keras.layers模块中的函数有哪些

发布时间:2023-02-22 17:42:21 来源:亿速云 阅读:110 作者:iii 栏目:开发技术

本文小编为大家详细介绍“tf.keras.layers模块中的函数有哪些”,内容详细,步骤清晰,细节处理妥当,希望这篇“tf.keras.layers模块中的函数有哪些”文章能帮助大家解决疑惑,下面跟着小编的思路慢慢深入,一起来学习新知识吧。

    tf.keras.layers模块中的函数

    from __future__ import print_function as _print_function
    
    import sys as _sys
    
    from . import experimental
    from tensorflow.python.keras.engine.base_layer import Layer
    from tensorflow.python.keras.engine.input_layer import Input
    from tensorflow.python.keras.engine.input_layer import InputLayer
    from tensorflow.python.keras.engine.input_spec import InputSpec
    from tensorflow.python.keras.feature_column.dense_features_v2 import DenseFeatures
    from tensorflow.python.keras.layers.advanced_activations import ELU
    from tensorflow.python.keras.layers.advanced_activations import LeakyReLU
    from tensorflow.python.keras.layers.advanced_activations import PReLU
    from tensorflow.python.keras.layers.advanced_activations import ReLU
    from tensorflow.python.keras.layers.advanced_activations import Softmax
    from tensorflow.python.keras.layers.advanced_activations import ThresholdedReLU
    from tensorflow.python.keras.layers.convolutional import Conv1D
    from tensorflow.python.keras.layers.convolutional import Conv1D as Convolution1D
    from tensorflow.python.keras.layers.convolutional import Conv1DTranspose
    from tensorflow.python.keras.layers.convolutional import Conv1DTranspose as Convolution1DTranspose
    from tensorflow.python.keras.layers.convolutional import Conv2D
    from tensorflow.python.keras.layers.convolutional import Conv2D as Convolution2D
    from tensorflow.python.keras.layers.convolutional import Conv2DTranspose
    from tensorflow.python.keras.layers.convolutional import Conv2DTranspose as Convolution2DTranspose
    from tensorflow.python.keras.layers.convolutional import Conv3D
    from tensorflow.python.keras.layers.convolutional import Conv3D as Convolution3D
    from tensorflow.python.keras.layers.convolutional import Conv3DTranspose
    from tensorflow.python.keras.layers.convolutional import Conv3DTranspose as Convolution3DTranspose
    from tensorflow.python.keras.layers.convolutional import Cropping1D
    from tensorflow.python.keras.layers.convolutional import Cropping2D
    from tensorflow.python.keras.layers.convolutional import Cropping3D
    from tensorflow.python.keras.layers.convolutional import DepthwiseConv2D
    from tensorflow.python.keras.layers.convolutional import SeparableConv1D
    from tensorflow.python.keras.layers.convolutional import SeparableConv1D as SeparableConvolution1D
    from tensorflow.python.keras.layers.convolutional import SeparableConv2D
    from tensorflow.python.keras.layers.convolutional import SeparableConv2D as SeparableConvolution2D
    from tensorflow.python.keras.layers.convolutional import UpSampling1D
    from tensorflow.python.keras.layers.convolutional import UpSampling2D
    from tensorflow.python.keras.layers.convolutional import UpSampling3D
    from tensorflow.python.keras.layers.convolutional import ZeroPadding1D
    from tensorflow.python.keras.layers.convolutional import ZeroPadding2D
    from tensorflow.python.keras.layers.convolutional import ZeroPadding3D
    from tensorflow.python.keras.layers.convolutional_recurrent import ConvLSTM2D
    from tensorflow.python.keras.layers.core import Activation
    from tensorflow.python.keras.layers.core import ActivityRegularization
    from tensorflow.python.keras.layers.core import Dense
    from tensorflow.python.keras.layers.core import Dropout
    from tensorflow.python.keras.layers.core import Flatten
    from tensorflow.python.keras.layers.core import Lambda
    from tensorflow.python.keras.layers.core import Masking
    from tensorflow.python.keras.layers.core import Permute
    from tensorflow.python.keras.layers.core import RepeatVector
    from tensorflow.python.keras.layers.core import Reshape
    from tensorflow.python.keras.layers.core import SpatialDropout1D
    from tensorflow.python.keras.layers.core import SpatialDropout2D
    from tensorflow.python.keras.layers.core import SpatialDropout3D
    from tensorflow.python.keras.layers.dense_attention import AdditiveAttention
    from tensorflow.python.keras.layers.dense_attention import Attention
    from tensorflow.python.keras.layers.embeddings import Embedding
    from tensorflow.python.keras.layers.local import LocallyConnected1D
    from tensorflow.python.keras.layers.local import LocallyConnected2D
    from tensorflow.python.keras.layers.merge import Add
    from tensorflow.python.keras.layers.merge import Average
    from tensorflow.python.keras.layers.merge import Concatenate
    from tensorflow.python.keras.layers.merge import Dot
    from tensorflow.python.keras.layers.merge import Maximum
    from tensorflow.python.keras.layers.merge import Minimum
    from tensorflow.python.keras.layers.merge import Multiply
    from tensorflow.python.keras.layers.merge import Subtract
    from tensorflow.python.keras.layers.merge import add
    from tensorflow.python.keras.layers.merge import average
    from tensorflow.python.keras.layers.merge import concatenate
    from tensorflow.python.keras.layers.merge import dot
    from tensorflow.python.keras.layers.merge import maximum
    from tensorflow.python.keras.layers.merge import minimum
    from tensorflow.python.keras.layers.merge import multiply
    from tensorflow.python.keras.layers.merge import subtract
    from tensorflow.python.keras.layers.noise import AlphaDropout
    from tensorflow.python.keras.layers.noise import GaussianDropout
    from tensorflow.python.keras.layers.noise import GaussianNoise
    from tensorflow.python.keras.layers.normalization import LayerNormalization
    from tensorflow.python.keras.layers.normalization_v2 import BatchNormalization
    from tensorflow.python.keras.layers.pooling import AveragePooling1D
    from tensorflow.python.keras.layers.pooling import AveragePooling1D as AvgPool1D
    from tensorflow.python.keras.layers.pooling import AveragePooling2D
    from tensorflow.python.keras.layers.pooling import AveragePooling2D as AvgPool2D
    from tensorflow.python.keras.layers.pooling import AveragePooling3D
    from tensorflow.python.keras.layers.pooling import AveragePooling3D as AvgPool3D
    from tensorflow.python.keras.layers.pooling import GlobalAveragePooling1D
    from tensorflow.python.keras.layers.pooling import GlobalAveragePooling1D as GlobalAvgPool1D
    from tensorflow.python.keras.layers.pooling import GlobalAveragePooling2D
    from tensorflow.python.keras.layers.pooling import GlobalAveragePooling2D as GlobalAvgPool2D
    from tensorflow.python.keras.layers.pooling import GlobalAveragePooling3D
    from tensorflow.python.keras.layers.pooling import GlobalAveragePooling3D as GlobalAvgPool3D
    from tensorflow.python.keras.layers.pooling import GlobalMaxPooling1D
    from tensorflow.python.keras.layers.pooling import GlobalMaxPooling1D as GlobalMaxPool1D
    from tensorflow.python.keras.layers.pooling import GlobalMaxPooling2D
    from tensorflow.python.keras.layers.pooling import GlobalMaxPooling2D as GlobalMaxPool2D
    from tensorflow.python.keras.layers.pooling import GlobalMaxPooling3D
    from tensorflow.python.keras.layers.pooling import GlobalMaxPooling3D as GlobalMaxPool3D
    from tensorflow.python.keras.layers.pooling import MaxPooling1D
    from tensorflow.python.keras.layers.pooling import MaxPooling1D as MaxPool1D
    from tensorflow.python.keras.layers.pooling import MaxPooling2D
    from tensorflow.python.keras.layers.pooling import MaxPooling2D as MaxPool2D
    from tensorflow.python.keras.layers.pooling import MaxPooling3D
    from tensorflow.python.keras.layers.pooling import MaxPooling3D as MaxPool3D
    from tensorflow.python.keras.layers.recurrent import AbstractRNNCell
    from tensorflow.python.keras.layers.recurrent import RNN
    from tensorflow.python.keras.layers.recurrent import SimpleRNN
    from tensorflow.python.keras.layers.recurrent import SimpleRNNCell
    from tensorflow.python.keras.layers.recurrent import StackedRNNCells
    from tensorflow.python.keras.layers.recurrent_v2 import GRU
    from tensorflow.python.keras.layers.recurrent_v2 import GRUCell
    from tensorflow.python.keras.layers.recurrent_v2 import LSTM
    from tensorflow.python.keras.layers.recurrent_v2 import LSTMCell
    from tensorflow.python.keras.layers.serialization import deserialize
    from tensorflow.python.keras.layers.serialization import serialize
    from tensorflow.python.keras.layers.wrappers import Bidirectional
    from tensorflow.python.keras.layers.wrappers import TimeDistributed
    from tensorflow.python.keras.layers.wrappers import Wrapper
    
    del _print_function

    汇总tf.keras模型层layers

    • tf.keras.layers.Dense():密集连接层。参数个数 = 输入层特征数× 输出层特征数(weight)+ 输出层特征数(bias)

    • tf.keras.layers.Activation():激活函数层。一般放在Dense层后面,等价于在Dense层中指定activation。

    • tf.keras.layers.Dropout():随机置零层。训练期间以一定几率将输入置0,一种正则化手段。

    • tf.keras.layers.BatchNormalization():批标准化层。通过线性变换将输入批次缩放平移到稳定的均值和标准差。可以增强模型对输入不同分布的适应性,加快模型训练速度,有轻微正则化效果。一般在激活函数之前使用。

    • tf.keras.layers.SpatialDropout2D():空间随机置零层。训练期间以一定几率将整个特征图置0,一种正则化手段,有利于避免特征图之间过高的相关性。

    • tf.keras.layers.Input():输入层。通常使用Functional API方式构建模型时作为第一层。

    • tf.keras.layers.DenseFeature():特征列接入层,用于接收一个特征列列表并产生一个密集连接层。

    • tf.keras.layers.Flatten():压平层,用于将多维张量压成一维。

    • tf.keras.layers.Reshape():形状重塑层,改变输入张量的形状。

    • tf.keras.layers.Concatenate():拼接层,将多个张量在某个维度上拼接。

    • tf.keras.layers.Add():加法层。

    • tf.keras.layers.Subtract():减法层。

    • tf.keras.layers.Maximum():取最大值层。

    • tf.keras.layers.Minimum():取最小值层。

    卷积网络相关层

    • tf.keras.layers.Conv1D():普通一维卷积,常用于文本。参数个数 = 输入通道数×卷积核尺寸(如3)×卷积核个数

    • tf.keras.layers.Conv2D():普通二维卷积,常用于图像。参数个数 = 输入通道数×卷积核尺寸(如3乘3)×卷积核个数

    • tf.keras.layers.Conv3D():普通三维卷积,常用于视频。参数个数 = 输入通道数×卷积核尺寸(如3乘3乘3)×卷积核个数

    • tf.keras.layers.SeparableConv2D():二维深度可分离卷积层。不同于普通卷积同时对区域和通道操作,深度可分离卷积先操作区域,再操作通道。即先对每个通道做独立卷即先操作区域,再用1乘1卷积跨通道组合即再操作通道。参数个数 = 输入通道数×卷积核尺寸 + 输入通道数×1×1×输出通道数。深度可分离卷积的参数数量一般远小于普通卷积,效果一般也更好。

    • tf.keras.layers.DepthwiseConv2D():二维深度卷积层。仅有SeparableConv2D前半部分操作,即只操作区域,不操作通道,一般输出通道数和输入通道数相同,但也可以通过设置depth_multiplier让输出通道为输入通道的若干倍数。输出通道数 = 输入通道数 × depth_multiplier。参数个数 = 输入通道数×卷积核尺寸× depth_multiplier。

    • tf.keras.layers.Conv2DTranspose():二维卷积转置层,俗称反卷积层。并非卷积的逆操作,但在卷积核相同的情况下,当其输入尺寸是卷积操作输出尺寸的情况下,卷积转置的输出尺寸恰好是卷积操作的输入尺寸。

    • tf.keras.layers.LocallyConnected2D():二维局部连接层。类似Conv2D,唯一的差别是没有空间上的权值共享,所以其参数个数远高于二维卷积。

    • tf.keras.layers.MaxPooling2D():二维最大池化层。也称作下采样层。池化层无参数,主要作用是降维。

    • tf.keras.layers.AveragePooling2D():二维平均池化层。

    • tf.keras.layers.GlobalMaxPool2D():全局最大池化层。每个通道仅保留一个值。一般从卷积层过渡到全连接层时使用,是Flatten的替代方案。

    • tf.keras.layers.GlobalAvgPool2D():全局平均池化层。每个通道仅保留一个值。

    示例代码一、搭建LeNet-5神经网络

    import tensorflow as tf
    from tensorflow.keras import datasets, layers, optimizers, Sequential, metrics, losses
     
    # 1.数据集准备
    (x, y), (x_val, y_val) = datasets.mnist.load_data()  # 加载数据集,返回的是两个元组,分别表示训练集和测试集
    x = tf.convert_to_tensor(x, dtype=tf.float32) / 255.  # 转换为张量,并缩放到0~1
    y = tf.convert_to_tensor(y, dtype=tf.int32)  # 转换为张量(标签)
    print(x.shape, y.shape)
    train_dataset = tf.data.Dataset.from_tensor_slices((x, y))  # 构建数据集对象
    train_dataset = train_dataset.batch(32).repeat(10)  # 设置批量训练的batch为32,要将训练集重复训练10遍
     
    # 2.搭建网络
    network = Sequential([  # 搭建网络容器
        layers.Conv2D(6, kernel_size=3, strides=1),  # 第一个卷积层,6个3*3*1卷积核
        layers.MaxPooling2D(pool_size=2, strides=2),  # 池化层,卷积核2*2,步长2
        layers.ReLU(),  # 激活函数
        layers.Conv2D(16, kernel_size=3, strides=1),  # 第二个卷积层,16个3*3*6卷积核
        layers.MaxPooling2D(pool_size=2, strides=2),  # 池化层
        layers.ReLU(),  # 激活函数
        layers.Flatten(),  # 拉直,方便全连接层处理
        layers.Dense(120, activation='relu'),  # 全连接层,120个节点
        layers.Dense(84, activation='relu'),  # 全连接层,84个节点
        layers.Dense(10)  # 输出层,10个节点
    ])
    network.build(input_shape=(None, 28, 28, 1))  # 定义输入,batch_size=32,输入图片大小是28*28,通道数为1。
    network.summary()  # 显示出每层的待优化参数量
     
    # 3.模型训练(计算梯度,迭代更新网络参数)
    optimizer = optimizers.SGD(lr=0.01)  # 声明采用批量随机梯度下降方法,学习率=0.01
    acc_meter = metrics.Accuracy()  # 新建accuracy测量器
    for step, (x, y) in enumerate(train_dataset):  # 一次输入batch组数据进行训练
        with tf.GradientTape() as tape:  # 构建梯度记录环境
            x = tf.reshape(x, (32, 28, 28, 1))  # 将输入拉直,[b,28,28]->[b,784]
            # x = tf.extand_dims(x, axis=3)
            out = network(x)  # 输出[b, 10]
            y_onehot = tf.one_hot(y, depth=10)  # one-hot编码
            loss = tf.square(out - y_onehot)
            loss = tf.reduce_sum(loss) / 32  # 定义均方差损失函数,注意此处的32对应为batch的大小
            grads = tape.gradient(loss, network.trainable_variables)  # 计算网络中各个参数的梯度
            optimizer.apply_gradients(zip(grads, network.trainable_variables))  # 更新网络参数
            acc_meter.update_state(tf.argmax(out, axis=1), y)  # 比较预测值与标签,并计算精确度(写入数据,进行求精度)
     
        if step % 200 == 0:  # 每200个step,打印一次结果
            print('Step', step, ': Loss is: ', float(loss), ' Accuracy: ', acc_meter.result().numpy())  # 读取数据
            acc_meter.reset_states()  # 清零测量器l

    读到这里,这篇“tf.keras.layers模块中的函数有哪些”文章已经介绍完毕,想要掌握这篇文章的知识点还需要大家自己动手实践使用过才能领会,如果想了解更多相关内容的文章,欢迎关注亿速云行业资讯频道。

    向AI问一下细节

    免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

    AI