在PyTorch中,全连接层(fully connected layer)可以通过nn.Linear
类来创建。初始化全连接层时,需要指定输入特征的数量(即前一层的输出特征数量)和输出特征的数量。此外,还可以通过权重矩阵的初始化方法来控制权重的分布。
以下是使用PyTorch初始化全连接层的示例:
import torch
import torch.nn as nn
# 创建一个全连接层,输入特征数量为784,输出特征数量为10
fc_layer = nn.Linear(784, 10)
# 使用默认的权重初始化方法(Xavier初始化)
# nn.init.xavier_uniform_(fc_layer.weight)
# 或者使用He初始化
# nn.init.kaiming_uniform_(fc_layer.weight, nonlinearity='relu')
# 打印权重矩阵
print(fc_layer.weight)
在这个例子中,我们创建了一个全连接层,其输入特征数量为784(例如,28x28像素的图像展平后形成的向量),输出特征数量为10(对应于10个类别)。我们使用了默认的权重初始化方法(Xavier初始化或He初始化),但也可以根据需要选择其他初始化方法。最后,我们打印了权重矩阵以查看其初始值。