b站小土堆PyTorch视频学习笔记(CIFAR10数据集分类实例)

news/2024/12/14 11:25:35/

1、准备数据集并查看数据集长度 

train_data = torchvision.datasets.CIFAR10(root="./data", train=True, transform=torchvision.transforms.ToTensor(), download=True)
test_data = torchvision.datasets.CIFAR10(root="./data", train=False, transform=torchvision.transforms.ToTensor(), download=True)
train_data_size = len(train_data)
test_data_size = len(test_data)
print("训练集的长度为:{}".format(train_data_size))
print("测试集的长度为:{}".format(test_data_size))

 2、利用DataLoader加载数据集

train_dataloader = DataLoader(train_data, batch_size=64)
test_dataloader = DataLoader(test_data, batch_size=64)

batch_size=64:一次读取64张图片

3、搭建神经网络

卷积是提取特征:通过卷积核提取特征(卷积核的个数=out_chennl数;j卷积核的大小随机设置)

池化是压缩特征:降低特征的数据量/剔除冗余,取池化核对应格子中最明显的一个格子(比如通过池化可以将4k画质变为720P画质)

最大池化不改变chennl数,卷积会改变chennl数

输入层的图片:3通道,像素个数/大小:32*32

  1. 进行第一次卷积(卷积核为5):输入通道为3,输出通道为32,像素个数/大小:32*32
  2. 进行最大池化(池化核为2):通道不变:32,像素个数/大小:16*16
  3.  进行第二次卷积(卷积核为5):输入通道为32,输出通道为32,像素个数/大小:16*16
  4.  进行最大池化(池化核为2):通道不变:32,像素个数/大小:8*8
  5. 进行第三次卷积(卷积核为5):输入通道为32,输出通道为64,像素个数/大小:8*8
  6. 进行最大池化(池化核为2):通道不变:64,像素个数/大小:4*4
  7. 进行展平(通俗理解就是将矩阵形式的像素点变为向量形式的像素点)

 一共有64*4*4个像素点 

      8.进行一次全连接:输入为1024压缩为64

      9.进行第二次全连接:输入为64压缩为10

复杂版 

简化版

利用了Sequential让模型更简化了 

class Tudui(nn.Module):def __init__(self):super(Tudui, self).__init__()self.model1 = Sequential(  ###Conv2d(3, 32, 5, padding=2),MaxPool2d(2),Conv2d(32, 32, 5, padding=2),MaxPool2d(2),Conv2d(32, 64, 5, padding=2), MaxPool2d(2),Flatten(),  Linear(1024, 64),  Linear(64, 10)  )def forward(self,x):x = self.model1(x)return x

将该模型单独放到一个py文件中

from torch.nn import Conv2d, MaxPool2d, Flatten, Linear, Sequential
from torch.utils.data import DataLoaderclass Tudui(nn.Module):def __init__(self):super(Tudui, self).__init__()self.model1 = Sequential(  ###Conv2d(3, 32, 5, padding=2),MaxPool2d(2),Conv2d(32, 32, 5, padding=2),MaxPool2d(2),Conv2d(32, 64, 5, padding=2),MaxPool2d(2),Flatten(),Linear(1024, 64),Linear(64, 10))def forward(self,x):x = self.model1(x)return x
if __name__ == '__main__':tudui = Tudui()## 验证网络的正确性input = torch.ones([64,3,32,32])output = tudui(input)## 看输出的尺寸是不是自己想要的print(output.shape)

 

torch.ones是什意思?可查看下面的文章

张量转换

from model_tudui import *:指调用自己创建的model_tudui.py文件中的模型

import torch
import torchvision
from torch import nn
from torch.utils.data import DataLoader
from model_tudui import *
from torch.nn import Conv2d, MaxPool2d, Flatten, Linear, Sequential
## 准备数据集train_data = torchvision.datasets.CIFAR10(root="./data", train=True, transform=torchvision.transforms.ToTensor(), download=True)
test_data = torchvision.datasets.CIFAR10(root="./data", train=False, transform=torchvision.transforms.ToTensor(), download=True)
train_data_size = len(train_data)
test_data_size = len(test_data)
## 数据集长度:训练集的长度为:50000;测试集的长度为:10000
## 字符串格式化“XXX{}”.format(变量)
print("训练集的长度为:{}".format(train_data_size))
print("测试集的长度为:{}".format(test_data_size))##利用DataLoader加载数据集
train_dataloader = DataLoader(train_data, batch_size=64)
test_dataloader = DataLoader(test_data, batch_size=64)## 搭建神经网络
tudiu = Tudui()
# 损失函数:用的交叉熵
loss_fn = nn.CrossEntropyLoss()
# 优化器
# optimizer = torch.optim.SGD(tudiu.parameters(), lr=0.01)
##或者下面
learning_rate = 1e-2
optimizer = torch.optim.SGD(tudiu.parameters(), learning_rate)
## 设置训练模型的一些参数
#记录训练的次数
total_train_step = 0
## 记录测试的次数
total_test_step = 0
# 训练的轮数
epoch = 10
for i in range(epoch):print("第{}轮训练开始".format(i+1))# 训练步骤开始for data in train_dataloader:imgs, targets = dataoutputs = tudiu(imgs)loss = loss_fn(outputs, targets)###output是什么##优化器调优optimizer.zero_grad()## 将模型参数的梯度归零loss.backward() ##反向传播,计算当前梯度optimizer.step()##更新参数值total_train_step = total_train_step +1if total_train_step % 100 ==0:print("训练次数:{},loss:{}".format(total_train_step, loss))## loss可以写为loss.item()##item会把tensor数据值转化为真实数据###怎么知道模型是不是训练好了,要求测试集的准确率,并对模型进行调优## 测试开始total_test_loss = 0with torch.no_grad():###是一个用于禁用梯度的上下文管理器:不会拿测试集调整模型for data in test_dataloader:imgs, targets = dataoutputs = tudiu(imgs)loss = loss_fn(outputs, targets)total_test_loss = total_test_loss + loss.item()print("整体测试集上的Loss:{}".format(total_test_loss))

输出为:

改进代码将上面的结果在tensorBoder中展示出来:

import torch
import torchvision
from torch import nn
from torch.utils.data import DataLoader
from torch.utils.tensorboard import SummaryWriterfrom model_tudui import *
from torch.nn import Conv2d, MaxPool2d, Flatten, Linear, Sequential
## 准备数据集train_data = torchvision.datasets.CIFAR10(root="./data", train=True, transform=torchvision.transforms.ToTensor(), download=True)
test_data = torchvision.datasets.CIFAR10(root="./data", train=False, transform=torchvision.transforms.ToTensor(), download=True)
train_data_size = len(train_data)
test_data_size = len(test_data)
## 数据集长度:训练集的长度为:50000;测试集的长度为:10000
## 字符串格式化“XXX{}”.format(变量)
print("训练集的长度为:{}".format(train_data_size))
print("测试集的长度为:{}".format(test_data_size))##利用DataLoader加载数据集
train_dataloader = DataLoader(train_data, batch_size=64)
test_dataloader = DataLoader(test_data, batch_size=64)## 搭建神经网络
tudiu = Tudui()
# 损失函数:用的交叉熵
loss_fn = nn.CrossEntropyLoss()
# 优化器
# optimizer = torch.optim.SGD(tudiu.parameters(), lr=0.01)
##或者下面
learning_rate = 1e-2
optimizer = torch.optim.SGD(tudiu.parameters(), learning_rate)
## 设置训练模型的一些参数
#记录训练的次数
total_train_step = 0
## 记录测试的次数
total_test_step = 0
# 训练的轮数
writer = SummaryWriter("logs_train")
epoch = 10
for i in range(epoch):print("第{}轮训练开始".format(i+1))# 训练步骤开始for data in train_dataloader:imgs, targets = dataoutputs = tudiu(imgs)loss = loss_fn(outputs, targets)###output是什么##优化器调优optimizer.zero_grad()## 将模型参数的梯度归零loss.backward() ##反向传播,计算当前梯度optimizer.step()##更新参数值total_train_step = total_train_step +1if total_train_step % 100 ==0:print("训练次数:{},loss:{}".format(total_train_step, loss))## loss可以写为loss.item()##item会把tensor数据值转化为真实数据writer.add_scalar("train_loss", loss.item(), total_train_step)###怎么知道模型是不是训练好了,要求测试集的准确率,并对模型进行调优## 测试开始total_test_loss = 0with torch.no_grad():###是一个用于禁用梯度的上下文管理器:不会拿测试集调整模型for data in test_dataloader:imgs, targets = dataoutputs = tudiu(imgs)loss = loss_fn(outputs, targets)total_test_loss = total_test_loss + loss.item()print("整体测试集上的Loss:{}".format(total_test_loss))writer.add_scalar("test_loss", loss.item(), total_test_step)total_test_step = total_test_step + 1
writer.close()

在终端输入:

conda activate pytorch5
tensorboard --logdir="D:\python_project\pythonProject\logs_train" --port=6008

在浏览器打开网址:

进一步优化:可以让模型 保存,并且显示测试集的正确率

###保存每一轮训练结果

torch.save(tudiu, "tudiu_{}".format(i))print("模型已经保存")
import torch
import torchvision
from torch import nn
from torch.utils.data import DataLoader
from torch.utils.tensorboard import SummaryWriterfrom model_tudui import *
from torch.nn import Conv2d, MaxPool2d, Flatten, Linear, Sequential
## 准备数据集train_data = torchvision.datasets.CIFAR10(root="./data", train=True, transform=torchvision.transforms.ToTensor(), download=True)
test_data = torchvision.datasets.CIFAR10(root="./data", train=False, transform=torchvision.transforms.ToTensor(), download=True)
train_data_size = len(train_data)
test_data_size = len(test_data)
## 数据集长度:训练集的长度为:50000;测试集的长度为:10000
## 字符串格式化“XXX{}”.format(变量)
print("训练集的长度为:{}".format(train_data_size))
print("测试集的长度为:{}".format(test_data_size))##利用DataLoader加载数据集
train_dataloader = DataLoader(train_data, batch_size=64)
test_dataloader = DataLoader(test_data, batch_size=64)## 搭建神经网络
tudiu = Tudui()
# 损失函数:用的交叉熵
loss_fn = nn.CrossEntropyLoss()
# 优化器
# optimizer = torch.optim.SGD(tudiu.parameters(), lr=0.01)
##或者下面
learning_rate = 1e-2
optimizer = torch.optim.SGD(tudiu.parameters(), learning_rate)
## 设置训练模型的一些参数
#记录训练的次数
total_train_step = 0
## 记录测试的次数
total_test_step = 0
# 训练的轮数
writer = SummaryWriter("logs_train")
epoch = 10
for i in range(epoch):print("第{}轮训练开始".format(i+1))# 训练步骤开始for data in train_dataloader:imgs, targets = dataoutputs = tudiu(imgs)loss = loss_fn(outputs, targets)###output是什么##优化器调优optimizer.zero_grad()## 将模型参数的梯度归零loss.backward() ##反向传播,计算当前梯度optimizer.step()##更新参数值total_train_step = total_train_step +1if total_train_step % 100 ==0:print("训练次数:{},loss:{}".format(total_train_step, loss))## loss可以写为loss.item()##item会把tensor数据值转化为真实数据writer.add_scalar("train_loss", loss.item(), total_train_step)###怎么知道模型是不是训练好了,要求测试集的准确率,并对模型进行调优## 测试开始total_test_loss = 0total_accuracy = 0with torch.no_grad():###是一个用于禁用梯度的上下文管理器:不会拿测试集调整模型for data in test_dataloader:imgs, targets = dataoutputs = tudiu(imgs)loss = loss_fn(outputs, targets)total_test_loss = total_test_loss + loss.item()accuracy = (outputs.argmax(1) == targets).sum()total_accuracy = total_accuracy + accuracyprint("整体测试集上的Loss:{}".format(total_test_loss))print("整体测试集上的正确率为;{}".format(total_accuracy/test_data_size))writer.add_scalar("test_loss", loss.item(), total_test_step)writer.add_scalar("test_accuracy", total_accuracy/test_data_size,total_test_step )total_test_step = total_test_step + 1##保存每一轮训练的结果torch.save(tudiu, "tudiu_{}".format(i))print("模型已经保存")
writer.close()

####随便找一张图来尝试

测试代码:

import torchvision
from PIL import Image
import torch
import torchvision
from torch import nn
from torch.nn import Conv2d, MaxPool2d, Flatten, Linear, Sequential
from torch.utils.data import DataLoader
image_path = "imgs/dog.png"
image = Image.open(image_path)
print(image)
image = image.convert('RGB')
###由于改图片的大小为size=1120x856;通道为mode=RGBA(png格式为4个通道) ;而建立的tudiu模型要求输入的图片大小为32*32,且通道转化为三通道
## Resize:输入什么数据类型就输出什么数据类型
##torchvision.transforms.Resize((32, 32))->获得了一个PIL的images
transform = torchvision.transforms.Compose([torchvision.transforms.Resize((32, 32)),torchvision.transforms.ToTensor()])image = transform(image)
print(image.shape)###图片变成了想要的### 导入网络模型
class Tudui(nn.Module):def __init__(self):super(Tudui, self).__init__()self.model1 = Sequential(  ###Conv2d(3, 32, 5, padding=2),MaxPool2d(2),Conv2d(32, 32, 5, padding=2),MaxPool2d(2),Conv2d(32, 64, 5, padding=2),MaxPool2d(2),Flatten(),Linear(1024, 64),Linear(64, 10))def forward(self,x):x = self.model1(x)return xmodel = torch.load("tudiu_9")
print(model)
image = torch.reshape(image, (1, 3, 32, 32))
model.eval()
with torch.no_grad():##简化操作,不需要再训练模型只需要测试模型output = model(image)
print(output)
output1 = output.argmax(1)
print(output1)

注明:该模型相对简单没有用到非线性变化


http://www.ppmy.cn/news/1544412.html

相关文章

java项目之微服务在线教育系统设计与实现(springcloud)

风定落花生,歌声逐流水,大家好我是风歌,混迹在java圈的辛苦码农。今天要和大家聊的是一款基于springboot的闲一品交易平台。项目源码以及部署相关请联系风歌,文末附上联系信息 。 项目简介: 微服务在线教育系统设计与…

7thonline第七在线7大价值助力品牌实现智能化商品管理

在高波动和不确定的商业环境中,精准的销售预测对于零售品牌灵活应对市场需求、降低决策风险至关重要。

使用 MMDetection 实现 Pascal VOC 数据集的目标检测项目练习(四) annaconda和pytorch

anaconda 一、下载 Index of /anaconda/archive/ | 清华大学开源软件镜像站 | Tsinghua Open Source Mirror 在清华镜像网页选择版本,这里选的是: 下载得到文件:Anaconda3-2022.10-Linux-x86_64.sh。将文件拷贝到ubuntu的Downloads文件夹。…

如何在Linux系统中使用Git进行版本控制

如何在Linux系统中使用Git进行版本控制 Git简介 安装Git 在Debian/Ubuntu系统中安装 在CentOS/RHEL系统中安装 初始化Git仓库 配置全局用户信息 基本的Git命令 添加文件到暂存区 查看状态 提交更改 查看提交历史 工作流 分支管理 切换分支 合并分支 远程仓库 添加远程仓库 推…

在绑定 Google 邮箱的手机设备上,未收到二步验证码通知是什么原因?

在绑定 Google 邮箱的手机设备上,未收到二步验证码通知,可能是由以下原因引起的: 1. 未启用 Google Prompt Google 的二步验证有不同的方式,例如 Google Prompt、短信验证码、Authenticator 应用等。如果您的二步验证设置中未启…

HTML 基础标签——分组标签 <div>、<span> 和基础语义容器

文章目录 1. `<div>` 标签特点用途示例2. `<span>` 标签特点用途示例3. `<fieldset>` 标签特点用途示例4. `<section>` 标签特点用途示例5. `<article>` 标签特点用途示例总结HTML中的分组(容器)标签用于结构化内容,将页面元素组织成逻辑区域…

计算机网络串联——打开网站的具体步骤

参与浏览网站的重要名词 1、MAC地址也叫硬件地址、物理地址。那这个东西就是设备你出厂的时候就会带有的&#xff0c;详情跳转&#xff0c;其构成如下&#xff1a; MAC地址用16进制表示&#xff0c;就是一共有12位&#xff0c;前六位他们会像一个国际的这种专门组织去申…

网络安全渗透重要知识点总结——及黑客工具的使用

目录 [TOC](目录)重要知识点总结1. 渗透测试基础知识2. 重要概念与攻击手段3. 常见攻击方式 黑客常用工具及使用说明实际工具使用案例案例1&#xff1a;使用Nmap扫描网络案例2&#xff1a;利用Metasploit进行漏洞利用案例3&#xff1a;使用Burp Suite测试SQL注入案例4&#xff…