(动手学习深度学习)第7章 稠密连接网络---DenseNet

news/2024/2/28 11:52:40

目录

    • DenseNet
      • DenseNet的优点:
      • DenseNet的改进思路
      • 总结
    • DenseNet代码实现

DenseNet

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

DenseNet的优点:

  1. 省参数在 ImageNet 分类数据集上达到同样的准确率,DenseNet 所需的参数量不到 ResNet 的一半。对于工业界而言,小模型可以显著地节省带宽,降低存储开销。
  2. 省计算达到与 ResNet 相当的精度,DenseNet 所需的计算量也只有 ResNet 的一半左右。计算效率在深度学习实际应用中的需求非常强烈,从本次 CVPR 会上大家对模型压缩以及 MobileNet 和 ShuffleNet 这些工作的关注就可以看得出来。最近我们也在搭建更高效的 DenseNet,初步结果表明 DenseNet 对于这类应用具有非常大的潜力,即使不用 Depth Separable Convolution 也能达到比现有方法更好的结果,预计在近期我们会公开相应的方法和模型。
  3. 抗过拟合。DenseNet 具有非常好的抗过拟合性能,尤其适合于训练数据相对匮乏的应用。对于 DenseNet 抗过拟合的原因有一个比较直观的解释:神经网络每一层提取的特征都相当于对输入数据的一个非线性变换,而随着深度的增加,变换的复杂度也逐渐增加(更多非线性函数的复合)。相比于一般神经网络的分类器直接依赖于网络最后一层(复杂度最高)的特征,DenseNet 可以综合利用浅层复杂度低的特征,因而更容易得到一个光滑的具有更好泛化性能的决策函数。实际上,DenseNet 的泛化性能优于其他网络是可以从理论上证明的:去年的一篇几乎与 DenseNet 同期发布在 arXiv 上的论文(AdaNet: Adaptive Structural Learning of Artificial Neural Networks)所证明的结论(见原文中 Theorem 1)表明类似于 DenseNet 的网络结构具有更小的泛化误差界。
  4. 泛化性能更强如果没有data augmention,CIFAR-100下,ResNet表现下降很多,DenseNet下降不多,说明DenseNet泛化性能更强。

DenseNet的改进思路

  1. 每层开始的瓶颈层(1x1 卷积)对于减少参数量和计算量非常有用。
  2. 像 VGG 和 ResNet 那样每做一次下采样(down-sampling)之后都把层宽度(growth rate) 增加一倍,可以提高 DenseNet 的计算效率(FLOPS efficiency)。
  3. 与其他网络一样,DenseNet 的深度和宽度应该均衡的变化,当然 DenseNet 每层的宽度要远小于其他模型。
  4. 每一层设计得较窄会降低 DenseNet 在 GPU 上的运算效率,但可能会提高在 CPU 上的运算效率。

总结

  • 在跨层连接上,不同于ResNet中将输入与输出相加,稠密连接网络(DenseNet)在通道维度上连接(concat)输入和输出。
  • DenseNet的主要构建模块是稠密块过渡层
  • 在构建DenseNet时,我们需要通过添加过渡层来控制网络的维数,从而再次减少通道数。

DenseNet代码实现

  1. 导入相关库
import torch
from torch import nn
from d2l import torch as d2l
  1. 定义网络模型
  • DenseNet Block由稠密块和过渡层构成:
  • 稠密块
    • 由多个卷积块(BN+RelU+Conv)构成
  • 过渡层:
    • 由卷积块(BN+Conv)和池化层构成。
# 定义卷积块(BN+RelU+Conv): 输入和输出的长和宽不变
def conv_block(input_channels, num_channels):return nn.Sequential(nn.BatchNorm2d(input_channels), nn.ReLU(),nn.Conv2d(input_channels, num_channels, kernel_size=3, padding=1))
# 定义稠密块
class DensBlock(nn.Module):def __init__(self, num_convs, input_channels, num_channels):""":param num_convs: 卷积层个数:param input_channels: 输入通道数:param num_channels: 输出通道数"""super().__init__()layer = []for i in range(num_convs):layer.append(conv_block(num_channels * i + input_channels, num_channels))self.net = nn.Sequential(*layer)def forward(self, X):for blk in self.net:Y = blk(X)# 连接通道维度上每个块的输入和输出X = torch.cat((X, Y), dim=1)return X

查看稠密块

blk = DensBlock(2, 3 ,10)
X = torch.randn(4, 3, 8, 8)
Y = blk(X)
Y.shape  # [4, 23, 8, 8]  23 = 3 + 2*10

在这里插入图片描述

  • DenseNet Block由稠密块和过渡层构成
  • 稠密块:
    • 由多个卷积块(BN+RelU+Conv)构成。
  • 过渡层
    • 由卷积块(BN+Conv)和池化层构成
# 定义过渡层(卷积块(BN+Conv)和池化层)
def transition_block(input_channels, num_channels):return nn.Sequential(nn.BatchNorm2d(input_channels), nn.ReLU(),nn.Conv2d(input_channels, num_channels, kernel_size=1),nn.AvgPool2d(kernel_size=2, stride=2))

查看过渡层

blk = transition_block(23, 10)
X = torch.randn(4, 23, 8, 8)
Y = blk(X)
Y.shape  # [4, 23, 8, 8] ---> [3, 10, 8, 8]

在这里插入图片描述

  • DenseNet Block由稠密块和过渡层构成
  • 稠密块:
    • 由多个卷积块(BN+RelU+Conv)构成。
  • 过渡层:
    • 由卷积块(BN+Conv)和池化层构成。
# 首先使用同ResNet一样的单卷积层和最大汇聚层
b1 = nn.Sequential(nn.Conv2d(1, 64, kernel_size=7, stride=2, padding=3),nn.BatchNorm2d(64), nn.ReLU(),nn.MaxPool2d(kernel_size=3, stride=2, padding=1)
)
# 接下来,类似于ResNet使用的4个残差块,DenseNet使用的是4个稠密块。
# 稠密块里的卷积层通道数(即增长率)设为32,所以每个稠密块将增加128个通道。
# 在每个模块之间,ResNet通过步幅为2的残差块减小高和宽,DenseNet则使用过渡层来减半高和宽,并减半通道数
num_channels, growth_rate = 64, 32  # 当前的通道数, 增长率
num_convs_in_dense_blocks = [4, 4, 4, 4]  # 4个稠密块内卷积层的个数
blks = []
for i, num_convs in enumerate(num_convs_in_dense_blocks):blks.append(DensBlock(num_convs, num_channels, growth_rate))num_channels +=num_convs * growth_rate  # 上一个稠密块的输出通道数if i != len(num_convs_in_dense_blocks) -1 :# 在稠密块之间添加一个过渡层,使通道数减半。blks.append(transition_block(num_channels, num_channels // 2))num_channels = num_channels // 2
net = nn.Sequential(b1,*blks,nn.BatchNorm2d(num_channels),  nn.ReLU(),nn.AdaptiveAvgPool2d((1, 1)),nn.Flatten(),nn.Linear(num_channels, 10)
)
  1. 查看网络模型
X = torch.randn(1, 1, 96, 96)
for layer in net :X = layer(X)print(layer.__class__.__name__, 'output shape:\t', X.shape)

在这里插入图片描述

  1. 加载数据集
batch_size = 256
train_iter, test_iter = d2l.load_data_fashion_mnist(batch_size, resize=96)
  1. 训练模型
import time
lr, num_epochs = 0.1, 10
start = time.perf_counter()
d2l.train_ch6(net, train_iter, test_iter, num_epochs, lr, d2l.try_gpu())
end = time.perf_counter()
print("运行耗时 %.4f s" % (end-start))

在这里插入图片描述


http://www.ppmy.cn/news/1208466.html

相关文章

Java中单例模式

什么是单例模式? 1. 构造方法私有化 2. 静态属性指向实例 3. public static的 getInstance方法,返回第二步的静态属性 饿汉式是立即加载的方式,无论是否会用到这个对象,都会加载。 package charactor;public class GiantDragon…

基于SSM的汽车租赁系统业务管理子系统设计实现

末尾获取源码 开发语言:Java Java开发工具:JDK1.8 后端框架:SSM 前端:Vue 数据库:MySQL5.7和Navicat管理工具结合 服务器:Tomcat8.5 开发软件:IDEA / Eclipse 是否Maven项目:是 目录…

修改el-select下拉框位置

<el-select v-model"value1" :teleported"false" popper-class"search-select-option" placeholder"请选择"><el-optionv-for"item in options1":key"item.value":label"item.label":value&qu…

输入网址到网页显示,期间发生了什么?(收藏篇)

解析url 首先浏览器做的第一步工作就是要对 URL 进行解析&#xff0c;从而生成发送给 Web 服务器的请求信息。对 URL 进行解析之后&#xff0c;浏览器确定了 Web 服务器和文件名&#xff0c;接下来就是根据这些信息来生成 HTTP 请求消息了。 DNS解析 通过浏览器解析 URL 并…

小型洗衣机好用吗?最好用的迷你洗衣机

很多人会觉得小型洗衣机是智商税&#xff0c;没有必要专门买一个小型洗衣机来洗内衣&#xff0c;洗个内衣只需要两分钟的事情&#xff0c;需要花个几百块钱去入手一个洗衣机吗&#xff1f;然而清洗贴身衣物的并不是一件简单的事情&#xff0c;如果只是简单的搓洗&#xff0c;内…

虚拟机网络没有有效的ip配置

虚拟机网络没有有效的ip配置&#xff1a; 原因猜测&#xff1a;或许是之前使用的操作系统把网络给占了。 解决方法&#xff1a;点击虚拟机的 遍历->网络编辑器->移除不要的网络&#xff0c;然后添加网络。&#xff08;下面的图就是我把虚拟网络全部移除&#xff0c;然后…

单链表(增删改查)【超详细】

目录 单链表 1.单链表的存储定义 2.结点的创建 3.链表尾插入结点 4.单链表尾删结点 5.单链表头插入结点 6.单链表头删结点 7.查找元素&#xff0c;返回结点 8.在pos结点前插入一个结点 ​编辑 9.在pos结点后插入一个结点 10.删除结点 11.删除pos后面的结点 12.修改…

如何利用软文推广提升消费者“购买力”?

企业软文推广的目的大部分是为了将自己的产品卖出去&#xff0c;想要成功卖出去还得将重心放在消费者身上&#xff0c;今天媒介盒子就来分享&#xff0c;如何利用软文推广提升消费者的“购买力”。 一、 研究产品属性 产品是连接企业和消费者的桥梁&#xff0c;要想将产品卖出…

在Mongodb查询语句中使用hint()

通过查看Mongodb查询语句的执行计划&#xff0c;可以查看该语句通过查询优化器选中的执行计划和备选的执行计划。在实际查询过程中&#xff0c;因为Mongodb统计信息的更新和自动优化&#xff0c;对某些查询Mongodb给出的执行计划并不是最优的计划。这时&#xff0c;使用hint()指…

多测师肖sir_高级金牌讲师_ui自动化po框架版本01

ui自动化po框架 一、po框架 1、基本介绍 &#xff08;1&#xff09;po模式是page object model的缩写&#xff08;简称&#xff1a;po或pom&#xff09; &#xff08;2&#xff09; po模式的核心思想&#xff1a;分层&#xff0c;实现耦合 实现&#xff1a;业务流程与页面元素操…

一招解密网络流量瓶颈!

前言 我们曾介绍过观测云提供全面的基础设施监测方案&#xff08;参见《全方位监控基础设施&#xff0c;坚实守护您的业务稳定&#xff01;》&#xff09;&#xff0c;能够高效全面地帮助您实时观测所有的基础设施对象及云产品等&#xff0c;赋能您的业务稳定发展。今天我们将…

HP惠普暗影精灵9P OMEN 17.3英寸游戏本17-cm2000(70W98AV)原装出厂Windows11-22H2系统镜像

链接&#xff1a;https://pan.baidu.com/s/1gJ4ZwWW2orlGYoPk37M-cg?pwd4mvv 提取码&#xff1a;4mvv 惠普暗影9Plus笔记本电脑原厂系统自带所有驱动、出厂主题壁纸、 Office办公软件、惠普电脑管家、OMEN Command Center游戏控制中心等预装程序 所需要工具&#xff1a;3…

说说tcp三次挥手,为什么不能两次?

TCP&#xff08;传输控制协议&#xff09;是一种可靠的面向连接的协议&#xff0c;用于在网络中传输数据。TCP的连接的关闭是通过三次挥手&#xff08;Three-Way Handshake&#xff09;来完成的&#xff0c;这是由于TCP的全双工通信特性以及保证数据可靠传输的需求。 下面是TC…

【虹科干货】Lambda数据架构和Kappa数据架构——构建现代数据架构

如何更好地构建我们的数据处理架构&#xff0c;如何对IT系统中的遗留问题进行现代化改造并将其转变为现代数据架构&#xff1f;该怎么为你的需求匹配最适合的架构设计呢&#xff0c;本文将分析两种最流行的基于速度的数据架构&#xff0c;为你提供一些思路。 文章速览&#xf…

flutter开发实战-TweenSequence实现动画序列

flutter开发实战-TweenSequence实现动画序列 一、TweenSequence TweenSequence是允许创建一个Animation由一系列补间动画来确定值&#xff0c;每个TweenSequenceItem都有定义在动画的持续时间的权重确定动画间隔。 TweenSequence 动画组类TweenSequenceItem 用来定义每一个动…

Android 交叉编译Libusb

Android 交叉编译Libusb 环境 官网&#xff1a;https://libusb.info/ 仓库&#xff1a;https://github.com/libusb/libusb/tree/master git clone https://github.com/libusb/libusb.git环境&#xff1a;Ubuntu 22.04 NDK&#xff1a;26.1.10909125 编译 cd libusb cd a…

苹果开发者证书生成实操流程

苹果开发者证书生成实操流程如下&#xff1a; 打开钥匙串访问&#xff0c;点击“证书助理”&#xff0c;从证书颁发机构请求证书。输入邮箱和常用名&#xff0c;常用将苹果企业签名作为密钥名。选择保存到磁盘&#xff0c;名字默认即可&#xff0c;存到桌面。登录苹果的开发者…

代码随想录算法训练营第四十七天丨 动态规划part10

121. 买卖股票的最佳时机 思路 动态规划 动规五部曲分析如下&#xff1a; 确定dp数组&#xff08;dp table&#xff09;以及下标的含义 dp[i][0] 表示第i天持有股票所得最多现金 &#xff0c;这里可能有疑惑&#xff0c;本题中只能买卖一次&#xff0c;持有股票之后哪还有…

爬取Elastic Stack采集的Nginx内容

以下是一个简单的Go语言爬虫程序&#xff0c;用于爬取Elastic Stack采集的Nginx内容。请注意&#xff0c;这只是一个基本的示例&#xff0c;实际使用时可能需要根据具体情况进行修改和扩展。 package mainimport ("fmt""net/http""io/ioutil" )…

与创新者同行,Apache Doris in 2023

在刚刚过去的 Doris Summit Asia 2023 峰会上&#xff0c;Apache Doris PMC 成员、飞轮科技技术副总裁衣国垒带来了“与创新者同行”的主题演讲&#xff0c;回顾了 Apache Doris 在过去一年所取得的技术突破与社区发展&#xff0c;重新思考了在面对海量数据实时分析上的挑战与机…
最新文章