Skip to content

Latest commit

 

History

History
17 lines (11 loc) · 1.25 KB

稠密连接网络(DenseNet).md

File metadata and controls

17 lines (11 loc) · 1.25 KB

[[残差神经网络(ResNet)|ResNet]]极大地改变了如何参数化深层网络中函数的观点。 稠密连接网络在某种程度上是ResNet的逻辑扩展。

[Pasted image 20231118140108.png] ResNet(左)与 DenseNet(右)在跨层连接上的主要区别:使用相加和使用连结。 ResNet和DenseNet的关键区别在于,DenseNet输出是连接(用图中的[,]表示)而不是如ResNet的简单相加。

稠密连接

[Pasted image 20231118140207.png|410]

稠密网络主要由2部分构成:稠密块(dense block)和 过渡层(transition layer)。 前者定义如何连接输入和输出,而后者则控制通道数量,使其不会太复杂。

稠密块

一个稠密块由多个卷积块组成,每个卷积块使用相同数量的输出通道。 然而,在前向传播中,我们将每个卷积块的输入和输出在通道维上连结。

过渡层

由于每个稠密块都会带来通道数的增加,使用过多则会过于复杂化模型。 而过渡层可以用来控制模型复杂度。 它通过1×1卷积层来减小通道数,并使用步幅为2的平均汇聚层减半高和宽,从而进一步降低模型复杂度。