[[残差神经网络(ResNet)|ResNet]]极大地改变了如何参数化深层网络中函数的观点。 稠密连接网络在某种程度上是ResNet的逻辑扩展。
ResNet(左)与 DenseNet(右)在跨层连接上的主要区别:使用相加和使用连结。 ResNet和DenseNet的关键区别在于,DenseNet输出是连接(用图中的[,]表示)而不是如ResNet的简单相加。
稠密网络主要由2部分构成:稠密块(dense block)和 过渡层(transition layer)。 前者定义如何连接输入和输出,而后者则控制通道数量,使其不会太复杂。
一个稠密块由多个卷积块组成,每个卷积块使用相同数量的输出通道。 然而,在前向传播中,我们将每个卷积块的输入和输出在通道维上连结。
由于每个稠密块都会带来通道数的增加,使用过多则会过于复杂化模型。 而过渡层可以用来控制模型复杂度。 它通过1×1卷积层来减小通道数,并使用步幅为2的平均汇聚层减半高和宽,从而进一步降低模型复杂度。