问题描述
我是第一次为图像分类构建 CNN 模型,我对每种类型(1D CNN、2D CNN、3D CNN)的输入形状以及如何固定数量有点困惑卷积层中的过滤器。我的数据是 100x100x30,其中 30 个是特征。 这是我使用 Functional API Keras 为 1D CNN 撰写的文章:
library(shiny)
library(networkD3)
library(htmlwidgets)
library(tibble)
library(dplyr)
library(ggplot2)
library(ggforce)
ui <- fluidPage(
fluidRow(sankeyNetworkOutput("plot"))
)
server <- function(input,output,session) {
session$onSessionEnded(stopApp)
URL <- paste0(
"https://cdn.rawgit.com/christophergandrud/networkD3/","master/JSONdata/energy.json"
)
energy <- jsonlite::fromJSON(URL)
output$plot <- renderSankeyNetwork({
sn <- sankeyNetwork(
Links = energy$links,Nodes = energy$nodes,Source = "source",Target = "target",Value = "value",NodeID = "name",units = "TWh",fontSize = 12,nodeWidth = 30,nodePadding = 0,width = "100%",sinksRight = FALSE
)
update_diagr <-
'function(el,x) {
d3.select(el)
.selectAll(".node rect")
.filter(function(d) { return d.name.startsWith("National"); })
.attr("transform","translate(0 100) rotate(90)");
}'
onRender(sn,update_diagr)
})
}
shinyApp(ui,server)
但是,在通过将 Conv1D、Maxpooling1D 更改为 Conv2D 和 Maxpooling2D 来尝试 2D CNN 模型时,出现以下错误:
def create_CNN1D_model(pool_type='max',conv_activation='relu'):
input_layer = (30,1)
conv_layer1 = Conv1D(filters=16,kernel_size=3,activation=conv_activation)(input_layer)
max_pooling_layer1 = MaxPooling1D(pool_size=2)(conv_layer1)
conv_layer2 = Conv1D(filters=32,activation=conv_activation)(max_pooling_layer1)
max_pooling_layer2 = MaxPooling1D(pool_size=2)(conv_layer2)
flatten_layer = Flatten()(max_pooling_layer2)
dense_layer = Dense(units=64,activation='relu')(flatten_layer)
output_layer = Dense(units=10,activation='softmax')(dense_layer)
CNN_model = Model(inputs=input_layer,outputs=output_layer)
return CNN_model
CNN1D = create_CNN1D_model()
CNN1D.compile(loss = 'categorical_crossentropy',optimizer = "adam",metrics = ['accuracy'])
Trace = CNN1D.fit(X,y,epochs=50,batch_size=100)
谁能告诉我 2D CNN 和 3D CNN 的输入形状如何?输入数据预处理可以做什么?
解决方法
TLDR; 您的 X_train
可以被视为(批量、空间暗淡...、通道)。内核并行地应用于所有通道的空间维度。因此,2D CNN 将需要两个空间维度 (batch,dim 1,dim 2,channels)
。
因此,对于 (100,100,3)
形状的图像,您将需要一个 2D CNN,在所有 3 个通道上卷积超过 100 个高度和 100 个宽度。
让我们理解上面的陈述。
首先,您需要了解 CNN(一般而言)在做什么。
内核在执行简单的矩阵运算(如点product) 到相应的值。
内核在空间维度上移动
现在,假设您有 100 张图像(称为批次)。每张图像都是 28 x 28 像素,有 3 个通道 R、G、B(在 CNN 的上下文中也称为特征图)。如果我将此数据存储为张量,则形状将为 (100,28,3)
。
但是,我可以拥有没有任何高度的图像(可能像信号),或者,我可以拥有具有额外空间维度的数据,例如视频(高度、宽度和时间)。
一般来说,以下是基于 CNN 的神经网络的输入的样子。
相同的内核,所有通道
您需要知道的第二个关键点是,2D 内核将在 2 个空间维度上进行卷积,但同一个内核将在所有特征图/通道上执行此操作。所以,如果我有一个 (3,3)
内核。相同的内核将应用于 R、G、B 通道(并行)并在图像的 Height
和 Width
上移动。
操作是点积
最后,操作(对于单个特征图/通道和单个卷积窗口)可以如下所示进行可视化。
因此,简而言之 -
- 内核被应用于数据的空间维度
- 核形状等于空间维度的数量
- 一个内核同时应用于所有的特征图/通道
- 操作是内核和窗口之间的简单点积
让我们以具有单个特征图/通道的张量为例(因此,对于图像,它会被灰度化)-
因此,凭直觉,我们看到如果我想使用 1D CNN,您的数据必须具有 1 个空间维度,这意味着每个样本都需要是 2D(空间维度和通道) ,这意味着 X_train
必须是 3D 张量 (batch,spatial dimensions,channels)
。
同样,对于 2D CNN,您将有 2 个空间维度(例如 H、W)并且是 3D 样本 (H,W,Channels)
和 X_train
将是 {{ 1}}
让我们用代码试试这个 -
(Samples,H,Channels)
用于应用一维 CNN -
import tensorflow as tf
from tensorflow.keras import layers
X_2D = tf.random.normal((100,7,3)) #Samples,width/time,channels (feature maps)
X_3D = tf.random.normal((100,5,3)) #Samples,height,width,channels (feature maps)
X_4D = tf.random.normal((100,6,2,time,channels (feature maps)
用于应用 2D CNN -
#With padding = same,the edge pixels are padded to not skip a few
#Out featuremaps = 10,kernel (3,)
cnn1d = layers.Conv1D(10,3,padding='same')(X_2D)
print(X_2D.shape,'->',cnn1d.shape)
#(100,3) -> (100,10)
对于 3D CNN -
#Out featuremaps = 10,3)
cnn2d = layers.Conv2D(10,(3,3),padding='same')(X_3D)
print(X_3D.shape,cnn2d.shape)
#(100,10)
,
对于 100x100x30 的输入形状,您是说批量大小是 100?或者每个数据都是 100x100x30 的形状?在第二种情况下,您必须改用 Conv2D
层。每层的输入形状应该是:
Conv1D
: (size1,channel_number),Conv2D
: (size1,size2,Conv3D
: (size1,size3,channel_number)
1DCNN
、2DCNN
、3DCNN
表示卷积层的每个内核和通道的维度。