Upload File

convolutional neural networks (cnn) in medical and general ...€¦ · convolutional neural network...

  • Home
  • Documents
  • Convolutional Neural Networks (CNN) in Medical and General ...€¦ · Convolutional Neural Network -CNN • Imaging physics and convolution mathematics to understand how each component
26
Convolutional Neural Networks (CNN) in Medical and General Image Pattern Recognition ShihChung Ben Lo, Ph.D. and Seong Ki Mun, Ph.D. AI-AI workshop – May 9th, 2019

Upload: others

Post on 02-Oct-2020

7 views

Category:

Documents


0 download

Report

TRANSCRIPT

Page 1: Convolutional Neural Networks (CNN) in Medical and General ...€¦ · Convolutional Neural Network -CNN • Imaging physics and convolution mathematics to understand how each component

Convolutional Neural Networks (CNN) in Medical and General Image Pattern

Recognition

ShihChung Ben Lo, Ph.D. and Seong Ki Mun, Ph.D.

AI-AI workshop – May 9th, 2019

Page 2: Convolutional Neural Networks (CNN) in Medical and General ...€¦ · Convolutional Neural Network -CNN • Imaging physics and convolution mathematics to understand how each component

Development and Applications of Convolutional Neural Networks (CNN) in Medical Imaging

• Wei Zhang et al – Osaka University : Recognition of alphanumeric characters

• Yann LeCun et al – AT&T : Recognition of alphanumeric handwriting

• ShihChung Ben Lo et al – Georgetown University: Detection of lung nodule, breast lesions, …

1995 - Wavelet CNN

1998 - Circular Path CNN

2002 - Optimization of wavelet through CNN search

2018 - Transformation-identical CNN (TI-CNN)

2018 - Geared Rotation-identical CNN (GRI-CNN)

Early 1990s – Multi-layer perceptron (MLP) & Neocognitron [Prof. Fukushima] =>Convolutional Neural Networks (CNN)

We further developed advanced CNN algorithms for various medical applications:

Page 3: Convolutional Neural Networks (CNN) in Medical and General ...€¦ · Convolutional Neural Network -CNN • Imaging physics and convolution mathematics to understand how each component

A typical structure of the CNN

2. An activation function is followed after each convolution or fully connected network process

1. CNN - a series of convolution layers = a composed convolution with a large-sized kernel. In effect, the CNN acts as a "spatial feature learning" ( no deep learning per se)

(optional) (optional)

Page 4: Convolutional Neural Networks (CNN) in Medical and General ...€¦ · Convolutional Neural Network -CNN • Imaging physics and convolution mathematics to understand how each component

Convolutional Neural Network - CNN

• Imaging physics and convolution mathematicsto understand how each component in the CNN works and how to improve it.

• Rather than take CNN as a series of black boxes.

Page 5: Convolutional Neural Networks (CNN) in Medical and General ...€¦ · Convolutional Neural Network -CNN • Imaging physics and convolution mathematics to understand how each component

Medical Image Patterns

1. Orientation independent

2. Essential gray value features

3. Graphic pattern (edges) also play important roles

4. ROI patterns along boundary and in central part may be quite different

5. Size dependent

6. Structure noises (interference)

General Image Patterns

1. Orientation dependent – most cases

2. Essential graphic pattern (edges) features

3. Size independent

4. Structure noises (interference)

Image Pattern Recognition

Page 6: Convolutional Neural Networks (CNN) in Medical and General ...€¦ · Convolutional Neural Network -CNN • Imaging physics and convolution mathematics to understand how each component

Medical Image – for medical experts(FDA cleared products)

1. Student/resident-in-the-box * no sale* sale due to reimbursement but

clinically ineffective

2. Fellow/expert-in-the-box

General Image – for public

1. Alexa, google home…

Acceptability by the users

Page 7: Convolutional Neural Networks (CNN) in Medical and General ...€¦ · Convolutional Neural Network -CNN • Imaging physics and convolution mathematics to understand how each component

A selected activation function is used after each network processing

Softmax function is used to impart probabilities when you have more than one outputs you get probability distribution of outputs.

Softmax (output layer)

Page 8: Convolutional Neural Networks (CNN) in Medical and General ...€¦ · Convolutional Neural Network -CNN • Imaging physics and convolution mathematics to understand how each component

Convolution is a Matter of Filtering

InputFilters

Feature maps

Page 9: Convolutional Neural Networks (CNN) in Medical and General ...€¦ · Convolutional Neural Network -CNN • Imaging physics and convolution mathematics to understand how each component
Page 10: Convolutional Neural Networks (CNN) in Medical and General ...€¦ · Convolutional Neural Network -CNN • Imaging physics and convolution mathematics to understand how each component

Image Features lead to Recognition

• Graphic feature

• Gray-value feature

Page 11: Convolutional Neural Networks (CNN) in Medical and General ...€¦ · Convolutional Neural Network -CNN • Imaging physics and convolution mathematics to understand how each component
Page 12: Convolutional Neural Networks (CNN) in Medical and General ...€¦ · Convolutional Neural Network -CNN • Imaging physics and convolution mathematics to understand how each component

Intent CategorizationDo you classify them the same or different category when the input is transformed?

Most CS scientists work on orientation dependent dataset initially

We have worked on orientation independent dataset since early 1990s.

Page 13: Convolutional Neural Networks (CNN) in Medical and General ...€¦ · Convolutional Neural Network -CNN • Imaging physics and convolution mathematics to understand how each component

1. Use of “lightning” activation - to improve recognition of gray value essential features.

2. Use of symmetric filters and altering CNN structure design - to construct a transformation-identical CNN system quantitatively.

Redesign of CNN for medical image pattern recognition

Page 14: Convolutional Neural Networks (CNN) in Medical and General ...€¦ · Convolutional Neural Network -CNN • Imaging physics and convolution mathematics to understand how each component

A proposed gray-value enhanced activation function designed for gray-value features essential image

The "lightning" function (blue line) and its derivative (df/dx >1) curves for mapping a low value to a moderate high value.

Signal range is expanded after the activation function.

Conventional activation functions designed for graphic feature essential image

Their derivative are df/dx < 1

Signal range is suppressed

Page 15: Convolutional Neural Networks (CNN) in Medical and General ...€¦ · Convolutional Neural Network -CNN • Imaging physics and convolution mathematics to understand how each component

The "lightning" activation functionA range of activation functions can be designed to amplify signal range for convolution layers.

where "A" can be varied and bend activation map at low values.

• The curve shown on the figure is plotted when A=3.

• If one chooses "A" with a higher value, the curve wouldbe bended toward vertical direction as per design.

Page 16: Convolutional Neural Networks (CNN) in Medical and General ...€¦ · Convolutional Neural Network -CNN • Imaging physics and convolution mathematics to understand how each component

1. Use of “lightning” activation - to improve recognition of gray value essential features.

2. Use of symmetric filters and altering CNN structure design - to construct a transformation-identical CNN system quantitatively.

Redesign of CNN for medical image pattern recognition

Page 17: Convolutional Neural Networks (CNN) in Medical and General ...€¦ · Convolutional Neural Network -CNN • Imaging physics and convolution mathematics to understand how each component

Review of a Typical CNN Structure

We urge to correct the name of one layer in the CNN. One should not call the layer between convolution and classification sections flatten layer or dense layer that would mislead AI investigators. It should be called the “merged convolution layer.”

XX

Convolution Section Classification Section

Fullyconnected

layer

Input matrix

N1 group kernels

Lm[1]

Lm[Nm]

Hidden layer #m (Nm matrices of feature maps)

X

Y

L1[1]

L1 [N1]

Hidden layer #1(N1 matrices of feature maps)

More convolution layers as designed

Output layer

More fully connected layers as designed

Fully connected networking for classification

Fully connected

layer

Flatten pixels from the last

convolution layer (w/ w/o pooling)

Page 18: Convolutional Neural Networks (CNN) in Medical and General ...€¦ · Convolutional Neural Network -CNN • Imaging physics and convolution mathematics to understand how each component

A CNN Structure using merged convolution layer

We urge to correct the name of one layer in the CNN. One should not call the layer between convolution and classification sections flatten layer or dense layer that would mislead AI investigators. It should be called the “merged convolution layer.”

XX

Convolution Section Classification Section

Merged convolution

layer

Input matrix

N1 group kernels

Lm[1]

Lm[Nm]

Hidden layer #m (Nm matrices of feature maps)

X

Y

L1[1]

L1 [N1]

Hidden layer #1(N1 matrices of feature maps)

More convolution layers as designed

Output layer

More fully connected layers as designed

Fully connected networking for classification

Fully connected

layer

Page 19: Convolutional Neural Networks (CNN) in Medical and General ...€¦ · Convolutional Neural Network -CNN • Imaging physics and convolution mathematics to understand how each component

Symmetric Kernels

Dih4 symmetric kernel

90orotationsymmetric kernel

f e c e fe d b d ec b a b ce d b d ef b c e f

f e c g fg d b d ec b a b ce d b d gf g c e f

Regular kernel

a b c d ef g h i jk l m n op q r s tu v w x y

No. of free parameters:

25 6 9

Current CNN TI-CNN w/ Dih4 symmetry

TI-CNN w/ 90orotationsymmetry

Page 20: Convolutional Neural Networks (CNN) in Medical and General ...€¦ · Convolutional Neural Network -CNN • Imaging physics and convolution mathematics to understand how each component

q11 q12 q13 q12 q11

q12 q22 q23 q22 q12

q13 q32 q33 q32 q13

q12 q22 q23 q22 q12

q11 q12 q13 q12 q11

q11 q12 q13 q12 q11

q12 q22 q23 q22 q12

q13 q32 q33 q32 q13

q12 q22 q23 q22 q12

q11 q12 q13 q12 q11

q11 q12 q13 q12 q11

q12 q22 q23 q22 q12

q13 q32 q33 q32 q13

q12 q22 q23 q22 q12

q11 q12 q13 q12 q11

q11 q12 q13 q12 q11

q12 q22 q23 q22 q12

q13 q32 q33 q32 q13

q12 q22 q23 q22 q12

q11 q12 q13 q12 q11

q11 q12 q13 q12 q11

q12 q22 q23 q22 q12

q13 q32 q33 q32 q13

q12 q22 q23 q22 q12

q11 q12 q13 q12 q11

q11 q12 q13 q12 q11

q12 q22 q23 q22 q12

q13 q32 q33 q32 q13

q12 q22 q23 q22 q12

q11 q12 q13 q12 q11

q11 q12 q13 q12 q11

q12 q22 q23 q22 q12

q13 q32 q33 q32 q13

q12 q22 q23 q22 q12

q11 q12 q13 q12 q11

q11 q12 q13 q12 q11

q12 q22 q23 q22 q12

q13 q32 q33 q32 q13

q12 q22 q23 q22 q12

q11 q12 q13 q12 q11

q11 q12 q13 q12 q11

q12 q22 q23 q22 q12

q13 q32 q33 q32 q13

q12 q22 q23 q22 q12

q11 q12 q13 q12 q11

q11 q12 q13 q12 q11

q12 q22 q23 q22 q12

q13 q32 q33 q32 q13

q12 q22 q23 q22 q12

q11 q12 q13 q12 q11

q11 q12 q13 q12 q11

q12 q22 q23 q22 q12

q13 q32 q33 q32 q13

q12 q22 q23 q22 q12

q11 q12 q13 q12 q11

q11 q12 q13 q12 q11

q12 q22 q23 q22 q12

q13 q32 q33 q32 q13

q12 q22 q23 q22 q12

q11 q12 q13 q12 q11

q11 q12 q13 q12 q11

q12 q22 q23 q22 q12

q13 q32 q33 q32 q13

q12 q22 q23 q22 q12

q11 q12 q13 q12 q11

q11 q12 q13 q12 q11

q12 q22 q23 q22 q12

q13 q32 q33 q32 q13

q12 q22 q23 q22 q12

q11 q12 q13 q12 q11

q11 q12 q13 q12 q11

q12 q22 q23 q22 q12

q13 q32 q33 q32 q13

q12 q22 q23 q22 q12

q11 q12 q13 q12 q11

q11 q12 q13 q12 q11

q12 q22 q23 q22 q12

q13 q32 q33 q32 q13

q12 q22 q23 q22 q12

q11 q12 q13 q12 q11

q11 q12 q13 q12 q11

q12 q22 q23 q22 q12

q13 q32 q33 q32 q13

q12 q22 q23 q22 q12

q11 q12 q13 q12 q11

q11 q12 q13 q12 q11

q12 q22 q23 q22 q12

q13 q32 q33 q32 q13

q12 q22 q23 q22 q12

q11 q12 q13 q12 q11

q11 q12 q13 q12 q11

q12 q22 q23 q22 q12

q13 q32 q33 q32 q13

q12 q22 q23 q22 q12

q11 q12 q13 q12 q11

q11 q12 q13 q12 q11

q12 q22 q23 q22 q12

q13 q32 q33 q32 q13

q12 q22 q23 q22 q12

q11 q12 q13 q12 q11

q11 q12 q13 q12 q11

q12 q22 q23 q22 q12

q13 q32 q33 q32 q13

q12 q22 q23 q22 q12

q11 q12 q13 q12 q11

More convolution layers

Fully connected but share weights based on Dih4 symmetry and inner product with each channel of the last convolution layer

Dih4 kernels

Dih4 symmetric kernels

Original image

1st hidden layer

To output layer

q11 q12 q13 q12 q11

q12 q22 q23 q22 q12

q13 q32 q33 q32 q13

q12 q22 q23 q22 q12

q11 q12 q13 q12 q11

q11 q12 q13 q12 q11

q12 q22 q23 q22 q12

q13 q32 q33 q32 q13

q12 q22 q23 q22 q12

q11 q12 q13 q12 q11

q11 q12 q13 q12 q11

q12 q22 q23 q22 q12

q13 q32 q33 q32 q13

q12 q22 q23 q22 q12

q11 q12 q13 q12 q11

By entering each of these 7 versions of rotated and/or reflected images, the TI-CNN would produce the same output values

Transformation-identical convolutional neural network structure (TI-CNN-1)

Page 21: Convolutional Neural Networks (CNN) in Medical and General ...€¦ · Convolutional Neural Network -CNN • Imaging physics and convolution mathematics to understand how each component

q11 q12 q13 q12 q11

q12 q22 q23 q22 q12

q13 q32 q33 q32 q13

q12 q22 q23 q22 q12

q11 q12 q13 q12 q11

q11 q12 q13 q12 q11

q12 q22 q23 q22 q12

q13 q32 q33 q32 q13

q12 q22 q23 q22 q12

q11 q12 q13 q12 q11

q11 q12 q13 q12 q11

q12 q22 q23 q22 q12

q13 q32 q33 q32 q13

q12 q22 q23 q22 q12

q11 q12 q13 q12 q11

q11 q12 q13 q12 q11

q12 q22 q23 q22 q12

q13 q32 q33 q32 q13

q12 q22 q23 q22 q12

q11 q12 q13 q12 q11

q11 q12 q13 q12 q11

q12 q22 q23 q22 q12

q13 q32 q33 q32 q13

q12 q22 q23 q22 q12

q11 q12 q13 q12 q11

q11 q12 q13 q12 q11

q12 q22 q23 q22 q12

q13 q32 q33 q32 q13

q12 q22 q23 q22 q12

q11 q12 q13 q12 q11

q11 q12 q13 q12 q11

q12 q22 q23 q22 q12

q13 q32 q33 q32 q13

q12 q22 q23 q22 q12

q11 q12 q13 q12 q11

q11 q12 q13 q12 q11

q12 q22 q23 q22 q12

q13 q32 q33 q32 q13

q12 q22 q23 q22 q12

q11 q12 q13 q12 q11

q11 q12 q13 q12 q11

q12 q22 q23 q22 q12

q13 q32 q33 q32 q13

q12 q22 q23 q22 q12

q11 q12 q13 q12 q11

q11 q12 q13 q12 q11

q12 q22 q23 q22 q12

q13 q32 q33 q32 q13

q12 q22 q23 q22 q12

q11 q12 q13 q12 q11

q11 q12 q13 q12 q11

q12 q22 q23 q22 q12

q13 q32 q33 q32 q13

q12 q22 q23 q22 q12

q11 q12 q13 q12 q11

q11 q12 q13 q12 q11

q12 q22 q23 q22 q12

q13 q32 q33 q32 q13

q12 q22 q23 q22 q12

q11 q12 q13 q12 q11

q11 q12 q13 q12 q11

q12 q22 q23 q22 q12

q13 q32 q33 q32 q13

q12 q22 q23 q22 q12

q11 q12 q13 q12 q11

q11 q12 q13 q12 q11

q12 q22 q23 q22 q12

q13 q32 q33 q32 q13

q12 q22 q23 q22 q12

q11 q12 q13 q12 q11

q11 q12 q13 q12 q11

q12 q22 q23 q22 q12

q13 q32 q33 q32 q13

q12 q22 q23 q22 q12

q11 q12 q13 q12 q11

q11 q12 q13 q12 q11

q12 q22 q23 q22 q12

q13 q32 q33 q32 q13

q12 q22 q23 q22 q12

q11 q12 q13 q12 q11

q11 q12 q13 q12 q11

q12 q22 q23 q22 q12

q13 q32 q33 q32 q13

q12 q22 q23 q22 q12

q11 q12 q13 q12 q11

q11 q12 q13 q12 q11

q12 q22 q23 q22 q12

q13 q32 q33 q32 q13

q12 q22 q23 q22 q12

q11 q12 q13 q12 q11

q11 q12 q13 q12 q11

q12 q22 q23 q22 q12

q13 q32 q33 q32 q13

q12 q22 q23 q22 q12

q11 q12 q13 q12 q11

q11 q12 q13 q12 q11

q12 q22 q23 q22 q12

q13 q32 q33 q32 q13

q12 q22 q23 q22 q12

q11 q12 q13 q12 q11

q11 q12 q13 q12 q11

q12 q22 q23 q22 q12

q13 q32 q33 q32 q13

q12 q22 q23 q22 q12

q11 q12 q13 q12 q11

More convolution layers

Fully connected but share weights based on Dih4 symmetry and inner product with each channel of the last convolution layer

Dih4 kernels

Dih4 symmetric kernels

Original image

1st hidden layer

To output layer

q11 q12 q13 q12 q11

q12 q22 q23 q22 q12

q13 q32 q33 q32 q13

q12 q22 q23 q22 q12

q11 q12 q13 q12 q11

q11 q12 q13 q12 q11

q12 q22 q23 q22 q12

q13 q32 q33 q32 q13

q12 q22 q23 q22 q12

q11 q12 q13 q12 q11

q11 q12 q13 q12 q11

q12 q22 q23 q22 q12

q13 q32 q33 q32 q13

q12 q22 q23 q22 q12

q11 q12 q13 q12 q11

Transformation-identical convolutional neural network structure (TI-CNN-1)

Page 22: Convolutional Neural Networks (CNN) in Medical and General ...€¦ · Convolutional Neural Network -CNN • Imaging physics and convolution mathematics to understand how each component

Initialization for all sets of convolutional kernels

Software modules to be changed for making a TI-CNN

Randomize or transfer coefficients for free parameters and duplicate coefficients at corresponding symmetric elements

+ Kernel coefficients learned from error backpropagation & to be added on to the kernel

Update each kernel

+ +

0o 90o

+

180o

+

270o

+ + + + 8

r/0o r/90o r/180o r/270o

Would not result in a symmetric kernel

Would result in a symmetric kernel

(A)

(B)

(C) Speed up computation by adding symmetric positions of the 1st operand followed by multiplying the corresponding kernel coefficient

(Optional)

(D) Treat the 1st flatten layer as the same as a convolution layer (i.e., merged convolution layer) with the same property of symmetric kernel

Page 23: Convolutional Neural Networks (CNN) in Medical and General ...€¦ · Convolutional Neural Network -CNN • Imaging physics and convolution mathematics to understand how each component

q11 q12 q13 q12 q11

q12 q22 q23 q22 q12

q13 q32 q33 q32 q13

q12 q22 q23 q22 q12

q11 q12 q13 q12 q11

q11 q12 q13 q12 q11

q12 q22 q23 q22 q12

q13 q32 q33 q32 q13

q12 q22 q23 q22 q12

q11 q12 q13 q12 q11

q11 q12 q13 q12 q11

q12 q22 q23 q22 q12

q13 q32 q33 q32 q13

q12 q22 q23 q22 q12

q11 q12 q13 q12 q11

q11 q12 q13 q12 q11

q12 q22 q23 q22 q12

q13 q32 q33 q32 q13

q12 q22 q23 q22 q12

q11 q12 q13 q12 q11

q11 q12 q13 q12 q11

q12 q22 q23 q22 q12

q13 q32 q33 q32 q13

q12 q22 q23 q22 q12

q11 q12 q13 q12 q11

q11 q12 q13 q12 q11

q12 q22 q23 q22 q12

q13 q32 q33 q32 q13

q12 q22 q23 q22 q12

q11 q12 q13 q12 q11

q11 q12 q13 q12 q11

q12 q22 q23 q22 q12

q13 q32 q33 q32 q13

q12 q22 q23 q22 q12

q11 q12 q13 q12 q11

q11 q12 q13 q12 q11

q12 q22 q23 q22 q12

q13 q32 q33 q32 q13

q12 q22 q23 q22 q12

q11 q12 q13 q12 q11

q11 q12 q13 q12 q11

q12 q22 q23 q22 q12

q13 q32 q33 q32 q13

q12 q22 q23 q22 q12

q11 q12 q13 q12 q11

q11 q12 q13 q12 q11

q12 q22 q23 q22 q12

q13 q32 q33 q32 q13

q12 q22 q23 q22 q12

q11 q12 q13 q12 q11

q11 q12 q13 q12 q11

q12 q22 q23 q22 q12

q13 q32 q33 q32 q13

q12 q22 q23 q22 q12

q11 q12 q13 q12 q11

q11 q12 q13 q12 q11

q12 q22 q23 q22 q12

q13 q32 q33 q32 q13

q12 q22 q23 q22 q12

q11 q12 q13 q12 q11

q11 q12 q13 q12 q11

q12 q22 q23 q22 q12

q13 q32 q33 q32 q13

q12 q22 q23 q22 q12

q11 q12 q13 q12 q11

q11 q12 q13 q12 q11

q12 q22 q23 q22 q12

q13 q32 q33 q32 q13

q12 q22 q23 q22 q12

q11 q12 q13 q12 q11

q11 q12 q13 q12 q11

q12 q22 q23 q22 q12

q13 q32 q33 q32 q13

q12 q22 q23 q22 q12

q11 q12 q13 q12 q11

q11 q12 q13 q12 q11

q12 q22 q23 q22 q12

q13 q32 q33 q32 q13

q12 q22 q23 q22 q12

q11 q12 q13 q12 q11

q11 q12 q13 q12 q11

q12 q22 q23 q22 q12

q13 q32 q33 q32 q13

q12 q22 q23 q22 q12

q11 q12 q13 q12 q11

q11 q12 q13 q12 q11

q12 q22 q23 q22 q12

q13 q32 q33 q32 q13

q12 q22 q23 q22 q12

q11 q12 q13 q12 q11

q11 q12 q13 q12 q11

q12 q22 q23 q22 q12

q13 q32 q33 q32 q13

q12 q22 q23 q22 q12

q11 q12 q13 q12 q11

q11 q12 q13 q12 q11

q12 q22 q23 q22 q12

q13 q32 q33 q32 q13

q12 q22 q23 q22 q12

q11 q12 q13 q12 q11

q11 q12 q13 q12 q11

q12 q22 q23 q22 q12

q13 q32 q33 q32 q13

q12 q22 q23 q22 q12

q11 q12 q13 q12 q11

More convolution layers

Fully connected but share weights based on Dih4 symmetry and inner product with each channel of the last convolution layer

Dih4 RI kernels

Different sets of Dih4 RTI kernels

Original image

1st hidden layer

To output layer

The last convolution layer may or may not be followed by pooling

More type-2 transformations with rotation angles of 2xo , .. (90-x)o and their RI-CNN processes for steps # 3 …m.

MLP( fully connected no weight sharing)or MCPCNN (multiple circular path CNN)

q11 q12 q13 q12 q11

q12 q22 q23 q22 q12

q13 q32 q33 q32 q13

q12 q22 q23 q22 q12

q11 q12 q13 q12 q11

q11 q12 q13 q12 q11

q12 q22 q23 q22 q12

q13 q32 q33 q32 q13

q12 q22 q23 q22 q12

q11 q12 q13 q12 q11

q11 q12 q13 q12 q11

q12 q22 q23 q22 q12

q13 q32 q33 q32 q13

q12 q22 q23 q22 q12

q11 q12 q13 q12 q11q11 q12 q13 q12 q11

q12 q22 q23 q22 q12

q13 q32 q33 q32 q13

q12 q22 q23 q22 q12

q11 q12 q13 q12 q11

q11 q12 q13 q12 q11

q12 q22 q23 q22 q12

q13 q32 q33 q32 q13

q12 q22 q23 q22 q12

q11 q12 q13 q12 q11

q11 q12 q13 q12 q11

q12 q22 q23 q22 q12

q13 q32 q33 q32 q13

q12 q22 q23 q22 q12

q11 q12 q13 q12 q11

q11 q12 q13 q12 q11

q12 q22 q23 q22 q12

q13 q32 q33 q32 q13

q12 q22 q23 q22 q12

q11 q12 q13 q12 q11

q11 q12 q13 q12 q11

q12 q22 q23 q22 q12

q13 q32 q33 q32 q13

q12 q22 q23 q22 q12

q11 q12 q13 q12 q11

q11 q12 q13 q12 q11

q12 q22 q23 q22 q12

q13 q32 q33 q32 q13

q12 q22 q23 q22 q12

q11 q12 q13 q12 q11

q11 q12 q13 q12 q11

q12 q22 q23 q22 q12

q13 q32 q33 q32 q13

q12 q22 q23 q22 q12

q11 q12 q13 q12 q11

q11 q12 q13 q12 q11

q12 q22 q23 q22 q12

q13 q32 q33 q32 q13

q12 q22 q23 q22 q12

q11 q12 q13 q12 q11

q11 q12 q13 q12 q11

q12 q22 q23 q22 q12

q13 q32 q33 q32 q13

q12 q22 q23 q22 q12

q11 q12 q13 q12 q11

q11 q12 q13 q12 q11

q12 q22 q23 q22 q12

q13 q32 q33 q32 q13

q12 q22 q23 q22 q12

q11 q12 q13 q12 q11

q11 q12 q13 q12 q11

q12 q22 q23 q22 q12

q13 q32 q33 q32 q13

q12 q22 q23 q22 q12

q11 q12 q13 q12 q11

q11 q12 q13 q12 q11

q12 q22 q23 q22 q12

q13 q32 q33 q32 q13

q12 q22 q23 q22 q12

q11 q12 q13 q12 q11

q11 q12 q13 q12 q11

q12 q22 q23 q22 q12

q13 q32 q33 q32 q13

q12 q22 q23 q22 q12

q11 q12 q13 q12 q11

q11 q12 q13 q12 q11

q12 q22 q23 q22 q12

q13 q32 q33 q32 q13

q12 q22 q23 q22 q12

q11 q12 q13 q12 q11

q11 q12 q13 q12 q11

q12 q22 q23 q22 q12

q13 q32 q33 q32 q13

q12 q22 q23 q22 q12

q11 q12 q13 q12 q11

q11 q12 q13 q12 q11

q12 q22 q23 q22 q12

q13 q32 q33 q32 q13

q12 q22 q23 q22 q12

q11 q12 q13 q12 q11

q11 q12 q13 q12 q11

q12 q22 q23 q22 q12

q13 q32 q33 q32 q13

q12 q22 q23 q22 q12

q11 q12 q13 q12 q11

q11 q12 q13 q12 q11

q12 q22 q23 q22 q12

q13 q32 q33 q32 q13

q12 q22 q23 q22 q12

q11 q12 q13 q12 q11

More convolution layers

A type-2 transformation of the original

q11 q12 q13 q12 q11

q12 q22 q23 q22 q12

q13 q32 q33 q32 q13

q12 q22 q23 q22 q12

q11 q12 q13 q12 q11

q11 q12 q13 q12 q11

q12 q22 q23 q22 q12

q13 q32 q33 q32 q13

q12 q22 q23 q22 q12

q11 q12 q13 q12 q11

q11 q12 q13 q12 q11

q12 q22 q23 q22 q12

q13 q32 q33 q32 q13

q12 q22 q23 q22 q12

q11 q12 q13 q12 q11

q11 q12 q13 q12 q11

q12 q22 q23 q22 q12

q13 q32 q33 q32 q13

q12 q22 q23 q22 q12

q11 q12 q13 q12 q11

q11 q12 q13 q12 q11

q12 q22 q23 q22 q12

q13 q32 q33 q32 q13

q12 q22 q23 q22 q12

q11 q12 q13 q12 q11

q11 q12 q13 q12 q11

q12 q22 q23 q22 q12

q13 q32 q33 q32 q13

q12 q22 q23 q22 q12

q11 q12 q13 q12 q11

xo rotation step/tooth # 2

Padding zone preparing for all possible rotations

step/tooth # 1

One of GRI-CNN structures – A virtually isotropic CNN system that can produce identical output with a small step angle rotation

No beginning and no ending angle!

Page 24: Convolutional Neural Networks (CNN) in Medical and General ...€¦ · Convolutional Neural Network -CNN • Imaging physics and convolution mathematics to understand how each component

X=10o => 9 frames (8 additional images would be intrinsically created) in the GRI-CNN algorithm

If X=1o => m= 90

Page 25: Convolutional Neural Networks (CNN) in Medical and General ...€¦ · Convolutional Neural Network -CNN • Imaging physics and convolution mathematics to understand how each component

Can we use neural network without convolution layer to construct TI-NN and GRI-NN?

Answer: yes

Merged convolution

layer

Input matrix

X

Y

Output layer

More fully connected layers as designed

Fully connected networking for classification

Fully connected

layer

Page 26: Convolutional Neural Networks (CNN) in Medical and General ...€¦ · Convolutional Neural Network -CNN • Imaging physics and convolution mathematics to understand how each component

4. The GRI-CNNs can be constructed using the TI-CNNs with a fine step angle design.

3. The TI-CNNs can be constructed using (i) symmetric operators, (ii)symmetric operations, (iii) symmetric input data made artificially.

Conclusions and Discussion

1. The foundation of CNN is based on convolution/filter processes, feature extraction, and image physics – not black boxes

5. Several new groups of CNNs have been developed and can systematically produce identical results. When the structure getting complex, further research is need to investigate its performance.

2. Medical image pattern featured in gray value/graphic, ROI boundary, orientation independent, size dependent


Research Trends on Convolutional Neural Network (CNN

T-CNN: Tubelets with Convolutional Neural Networks for ...1 T-CNN: Tubelets with Convolutional Neural Networks for Object Detection from Videos Kai Kang, Hongsheng Li, Junjie Yan,

Distributed Convolutional Neural Network with Apache Spark · Distributed Convolutional Neural Network with Apache Spark ... • Batch Processing . ... • Compare Spark-CNN performance

Neural Network Convolutional with recognition Face · 2015-06-03 · Using Convolutional Neural Network (CNN) to recognize person on the image Face recognition with CNN Face recognition

Convolutional Neural Networks (CNN) - i-systems.github.ioi-systems.github.io/HSE545/iAI/DL/topics/06_CNN/02_CNN.pdf · Convolutional Neural Networks (CNN) ... •Did not make use

Convolutional Neural Networkslvelho.impa.br/ip16/proj/slides/ImageNet_DeepCNN.pdf · Convolutional Neural Networks 7 Motivation It was one of the largest CNN trained with the ImageNet

Convolutional Neural Networks (CNN)

T-CNN: Tubelets with Convolutional Neural Networks for Object … · 1 T-CNN: Tubelets with Convolutional Neural Networks for Object Detection from Videos Kai Kang*, Hongsheng Li*,

Visualization and Interpretation of Convolutional Neural ...and/or convolutional neural network (CNN) extracted image features for visual recognition. However, CNNs are perceived as

Deep Convolutional Neural Networks for Forensic Age ...blog.hakzone.info/.../uploads/2020/05/CNN-for-Forensic-Age-Estimation.… · 3. The Convolutional Neural Network (CNN) The most

Convolutional Neural Nets · Convolutional Neural Network (CNN) Convolutional layers localize connections to a small window of input For example, the input node x 3 connects to the

Rain Prediction Using Convolutional Neural Network (CNN

convolutional neural networks (CNN) Categorisation … · Categorisation images of clothes with convolutional neural networks (CNN) Author: Taras Sereda. LeNET - 5 (Zip code recognition)

PredictiveNet: An Energy-efficient Convolutional Neural ...shanbhag.ece.illinois.edu/publications/yingyan-ISCAS-2017.pdf · forms [1]. Convolutional neural network(CNN) is a power-ful

Deep Convolutional Neural Networks for Computer-Aided ... · 1 Deep Convolutional Neural Networks for Computer-Aided Detection: CNN Architectures, Dataset Characteristics and Transfer

Tube Convolutional Neural Network (T-CNN) for Action ...openaccess.thecvf.com/...Tube_Convolutional_Neural... · propose Tube Convolutional Neural Network (T-CNN) for action detection

Performance Analysis of GPU-Based Convolutional Neural ...howie/publications/GPU-CNN-ICPP16.pdfPerformance Analysis of GPU-based Convolutional Neural Networks Xiaqing Li †‡§,

Convolutional Neural Networkscis581/Lectures/Fall2018/CNN-intr… · Convolutional Neural Network (CNN) Pipeline: A Monitor. Convolutional Neural Nets (CNNs) in a nutshell: • A

Convolutional Neural Networks - TJ Machine Learning Clubtjmachinelearning.com/lectures/cnn/cnn.pdf · 2018-05-23 · Convolutional Neural Networks Mihir Patel ... Traditional neural

Newton Methods for Convolutional Neural Networkscjlin/papers/cnn/newton-CNN.pdf · used networks such as Convolutional Neural Networks (CNN). One reason is that Newton methods for

Tube Convolutional Neural Network (T-CNN) for Action ...crcv.ucf.edu/papers/iccv17/T-CNN-camera-ready.pdf · Tube Convolutional Neural Network ... stream networks (a spatial CNN and

Convolutional Neural Networks Analyzed via Convolutional ... · Convolutional neural networks (CNN) lead to remarkable results in many fields Clear and profound theoretical understanding

Convolutional Neural Networks (CNN) · Convolutional Neural Networks (CNN) •Motivation –The bird occupies a local area and looks the same in different parts of an image. We should

Convolutional Neural Network · Convolutional Neural Networks (CNN) •A.k.a. CNN or ConvNet Adit Deshpande, A Beginner's Guide To Understanding Convolutional Neural Networks. Digital

A-CNN: Annularly Convolutional Neural Networks on Point Clouds · Figure 1: The proposed annularly convolutional neural networks (A-CNN) model on point clouds to perform classification,

Convolutional Neural Networks for Document Image …Classifying and grouping document images into known ... image classification using Convolutional Neural Networks (CNNs). CNN is

Implementation of a Convolutional Neural Network (CNN) on ...oa.upm.es/53784/1/TFG_PABLO_CORREA_GOMEZ.pdf · Neural Network (CNN) on a FPGA for Sign Language’s Alphabet recognition

Convolutional Neural Networks for Deep Learning: An Introduction · 2017-10-05 · Introduction: Convolutional Neural Networks (CNN) Convolutional Neural Networks: A deep learning

Convolutional Neural Networks - University of Pennsylvaniacis581/Lectures/Fall... · 2017-12-05 · Input: Convolutional Neural Network (CNN) Early layers learn to detect low level

Convolutional Networks - Université de Montréal · Convolutional Neural Networks •Object detection systems based on the deep convolutional neural network (CNN) have recently made

AnApproachtoSemanticandStructuralFeaturesLearningfor ...downloads.hindawi.com/journals/mpe/2020/6038619.pdf3.2. Convolutional Neural Network. Convolutional neural network(CNN)isone

Neural Networks Convolutional and Recurrentai-nlp-ml/course/dnlp/CNN-RNN-LSTM-Attenti… · Convolutional Neural Networks (CNN) A CNN consists of a series (≥ 1) of convolution layer

Convolutional Neural Network & Backpropagation … · 2017-11-09 · Content 1.Neural Network 2.Backpropagation Algorithm 3.Convolutional Neural Network 4.Backpropagation on CNN

COMPLEX INPUT CONVOLUTIONAL NEURAL NETWORKS FOR …hero.engin.umich.edu/wp-content/uploads/sites/335/... · convolutional neural network (CNN) that accepts fully complex input features

Beyond Convolutional Neural Networks (CNN)i-systems.github.io/HSE545/iAI/DL/topics/06_Modern_CNN/02_Beyond_CNN.pdf · Beyond Convolutional Neural Networks (CNN) Industrial AI Lab