CS7015 (Deep Learning) : Lecture 12

CS7015 (Deep Learning) : Lecture 12
Visualizing Convolutional Neural Networks, Guided Backpropagation, Deep

Dream, Deep Art, Fooling Convolutional Neural Networks
Mitesh M. Khapra
Department of Computer Science and Engineering

Indian Institute of Technology Madras
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 1/1
Mitesh M. Khapra CS7015 (Deep Learning) : Lecture 12
Acknowledgements
Andrej Karpathy Video Lecture on Visualization and Deep Dream∗
∗
Visualization, Deep Dream, Neural Style, Adversarial Examples
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 2/1
Module : Visualizing patches which maximally activate
a neuron
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 3/1
55
27
23
11
11 9
3 5 7
5 dense
3 3 3 3 3
3 3 2 dense dense
3 3 3
5 3
11 5 2
7
256
11 9 256
MaxPooling
27 23 384 Convolution
55 Convolution
384
256
Convolution
MaxPooling 1000
256
96
Convolution
MaxPooling
4096 4096
96
Convolution
Input
Mitesh M. Khapra
. .
.
layer of a CNN
CS7015 (Deep Learning) : Lecture 12

. . . . . . . . . . . . . .
. . . . . . . . . . . . . .
.
. .
. . .
. . .
Consider some neurons in a given
4/1
1000
dense
4096
dense
layer of a CNN
4096
dense
MaxPooling
We can feed in images to this CNN
256
5
Convolution
and identify the images which cause
256
7
7
these neurons to fire
Convolution
384
9
Convolution
384
11
11
MaxPooling
23
256
23
Convolution
27
256
27
55
MaxPooling
96
55
Convolution
96
Input
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 4/1
1000
dense
4096
dense
layer of a CNN
4096
dense
MaxPooling
256
5
Convolution
256
7
7
Convolution
384
9
9
We can then trace back to the patch
Convolution
384
11
in the image which causes these neur-
11
MaxPooling
23
256
ons to fire
23
Convolution
27
256
27
55
MaxPooling
96
55
Convolution
96
Input
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 4/1
1000
dense
4096
dense
layer of a CNN
4096
dense
MaxPooling
256
5
Convolution
256
7
7
Convolution
384
9
9
Convolution
384
11
11
MaxPooling
23
256
ons to fire
23
Convolution
27
256
27
55
MaxPooling
96
55
Convolution
96
Input
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 4/1
1000
dense
4096
dense
layer of a CNN
4096
dense
MaxPooling
256
5
Convolution
256
7
7
Convolution
384
9
9
Convolution
384
11
11
MaxPooling
23
256
ons to fire
23
Convolution
27
256
27
55
MaxPooling
96
55
Convolution
96
Input
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 4/1
1000
dense
4096
dense
layer of a CNN
4096
dense
MaxPooling
256
5
Convolution
256
7
7
Convolution
384
9
9
Convolution
384
11
11
MaxPooling
23
256
ons to fire
23
Convolution
Let us look at the result of one of such
27
256
27
experiment conducted by Grishick et

55
MaxPooling
96
55
Convolution
al., 2014
96
Input
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 4/1
They consider 6 neurons in the pool5 layer and find the image patches which
cause these neurons to fire
One neuron fires for people faces
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 5/1
Another neuron fires for dog faces
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 5/1
Another neuron fires for flowers
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 5/1
Another neuron fires for numbers
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 5/1
Another neuron fires for houses
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 5/1
Another neuron fires for shiny surfaces
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 5/1
Module : Visualizing filters of a CNN
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 6/1
Recall that we had done something
x̂ similar while discussing autoencoders
h(x)
max {wT x}
x
s.t. ||x||2 = xT x = 1
w1
Solution: x = √
w1T w1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 7/1
We are interested in finding an input
which maximally excites a neuron
h(x)
max {wT x}
x
s.t. ||x||2 = xT x = 1
w1
Solution: x = √
w1T w1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 7/1
We are interested in finding an input
which maximally excites a neuron
h(x)
Turns out that the input which will
W
maximally activate a neuron is ∥W ∥
max {wT x}
x
s.t. ||x||2 = xT x = 1
w1
Solution: x = √
w1T w1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 7/1
h11 h12 Now recall that we can think of a
CNN also as a feed-forward network
with sparse connections and weight
sharing
...
16
2
h14
* =
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 8/1
sharing
...
Once again, we are interested in
16 knowing what kind of inputs will
cause a given neuron to fire
2
h14
* =
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 8/1
sharing
...
The solution would be the same
2
h14
∥ ) where W is the filter(2 × 2, in
W
( ∥W
* =
this case)
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 8/1
sharing
...
The solution would be the same
2
h14
∥ ) where W is the filter(2 × 2, in
W
( ∥W
* =
this case)
We can thus think of these filters as

pattern detectors
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 8/1
We can simply plot the K ×K weights
(filters) as images & visualize them as
patterns
max {wT x}
x
s.t. ||x||2 = xT x = 1
w1
Solution: x = √
w1T w1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 9/1
patterns
The filters essentially detect these
patterns (by causing the neurons to
maximally fire)
max {wT x}
x
s.t. ||x||2 = xT x = 1
w1
Solution: x = √
w1T w1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 9/1
patterns
maximally fire)
This is only interpretable for the fil-
ters in the first convolution layer
max {wT x}
x
s.t. ||x||2 = xT x = 1
w1
Solution: x = √
w1T w1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 9/1
patterns
maximally fire)
This is only interpretable for the fil-
ters in the first convolution layer
max {wT x} (Why?)
x
s.t. ||x||2 = xT x = 1
w1
Solution: x = √
w1T w1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 9/1
Module : Occlusion experiments
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 10/1
pomeranian wheel ... hound
Typically we are interested in under-
Softmax
standing which portions of the image
(a) Input Image (b) Layer 5, strongest feature map
(c) Layer 5, strongest
feature map projections
are responsible for maximizing the
(d) Classifier, probability
of correct class
(e) Classifier, most
probable class
probability of a certain class

0.9
0.8
Pomeranian
Tennis ball
Keeshond
Pekinese
0.7
0.6
0.5
0.4
0.3
0.2
True Label: Pomeranian 0.1
Car wheel
Racer
0.25 Cab
Police van
0.2
0.15
0.1
0.05
True Label: Car Wheel

Afghan hound
0.7
Gordon setter
Irish setter
0.6 Mortarboard
Fur coat
0.5
Academic gown
Australian terrier
Ice lolly
0.4
Vizsla
Neck brace
0.3
0.2
0.1
True Label: Afghan Hound
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 11/1
Softmax
of correct class
probable class

0.9
0.8
Pomeranian
Tennis ball
Keeshond
Pekinese
0.7
We could occlude (gray out) differ-

0.6
0.5
0.4
True Label: Pomeranian

ent patches in the image and see the
0.3
0.2
0.1
effect on the predicted probability of

0.25
Car wheel
Racer
Cab
Police van
the correct class

0.2
0.15
0.1
0.05

Afghan hound
0.7
Gordon setter
Irish setter
0.6 Mortarboard
Fur coat
0.5
Academic gown
Australian terrier
Ice lolly
0.4
Vizsla
Neck brace
0.3
0.2
0.1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 11/1
Softmax
of correct class
probable class

0.9
0.8
Pomeranian
Tennis ball
Keeshond
Pekinese
0.7

0.6
0.5
0.4

0.3
0.2
0.1

0.25
Car wheel
Racer
Cab
Police van
the correct class

0.2
0.15
For example this heat map shows that

0.1
0.05

occluding the face of the dog causes
0.7
Afghan hound
Gordon setter
Irish setter
0.6 Mortarboard
a maximum drop in the prediction

0.5
0.4
Fur coat
Academic gown
Australian terrier
Ice lolly
Vizsla
Neck brace
probability
0.3
0.2
0.1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 11/1
Softmax
of correct class
probable class

0.9
0.8
Pomeranian
Tennis ball
Keeshond
Pekinese
0.7

0.6
0.5
0.4

0.3
0.2
0.1

0.25
Car wheel
Racer
Cab
Police van
the correct class

0.2
0.15
For example this heat map shows that

0.1
0.05

occluding the face of the dog causes
0.7
Afghan hound
Gordon setter
Irish setter
0.6 Mortarboard
a maximum drop in the prediction

0.5
0.4
Fur coat
Academic gown
Australian terrier
Ice lolly
Vizsla
Neck brace
probability
0.3
0.2
0.1
Similar observations are made for
other images
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 11/1
Module : Finding influence of input pixels using
backpropagation
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 12/1
We can think of an image as a m × n
inputs x0 , x1 , . . . , xm×n
flatten
x0 x1 · · · ·
· · · · · ·
· · · · · ·
· · · · · ·
· · · · · ·
· · · · · xmn
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 13/1
inputs x0 , x1 , . . . , xm×n
hj
We are interested in finding the influ-
ence of each of these inputs(xi ) on a
given neuron(hj )
xi
flatten
x0 x1 · · · ·
· · · · · ·
· · · · · ·
· · · · · ·
· · · · · ·
· · · · · xmn
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 13/1
inputs x0 , x1 , . . . , xm×n
hj
given neuron(hj )
If a small change in xi causes a large
change in hj then we can say that xi
xi
has a lot of influence of hj
flatten
x0 x1 · · · ·
· · · · · ·
· · · · · ·
· · · · · ·
· · · · · ·
· · · · · xmn
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 13/1
inputs x0 , x1 , . . . , xm×n
hj
given neuron(hj )
If a small change in xi causes a large
change in hj then we can say that xi
xi
has a lot of influence of hj
flatten ∂hj
In other words the gradient ∂xi could
x0 x1 · · · · tell us about the influence
· · · · · ·
· · · · · ·
· · · · · ·
· · · · · ·
· · · · · xmn
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 13/1
∂hj
=0 −→ no influence
hj ∂xi
xi
flatten
∂hi ∂hi
∂x0 ∂x1 · · · ·
· · · · · ·
· · · · · ·
· · · · · ·
· · · · · ·
· · · · · ∂x∂hmn
i
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 14/1
∂hj
hj ∂xi
∂hj
= large −→ high influence
∂xi
xi
flatten
∂hi ∂hi
∂x0 ∂x1 · · · ·
· · · · · ·
· · · · · ·
· · · · · ·
· · · · · ·
· · · · · ∂x∂hmn
i
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 14/1
∂hj
hj ∂xi
∂hj
∂xi
∂hj
= small −→ low influence
∂xi
xi
flatten
∂hi ∂hi
∂x0 ∂x1 · · · ·
· · · · · ·
· · · · · ·
· · · · · ·
· · · · · ·
· · · · · ∂x∂hmn
i
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 14/1
∂hj
hj ∂xi
∂hj
∂xi
∂hj
∂xi
xi
flatten We could just compute these partial

derivatives w.r.t all the inputs
∂hi ∂hi
∂x0 ∂x1 · · · ·
· · · · · ·
· · · · · ·
· · · · · ·
· · · · · ·
· · · · · ∂x∂hmn
i
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 14/1
∂hj
hj ∂xi
∂hj
∂xi
∂hj
∂xi
xi
flatten We could just compute these partial

derivatives w.r.t all the inputs
∂hi ∂hi
∂x0 ∂x1 · · · · And then visualize this gradient mat-
· · · · · · rix as an image itself
· · · · · ·
· · · · · ·
· · · · · ·
· · · · · ∂x∂hmn
i
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 14/1
But how do we compute these gradi-
ents?
flatten
x0 x1 · · · ·
· · · · · ·
· · · · · ·
· · · · · ·
· · · · · ·
· · · · · xmn
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 15/1
ents?
h32
Recall that we can represent CNNs
by feedforward neural network
h1i
x2
flatten
x0 x1 · · · ·
· · · · · ·
· · · · · ·
· · · · · ·
· · · · · ·
· · · · · xmn
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 15/1
ents?
h32
h1i
Then we already know how to com-
pute influences (gradient) using back-
propogation
x2
flatten
x0 x1 · · · ·
· · · · · ·
· · · · · ·
· · · · · ·
· · · · · ·
· · · · · xmn
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 15/1
ents?
h32
h1i
propogation
x2
For example, we know how to back-
flatten prop the gradients till the first hidden
layer
x0 x1 · · · ·
· · · · · ·
· · · · · ·
· · · · · ·
· · · · · ·
· · · · · xmn
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 15/1
ents?
h32
h1i
propogation
x2
For example, we know how to back-
flatten prop the gradients till the first hidden
layer
x0 x1 · · · · ∑ ∂h32 ∂h1i3
∂h32
· · · · · · ∂x2
=
∂h1i ∂x2
· · · · · · i=1
∑
4
· · · · · · h1i = wji xj
· · · · · · j=1
· · · · · xmn ∂h1i
= w12
∂x
.. 2
. . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 15/1
This is what we get if we compute the
gradients and plot it as an image
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 16/1
The above procedure does not show
very sharp influences
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 16/1
The above procedure does not show
very sharp influences
Springenberg et al. proposed “guided
back propagation” which gives a bet-
ter idea about the influences
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 16/1
Module : Guided Backpropagation
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 17/1
We feed an input to the CNN and do
a forward pass
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 18/1
a forward pass
We consider one neuron in some fea-
ture map at some layer
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 18/1
a forward pass
ence of the input on this neuron
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 18/1
a forward pass
ence of the input on this neuron
We retain this neuron and set all
other neurons in the layer to zero
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 18/1
We now backpropogate all the way to
the inputs
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 19/1
the inputs
1 -1 5 1 0 5 Recall that during forward pass relu
Forward pass
2 -5 -7 2 0 0 activation allows only positive values
-3 2 4 0 2 4 to pass & clamps −ve values to zero
-2 0 -1 -2 3 -1
Backward pass:
6 0 0 6 -3 1
backpropagation
0 -1 3 2 -1 3
0 3 0 -2 3 -1
Backward pass:
6 0 1 6 -3 1
“deconvnet”
2 0 3 2 -1 3
0 0 0 -2 3 -1
Backward pass:
guided 6 0 0 6 -3 1
backpropagation 0 0 3 2 -1 3 . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 19/1
the inputs
1 -1 5 1 0 5 Recall that during forward pass relu
Forward pass
2
1 -5
-1 -7
5 2
1 0
0 0
5
activation allows only positive values
Forward pass -3
2 2
-5 4
-7 02 20 40 to pass & clamps −ve values to zero
-3 2 4 0 2 4
-2 0 -1 -2 3 -1 Similarly during backward pass no
Backward pass:
backpropagation
6
-2 0
0 0
-1 6
-2 -3
3 1
-1 gradient passes through the dead relu
Backward pass: 0 -1 30 26 -1 31
backpropagation
6 0 -3 neurons
0 -1 3 2 -1 3
0 3 0 -2 3 -1
Backward pass:
6
0 0
3 1
0 6
-2 -3
3 1
-1
“deconvnet”
Backward pass: 26 00 31 26 -1 31
-3
“deconvnet”
2 0 3 2 -1 3
0 0 0 -2 3 -1
Backward pass:
guided 6
0 0
0 0
0 6
-2 -3
3 1
-1
Backward pass:
backpropagation . . . . . . . . . . . . . . . . . . . .
06 00 30 26 -1 31
guided -3 . . . . . . . . . . . . . . . . . . . . 19/1
backpropagation 0 0 3 2 -1Mitesh
3 M. Khapra CS7015 (Deep Learning) : Lecture 12
1 -1 5 1 0 5
the inputs
Forward pass
2
1 -5
-1 -7
5 2
1 0
0 0
5 Recall that during forward pass relu
Forward pass -3
2
1
2
-5
-1
4
-7
5
02
1
20
0
40
5
activation allows only positive values
Forward pass -3
2
-2
2
-5
0
4
-7
-1
02
-2
20
3
40
-1
to pass & clamps −ve values to zero
Backward pass: -3 20 40 0 2 4
backpropagation
6
-2 0 -1 6
-2 -3
3 1
-1 Similarly during backward pass no
Backward pass: 0 -1 30 26 -1 31
backpropagation
6
-2 0
0 -1 -2 -3
3 -1 gradient passes through the dead relu
Backward pass: 0 -1 30 26 -1 31
backpropagation
6
0 0
3 0 -2 -3
3 -1 neurons
Backward pass: 06 -1 31 26 -1 31
0 -3
“deconvnet”
Backward pass:
0 3 0 -2 3 -1 In guided back propagation any -
26 00 31 26 -1
-3 31
“deconvnet” 0 3 0 -2 3 -1 ve gradients flowing from the upper
Backward pass: 26 00 31 26 -1 31
-3
“deconvnet”
Backward pass: 0 0 0 -2 3 -1 layer are also set to 0
guided 2
6 0
0 3
0 62 -1
-3 13
0 0 0 -2 3 -1
Backward pass:
backpropagation 06 00 30 26 -1 31
guided 0 0 0 -2 -3
3 -1
Backward pass:
backpropagation . . . . . . . . . . . . . . . . . . . .
06 00 30 26 -1 31
guided -3 . . . . . . . . . . . . . . . . . . . . 19/1
backpropagation 0 0 3 2 -1Mitesh
3 M. Khapra CS7015 (Deep Learning) : Lecture 12
Intuition: Neglect all the negative
Backpropagation influences (gradients) and focus only
on the positive influences (gradients)
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 20/1
Intuition: Neglect all the negative
Backpropagation influences (gradients) and focus only
on the positive influences (gradients)
This gives a better picture of the true
influence of the input
Guided Backpropagation
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 20/1
Module : Optimization over images
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 21/1
Suppose we want to create an image
which looks like a dumbell (or an os-
55
27
trich, or a car, or just anything)
23
11 Dumbell
11 9
3 5 7
5 dense
3 3 3 3 3
3 3 2 dense dense
3 3 3
5 3
11 5 2
7
256
11 9 256
MaxPooling
55 Convolution
384
256
Convolution
MaxPooling 1000
256
96
Convolution
MaxPooling
4096 4096
96
Convolution
Input
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 22/1
55
27
23
11 Dumbell
11
3
3
5
3
3
3
3
3
3
9
3
3
7
3
5 dense
2 dense dense
In other words we want to create
5 3
an image such that if we pass it

11 5 2
7
256
11 9 256
MaxPooling
55
256
MaxPooling
384
Convolution
Convolution
1000
through a trained ConvNet it should
256
96
96
MaxPooling
Convolution
4096 4096 maximize the probability of the class
Convolution
Input
dumbell
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 22/1
55
27
23
11 Dumbell
11
3
3
5
3
3
3
3
3
3
9
3
3
7
3
5 dense
2 dense dense
5 3

11 5 2
7
256
11 9 256
MaxPooling
55
256
MaxPooling
384
Convolution
Convolution
1000
256
96
96
MaxPooling
Convolution
Convolution
Input
dumbell
We could pose this as an optimization
problem w.r.t I (i0 , i1 , . . . , imn )
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 22/1
55
27
23
11 Dumbell
11
3
3
5
3
3
3
3
3
3
9
3
3
7
3
5 dense
2 dense dense
5 3

11 5 2
7
256
11 9 256
MaxPooling
55
256
MaxPooling
384
Convolution
Convolution
1000
256
96
96
MaxPooling
Convolution
Convolution
Input
dumbell
We could pose this as an optimization
problem w.r.t I (i0 , i1 , . . . , imn )
arg max(Sc (I) − λΩ(I))

I
Sc (I) = Score for class C before softmax
Ω(I) = Some regularizer to ensure that
I looks like an image
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 22/1
We can essentially think of the image
as a collection of parameters
55
27
23
11 Dumbell
11 9
3 5 7
5 dense
3 3 3 3 3
3 3 2 dense dense
3 3 3
5 3
11 5 2
7
256
11 9 256
MaxPooling
55 Convolution
384
256
Convolution
MaxPooling 1000
256
96
Convolution
MaxPooling
4096 4096
96
Convolution
Input
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 23/1
55
27
23
Keep the weights of trained convolu-
11 Dumbell
11
3
3
5
3
3
3
3
3
3
9
3
3
7
3
3
5 dense
2 dense dense
tional neural network fixed
5
11 5 2
7
256
11 9 256
MaxPooling
55 Convolution
384
256
Convolution
MaxPooling 1000
256
96
Convolution
MaxPooling
4096 4096
96
Convolution
Input
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 23/1
55
27
23
11 Dumbell
11
3
3
5
3
3
3
3
3
3
9
3
3
7
3
3
5 dense
2 dense dense
5
11 5 2
Now adjust these parameters(image

7
256
11 9 256
MaxPooling
55 Convolution
pixels) so that the score of a class is

384
256
Convolution
MaxPooling 1000
256
96
Convolution
96
Convolution
MaxPooling
4096 4096
maximized
Input
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 23/1
55
27
23
11 Dumbell
11
3
3
5
3
3
3
3
3
3
9
3
3
7
3
3
5 dense
2 dense dense
5
11 5 2
Now adjust these parameters(image

7
256
11 9 256
MaxPooling
55 Convolution
pixels) so that the score of a class is

384
256
Convolution
MaxPooling 1000
256
96
Convolution
96
Convolution
MaxPooling
4096 4096
maximized
Input
Let us see how
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 23/1
55
27
23
11
Classi
9
3 5 7
5 dense
3 3 3 3 3
Zero Image 3
5
3 3 3 3 3
2 dense dense
5 2
7
256
11 9 256
MaxPooling
55 Convolution
384
256
Convolution
MaxPooling 1000
256
96
Convolution
MaxPooling
4096 4096
96
Convolution
1 Start with a zero image
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 24/1
55
27
23
11
Classi
9
3 5 7
5 dense
3 3 3 3 3
Zero Image 3
5
3 3 3 3 3
2 dense dense
5 2
7
256
11 9 256
MaxPooling
55 Convolution
384
256
Convolution
MaxPooling 1000
256
96
Convolution
MaxPooling
4096 4096
96
Convolution

2 Set the score vector to be [0, 0, . . . 1, 0, 0]
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 24/1
55
27
23
11
Classi
9
3 5 7
5 dense
3 3 3 3 3
Zero Image 3
5
3 3 3 3 3
2 dense dense
5 2
7
256
11 9 256
MaxPooling
55 Convolution
384
256
Convolution
MaxPooling 1000
256
96
Convolution
MaxPooling
4096 4096
96
Convolution

∂Sc (I)
3 Compute the gradient ∂ik
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 24/1
55
27
23
11
Classi
9
3 5 7
5 dense
3 3 3 3 3
Zero Image 3
5
3 3 3 3 3
2 dense dense
5 2
7
256
11 9 256
MaxPooling
55 Convolution
384
256
Convolution
MaxPooling 1000
256
96
Convolution
MaxPooling
4096 4096
96
Convolution

∂Sc (I)
4 Now update the pixel ik = ik − η ∂S∂ic (I)
k
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 24/1
55
27
23
11
Classi
9
3 5 7
5 dense
3 3 3 3 3
Zero Image 3
5
3 3 3 3 3
2 dense dense
5 2
7
256
11 9 256
MaxPooling
55 Convolution
384
256
Convolution
MaxPooling 1000
256
96
Convolution
MaxPooling
4096 4096
96
Convolution

∂Sc (I)
k
5 Now again do a forward pass through the network
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 24/1
55
27
23
11
Classi
9
3 5 7
5 dense
3 3 3 3 3
Zero Image 3
5
3 3 3 3 3
2 dense dense
5 2
7
256
11 9 256
MaxPooling
55 Convolution
384
256
Convolution
MaxPooling 1000
256
96
Convolution
MaxPooling
4096 4096
96
Convolution

∂Sc (I)
k
5 Now again do a forward pass through the network
6 Go to step 2
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 24/1
55
27
23
11 Dumbell
9
3 5 7
5 dense
3 3 3 3 3
3 3 2 dense dense
3 3 3
5 3
5 2
7
256
11 9 256
MaxPooling
55 Convolution
384
256
Convolution
MaxPooling 1000
256
96
Convolution
MaxPooling
4096 4096
96
Convolution
Lets look at the images obtained for maximizing some class scores
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 25/1
55
27
23
11
9 Cup
3 5 7
5 dense
3 3 3 3 3
3 3 2 dense dense
3 3 3
5 3
5 2
7
256
11 9 256
MaxPooling
55 Convolution
384
256
Convolution
MaxPooling 1000
256
96
Convolution
MaxPooling
4096 4096
96
Convolution
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 25/1
55
27
23
11
9
3 5 7
5 dense
3 3 3 3 3
3 3 2 dense dense
3 3 3
5 3
5 2
7
256
11 9 256
Dalmation
MaxPooling
55 Convolution
384
256
Convolution
MaxPooling 1000
256
96
Convolution
MaxPooling
4096 4096
96
Convolution
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 25/1
55
27
23
11
9
3 5 7
5 dense
3 3 3 3 3
3 3 2 dense dense
3 3 3
5 3
5 2
7
256
11 9 256
MaxPooling
27 23 384 Convolution Bell Pepper
55 Convolution
384
256
Convolution
MaxPooling 1000
256
96
Convolution
MaxPooling
4096 4096
96
Convolution
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 25/1
55
27
23
11
9
3 5 7
5 dense
3 3 3 3 3 Lemon
3 3 2 dense dense
3 3 3
5 3
5 2
7
256
11 9 256
MaxPooling
55 Convolution
384
256
Convolution
MaxPooling 1000
256
96
Convolution
MaxPooling
4096 4096
96
Convolution
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 25/1
55
27
23
Husky
11
9
3 5 7
5 dense
3 3 3 3 3
3 3 2 dense dense
3 3 3
5 3
5 2
7
256
11 9 256
MaxPooling
55 Convolution
384
256
Convolution
MaxPooling 1000
256
96
Convolution
MaxPooling
4096 4096
96
Convolution
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 25/1
227
55
27
23
11
11 9
7
We can actually do
3 5 dense
3 3 5
3 3 3
3 3 2 dense dense
3 3 3
5 3
11 5 2
7
this for any arbit-

256
11 9 256
MaxPooling
55 Convolution
384
227
96
256
256
MaxPooling
Convolution
1000 rary neuron in the
Convolution
MaxPooling
96
Convolution
4096 4096
convnet
3
Input S = 2,P = 0
Parameters: 0
Repeat:
Feed an image through the network
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 26/1
227
55
27
23
11
11 9
7
We can actually do
3 5 dense
3 3 5
3 3 3
3 3 2 dense dense
3 3 3
5 3
11 5 2
7
this for any arbit-

256
11 9 256
MaxPooling
55 Convolution
384
227
96
256
256
MaxPooling
Convolution
Convolution
MaxPooling
96
Convolution
4096 4096
convnet
3
Input S = 2,P = 0
Parameters: 0
Repeat:
Set activation in layer of interest to all zero, except for a neuron of interest
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 26/1
227
55
27
23
11
11 9
7
We can actually do
3 5 dense
3 3 5
3 3 3
3 3 2 dense dense
3 3 3
5 3
11 5 2
7
this for any arbit-

256
11 9 256
MaxPooling
55 Convolution
384
227
96
256
256
MaxPooling
Convolution
Convolution
MaxPooling
96
Convolution
4096 4096
convnet
3
Input S = 2,P = 0
Parameters: 0
Repeat:
Backprop to image
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 26/1
227
55
27
23
11
11 9
7
We can actually do
3 5 dense
3 3 5
3 3 3
3 3 2 dense dense
3 3 3
5 3
11 5 2
7
this for any arbit-

256
11 9 256
MaxPooling
55 Convolution
384
227
96
256
256
MaxPooling
Convolution
Convolution
MaxPooling
96
Convolution
4096 4096
convnet
3
Input S = 2,P = 0
Parameters: 0
Repeat:
Backprop to image
ik = ik − η ∂A(I)
∂ik , A(I) is the activation of the ith neuron in some layer
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 26/1
Let us look at some “updated” images
which excite certain neurons in some
layer
Layer-8
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 27/1
layer
Starting with different initializations
instead of using a zero image we can
get different insights
Layer-8
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 27/1
layer
Each of these 4 images are obtained
Layer-8
by focusing on one neuron in layer 8
and starting with different initializa-
tions
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 27/1
layer
Layer-8
tions
We can do a similar analysis with
other layers
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 27/1
layer
Layer-8
tions
We can do a similar analysis with
other layers
Layer-7
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 27/1
Module : Creating images from embeddings
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 28/1
We could think of the fc7 layer as
some kind of an embedding for the
image
227
55
27
23
11
11 9
3 5 7
5 dense
3 3 3 3 3
3 3 2 dense dense
3 3 3
5 3
11 5 2
7
256
11 9 256
MaxPooling
55 Convolution
384
256
227
Convolution
MaxPooling 1000
256
96
Convolution
MaxPooling
4096 4096
96
Convolution
Input
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 29/1
image
227
55
27
23
11
11 9
3
3
5
5
3
3
3
3
3
3
3
3
7
3
3
5 dense
2 dense dense
Question: Given this embedding
11 2
can we reconstruct the image?

5
7
256
11 9 256
MaxPooling
55 Convolution
384
256
227
Convolution
MaxPooling 1000
256
96
Convolution
MaxPooling
4096 4096
96
Convolution
Input
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 29/1
image
227
55
27
23
11
11 9
3
3
5
5
3
3
3
3
3
3
3
3
7
3
3
5 dense
2 dense dense
Question: Given this embedding
11 2
can we reconstruct the image?

5
7
256
11 9 256
MaxPooling
55 Convolution
227
256
256
MaxPooling
384
Convolution
1000
We can pose this as an optimization
96
96
MaxPooling
Convolution
4096 4096
problem
Convolution
Input
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 29/1
Find an image such that
227
55
27
23
11
11 9
3 5 7
5 dense
3 3 3 3 3
3 3 2 dense dense
3 3 3
5 3
11 5 2
7
256
11 9 256
MaxPooling
55 Convolution
384
256
227
Convolution
MaxPooling 1000
256
96
Convolution
MaxPooling
4096 4096
96
Convolution
Input
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 30/1
227
Its embedding is similar to a given
55
27
23
11
embedding
11 9
3 5 7
5 dense
3 3 3 3 3
3 3 2 dense dense
3 3 3
5 3
11 5 2
7
256
11 9 256
MaxPooling
55 Convolution
384
256
227
Convolution
MaxPooling 1000
256
96
Convolution
MaxPooling
4096 4096
96
Convolution
Input
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 30/1
227
Its embedding is similar to a given
55
27
23
11
embedding
11 9
5 7
It looks natural (some prior regular-

3 dense
3 3 5
3 3 3
3 3 2 dense dense
3 3 3
5 3
11 5 2
7
27 23
11 9
384
256
Convolution
256
MaxPooling ization)
55 Convolution
384
256
227
Convolution
MaxPooling 1000
256
96
Convolution
MaxPooling
4096 4096
96
Convolution
Input
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 30/1
ϕ0 :Embedding of an image of interest
227
55
27
23
11
11 9
3 5 7
5 dense
3 3 3 3 3
3 3 2 dense dense
3 3 3
5 3
11 5 2
7
256
11 9 256
MaxPooling
55 Convolution
384
256
227
Convolution
MaxPooling 1000
256
96
Convolution
MaxPooling
4096 4096
96
Convolution
Input
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 31/1
227
X :Random image (say zero image)
55
27
23
11
11 9
3 5 7
5 dense
3 3 3 3 3
3 3 2 dense dense
3 3 3
5 3
11 5 2
7
256
11 9 256
MaxPooling
55 Convolution
384
256
227
Convolution
MaxPooling 1000
256
96
Convolution
MaxPooling
4096 4096
96
Convolution
Input
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 31/1
227
Repeat
55
27
23
11
11 9
3 5 7
5 dense
3 3 3 3 3
3 3 2 dense dense
3 3 3
5 3
11 5 2
7
256
11 9 256
MaxPooling
55 Convolution
384
256
227
Convolution
MaxPooling 1000
256
96
Convolution
MaxPooling
4096 4096
96
Convolution
Input
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 31/1
227
Repeat
55
27
23
11
11 9
7
Forward pass using X and compute

3 5 dense
3 3 5
3 3 3
3 3 2 dense dense
3 3 3
5 3
11 5 2
23
11 9
384
7
256
256
MaxPooling
ϕ(x).
27 Convolution
55 Convolution
384
256
227
Convolution
MaxPooling 1000
256
96
Convolution
MaxPooling
4096 4096
96
Convolution
Input
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 31/1
227
Repeat
55
27
23
11
11 9
7

3 5 dense
3 3 5
3 3 3
3 3 2 dense dense
3 3 3
5 3
11 5 2
23
11 9
384
7
256
256
MaxPooling
ϕ(x).
27 Convolution
227
55
256
384
Convolution
Convolution
Compute
MaxPooling 1000
256
96
Convolution
L (i) = ||ϕ(x) − ϕ0 ||2 + λ||ϕ(x)||66

MaxPooling
4096 4096
96
Convolution
Input
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 31/1
227
Repeat
55
27
23
11
11 9
7

3 5 dense
3 3 5
3 3 3
3 3 2 dense dense
3 3 3
5 3
11 5 2
23
11 9
384
7
256
256
MaxPooling
ϕ(x).
27 Convolution
227
55
256
384
Convolution
Convolution
Compute
MaxPooling 1000
256
96
Convolution
L (i) = ||ϕ(x) − ϕ0 ||2 + λ||ϕ(x)||66

MaxPooling
4096 4096
96
Convolution
Input
ik = ik − η L∂i(i)
k
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 31/1
Original Image Conv-1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 32/1
Original Image Relu-1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 32/1
Original Image Mpool-1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 32/1
Original Image Norm-1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 32/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 32/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 32/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 32/1
Original Image Norm-2
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 32/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 32/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 32/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 32/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 32/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 32/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 32/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 32/1
Original Image FC-6
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 32/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 32/1
Original Image FC-7
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 32/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 32/1
Original Image FC-8
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 32/1
Module : Deep Dream
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 33/1
Suppose instead of starting with a
227
blank (zero) image we start with an
55
27
23
11
actual image.
11 9
3 7
3 5
3 3 3
3 2
3 3 3 3
5 2
11
7 256
9 256
11
MaxPooling
23 384
27 Convolution
55 384 Convolution
256
227
Convolution
MaxPooling
256
96
Convolution
MaxPooling
96
Convolution
3
Input
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 34/1
227
55
27
23
11
actual image.
11 9
3 7
3 5
3 3 3
3 2
3 3 3 3
5 2
11
7 256
9 256
11
MaxPooling
23 384
27 Convolution
55 384 Convolution
256
227
Convolution
MaxPooling
256
96
Convolution
MaxPooling
96
Convolution
3
Input
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 34/1
227
55
27
23
11
actual image.
11 9
3 7
3
3
3
3
3
3
3
3
3
5
2
2 We focus on some layer and check the
11 5
27 23
11 9
384
7
256
256
MaxPooling
activations of the neurons
Convolution
55 384 Convolution
256
227
Convolution
MaxPooling
256
96
Convolution
MaxPooling
96
Convolution
3
Input
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 34/1
227
55
27
23
11
actual image.
11 9
3 7
3
3
3
3
3
3
3
3
3
5
2
2 We focus on some layer and check the
11 5
27 23
11 9
384
7
256
256
MaxPooling
activations of the neurons
Convolution
384 Convolution
We want to change the image so that

55
256
227
Convolution
MaxPooling
256
96
96
MaxPooling
Convolution
these neurons fire even more
Convolution
3
Input
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 34/1
How would we achieve this?
227
55
27
23
11
11 9
3 7
3 5
3 3 3
3 2
3 3 3 3
5 2
11
7 256
9 256
11
MaxPooling
23 384
27 Convolution
55 384 Convolution
256
227
Convolution
MaxPooling
256
96
Convolution
MaxPooling
96
Convolution
3
Input
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 35/1
227
55
Suppose we want to boost the activa-
11
27
23
11
9
tion hij (some neuron in some layer)
3 7
3 5
3 3 3
3 2
3 3 3 3
5 2
11
7 256
9 256
11
MaxPooling
23 384
27 Convolution
55 384 Convolution
256
227
Convolution
MaxPooling
256
96
Convolution
MaxPooling
96
Convolution
3
Input
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 35/1
227
hij Suppose we want to boost the activa-
55
11
27
23
11
9
3 7
3 5
3 3 3
3 2
3 3 3 3
5 2
11
7 256
27 23
11 9
384
256
Convolution
MaxPooling We can formulate this as the following
384 Convolution
optimization problem
55
256
227
Convolution
MaxPooling
256
96
Convolution
MaxPooling
96
Convolution
3
Input
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 35/1
227
55
11
27
23
11
9
3 7
3 5
3 3 3
3 2
3 3 3 3
5 2
11
7 256
27 23
11 9
384
256
Convolution
384 Convolution
55
256
227
Convolution
MaxPooling
256
96
Convolution
MaxPooling
max L (I)
96
Convolution
3
Input
I
L (I) = h2ij
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 35/1
227
55
11
27
23
11
9
3 7
3 5
3 3 3
3 2
3 3 3 3
5 2
11
7 256
27 23
11 9
384
256
Convolution
384 Convolution
55
256
227
Convolution
MaxPooling
256
96
Convolution
MaxPooling
max L (I)
96
Convolution
3
Input
I
L (I) = h2ij
Consider a pixel imn in the image
∂L (I) ∂L (I) ∂hij

=
∂imn ∂hij ∂imn
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 35/1
(
Once the image is updated imn =
227
)
imn + ∂L (I)
we feed it back to the
55
27
11
23
11
9
∂imn
3
3
3
3
3
3
3
3
7
3
5
2
network
3
5 2
11
7 256
9 256
11
MaxPooling
23 384
27 Convolution
55 384 Convolution
256
227
Convolution
MaxPooling
256
96
Convolution
MaxPooling
96
Convolution
3
Input
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 36/1
(
hij Once the image is updated imn =
227
)
imn + ∂L (I)
55
27
11
23
11
9
∂imn
3
3
3
3
3
3
3
3
7
3
5
2
network
3
5 2
11
256
This time the target neurons should

7
9 256
11
MaxPooling
23 384
27 Convolution
227
55
256
384
Convolution
Convolution
fire even more (because we have pre-
MaxPooling
256
96
96
MaxPooling
Convolution cisely modified the image to achieve
3
Convolution this)
Input
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 36/1
(
227
)
imn + ∂L (I)
55
27
11
23
11
9
∂imn
3
3
3
3
3
3
3
3
7
3
5
2
network
3
5 2
11
256

7
9 256
11
MaxPooling
23 384
27 Convolution
227
55
256
384
Convolution
Convolution
MaxPooling
256
96
96
MaxPooling
3
Convolution this)
Input
Doing this iteratively would make the

image more and more like the pat-
terns that cause the neuron to fire
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 36/1
(
227
)
imn + ∂L (I)
55
27
11
23
11
9
∂imn
3
3
3
3
3
3
3
3
7
3
5
2
network
3
5 2
11
256

7
9 256
11
MaxPooling
23 384
27 Convolution
227
55
256
384
Convolution
Convolution
MaxPooling
256
96
96
MaxPooling
3
Convolution this)
Input
Doing this iteratively would make the

image more and more like the pat-
terns that cause the neuron to fire
Let us run this algorithm
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 36/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 37/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 37/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 37/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 37/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 37/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 37/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 37/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 37/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 37/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 37/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 37/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 37/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 37/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 37/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 37/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 37/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 37/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 37/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 37/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 37/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 37/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 37/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 37/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 37/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 37/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 37/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 37/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 37/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 37/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 37/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 37/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 37/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 37/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 37/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 37/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 37/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 37/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 37/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 37/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 37/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 37/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 37/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 37/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 37/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 37/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 37/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 37/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 37/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 37/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 37/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 37/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 37/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 37/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 37/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 37/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 37/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 37/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 37/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 37/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 37/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 37/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 37/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 37/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 37/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 37/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 37/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 37/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 37/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 37/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 37/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 37/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 37/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 37/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 37/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 37/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 37/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 37/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 37/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 37/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 37/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 37/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 37/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 37/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 37/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 37/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 37/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 37/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 37/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 37/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 37/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 37/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 37/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 37/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 37/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 37/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 37/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 37/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 37/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 37/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 38/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 38/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 38/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 38/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 38/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 38/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 38/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 38/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 38/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 38/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 38/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 38/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 38/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 38/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 38/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 38/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 38/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 38/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 38/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 38/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 38/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 38/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 38/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 38/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 38/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 38/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 38/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 38/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 38/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 38/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 38/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 38/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 38/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 38/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 38/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 38/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 38/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 38/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 38/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 38/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 38/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 38/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 38/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 38/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 38/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 38/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 38/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 38/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 38/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 38/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 38/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 38/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 38/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 38/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 38/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 38/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 38/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 38/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 38/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 38/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 38/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 38/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 38/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 38/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 38/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 38/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 38/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 38/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 38/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 38/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 38/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 38/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 38/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 38/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 38/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 38/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 38/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 38/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 38/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 38/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 38/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 38/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 38/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 38/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 38/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 38/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 38/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 38/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 38/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 38/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 38/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 38/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 38/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 38/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 38/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 38/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 38/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 38/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 38/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 39/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 39/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 39/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 39/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 39/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 39/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 39/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 39/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 39/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 39/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 39/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 39/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 39/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 39/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 39/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 39/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 39/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 39/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 39/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 39/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 39/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 39/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 39/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 39/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 39/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 39/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 39/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 39/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 39/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 39/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 39/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 39/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 39/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 39/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 39/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 39/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 39/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 39/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 39/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 39/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 39/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 39/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 39/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 39/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 39/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 39/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 39/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 39/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 39/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 39/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 39/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 39/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 39/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 39/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 39/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 39/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 39/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 39/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 39/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 39/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 39/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 39/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 39/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 39/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 39/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 39/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 39/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 39/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 39/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 39/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 39/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 39/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 39/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 39/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 39/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 39/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 39/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 39/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 39/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 39/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 39/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 39/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 39/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 39/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 39/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 39/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 39/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 39/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 39/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 39/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 39/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 39/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 39/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 39/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 39/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 39/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 39/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 39/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 39/1
So what exactly is happening here?
227
55
27
23
11
11 9
3 7
3 5
3 3 3
3 2
3 3 3 3
5 2
11
7 256
9 256
11
MaxPooling
23 384
27 Convolution
55 384 Convolution
256
227
Convolution
MaxPooling
256
96
Convolution
MaxPooling
96
Convolution
3
Input
∗
research.googleblog.com/2015/06/inceptionism-
. . . . . . . . . . . . . . . . . . . .
going-deeper-into-neural.html
. . . . . . . . . . . . . . . . . . . . 40/1
227
55
The network has been trained to detect
11
27
23
11
9
certain patterns (dogs, cat, birds etc.)
3 7
3
3
3
3
3
3
3
3
3
5
2
2 which appear frequently in the ImageNet
11 5
27 23
11 9
384
7
256
256
MaxPooling
data
Convolution
55 384 Convolution
256
227
Convolution
MaxPooling
256
96
Convolution
MaxPooling
96
Convolution
3
Input
∗
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 40/1
227
55
11
27
23
11
9
3 7
3
3
3
3
3
3
3
3
3
5
2
11 5
27 23
11 9
384
7
256
256
MaxPooling
data
Convolution
384 Convolution
It starts seeing these patterns even when

55
256
227
Convolution
MaxPooling
256
96
96
MaxPooling
Convolution
they hardly exist
Convolution
3
Input
∗
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 40/1
227
55
11
27
23
11
9
3 7
3
3
3
3
3
3
3
3
3
5
2
11 5
27 23
11 9
384
7
256
256
MaxPooling
data
Convolution
384 Convolution
It starts seeing these patterns even when

55
256
227
Convolution
MaxPooling
256
96
96
MaxPooling
Convolution
they hardly exist
If a cloud looks a little bit like a bird,
Convolution
3
Input
the network will make it look more like

a bird. This in turn will make the net-
work recognize the bird even more strongly
on the next pass and so forth, until a
highly detailed bird appears seemingly out
of nowhere. - Google∗
∗
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 40/1
Module : Deep Art
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 41/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 42/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 42/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 42/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 42/1
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 42/1
To design a network which can do
this, we first define two quantities
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 43/1
227
55
27
23
11
11 9
3
3
3
3
3
3
3
3
7
3
5
5
2
2 Content Targets : The activations
11
7 256
55
27 23
11
384
9
384
Convolution
256
Convolution
MaxPooling
of all layers for the given content im-
256
227
96
256
Convolution
MaxPooling
Convolution
age
MaxPooling
96
Convolution
3
Input
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 43/1
227
55
27
23
11
11 9
3
3
3
3
3
3 3
3
7
3
5
5
2
11
7 256
55
27 23
11
384
9
384
Convolution
256
Convolution
MaxPooling
256
227
96
256
Convolution
MaxPooling
Convolution
age
MaxPooling
96
3
Convolution
Ideally, we would want the new im-
Input
227
55
age to be such that
27
23
11
11 9
3 7
3 5
3 3 3
3 2
3 3 3 3
5 2
11
7 256
9 256
11
MaxPooling
23 384
27 Convolution
55 384 Convolution
256
227
Convolution
MaxPooling
256
96
Convolution
MaxPooling
96
Convolution
3
Input
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 43/1
227
55
27
23
11
11 9
3
3
3
3
3
3 3
3
7
3
5
5
2
11
7 256
55
27 23
11
384
9
384
Convolution
256
Convolution
MaxPooling
256
227
96
256
Convolution
MaxPooling
Convolution
age
MaxPooling
96
3
Convolution
want them to be equal Ideally, we would want the new im-
Input
227
55
age to be such that it’s activations are
11
3
27
23
11
9
7
also close to those of the original con-
3 5
3
tent image
3 3
3 2
3 3 3 3
5 2
11
7 256
9 256
11
MaxPooling
23 384
27 Convolution
55 384 Convolution
256
227
Convolution
MaxPooling
256
96
Convolution
MaxPooling
96
Convolution
3
Input
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 43/1
227
55
27
23
11
11 9
3
3
3
3
3
3 3
3
7
3
5
5
2
11
7 256
55
27 23
11
384
9
384
Convolution
256
Convolution
MaxPooling
256
227
96
256
Convolution
MaxPooling
Convolution
age
MaxPooling
96
3
Convolution
want them to be equal Ideally, we would want the new im-
Input
227
55
age to be such that it’s activations are
11
3
27
23
11
9
7
also close to those of the original con-
3 5
3
tent image
3 3
3 2
3 3 3 3
5 2
11
7 256
9 256
11
MaxPooling
23 384
27 Convolution
227
55
256
MaxPooling
384
Convolution
Convolution
Let p⃗, ⃗x be the activations of the con-
256
96
96
MaxPooling
Convolution
tent image and the new image (to be
Convolution
3
Input generated) respectively

∑
Lcontent (⃗
p, ⃗x) = pijk − ⃗xijk )2
(⃗
ijk
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 43/1
Next we would want the style of the
227
55
27
23
11
generated image to be the same as the
11 9
3
3
3
3
3
3
3
3
7
3
5
2
2
style image
11 5
7 256
9 256
11
MaxPooling
23 384
27 Convolution
55 384 Convolution
256
227
Convolution
MaxPooling
256
96
Convolution
MaxPooling
96
Convolution
3
Input
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 44/1
227
55
27
23
11
11 9
3
3
3
3
3
3
3
3
7
3
5
2
2
style image
11 5
7 256
256
How do we capture the style of the

11 9
MaxPooling
23 384
27 Convolution
55 384 Convolution
256
227
image?
Convolution
MaxPooling
256
96
Convolution
MaxPooling
96
Convolution
3
Input
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 44/1
227
55
27
23
11
11 9
3
3
3
3
3
3
3
3
7
3
5
2
2
style image
11 5
7 256
256

11 9
MaxPooling
23 384
27 Convolution
55 384 Convolution
256
227
image?
Convolution
MaxPooling
256
96
Convolution
MaxPooling
96
Input
Convolution
Turns out that if V ∈ R64×(256×256) is

the activation at a layer then V T V ∈
R64×64 captures the style of the image
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 44/1
227
55
27
23
11
11 9
3
3
3
3
3
3
3
3
7
3
5
2
2
style image
11 5
7 256
256

11 9
MaxPooling
23 384
27 Convolution
55 384 Convolution
256
227
image?
Convolution
MaxPooling
256
96
Convolution
MaxPooling
96
Input
Convolution

The deeper layers capture more of

this style information
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 44/1
227
55
27
23
11
11 9
3
3
3
3
3
3
3
3
7
3
5
2
2
style image
11 5
7 256
256

11 9
MaxPooling
23 384
27 Convolution
55 384 Convolution
256
227
image?
Convolution
MaxPooling
256
96
Convolution
MaxPooling
96
Input
Convolution


. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 44/1
227
55
27
23
11
11 9
3
3
3
3
3
3
3
3
7
3
5
2
2
style image
11 5
7 256
256

11 9
MaxPooling
23 384
27 Convolution
55 384 Convolution
256
227
image?
Convolution
MaxPooling
256
96
Convolution
MaxPooling
96
Input
Convolution


. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 44/1
227
55
27
23
11
11 9
3
3
3
3
3
3
3
3
7
3
5
2
2
style image
11 5
7 256
256

11 9
MaxPooling
23 384
27 Convolution
55 384 Convolution
256
227
image?
Convolution
MaxPooling
256
96
Convolution
MaxPooling
96
Input
Convolution


. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 44/1
To ensure that the style of the new
image captured by layer ℓ matches
the style of the style image, we can
227
55
27
23
11
use the following objective function :

11 9
3 7
3 5
3 3 3
3 2
3 3 3 3
5 2
11
7 256
9 256
11
MaxPooling
23 384
27 Convolution
55 384 Convolution
256
227
Convolution
MaxPooling
256
Content Image
96
Convolution
MaxPooling
96
Convolution
3
Input
227
55
27
23
11
11 9
3 7
3 5
3 3 3
3 2
3 3 3 3
5 2
11
7 256
9 256
11
MaxPooling
23 384
27 Convolution
55 384 Convolution
256
227
Convolution
MaxPooling
256
96
Convolution
MaxPooling
96
Convolution
3
Input
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 45/1
227
55
27
23
11

11 9
3 7
3 5
3 3 3
3 2
3 3 3 3
5 2
11
7 256
9 256
11
MaxPooling
23 384
27 Convolution
∑
55 384 Convolution
256
227
V2T V2
Convolution
MaxPooling
256
Content Image (Gℓj − Aℓij )2

96
96
MaxPooling
Convolution
Eℓ =
3
Convolution
equal
Input ij
V1T V1
227
55
where Gℓ and Aℓ are the style gram

27
23
11
11 9
3 7
3 5
3 3 3
3 2
11
3
11
3
9
384
3
7
256
3
5
256
MaxPooling
2
matrices computed at layer ℓ for the
27 23 Convolution
227
55
256
MaxPooling
384
Convolution
Convolution
style image and new image respect-
256
96
96
MaxPooling
Convolution
ively.
Convolution
3
Input
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 45/1
227
55
27
23
11

11 9
3 7
3 5
3 3 3
3 2
3 3 3 3
5 2
11
7 256
9 256
11
MaxPooling
23 384
27 Convolution
∑
55 384 Convolution
256
227
V2T V2
Convolution
MaxPooling
256
Content Image (Gℓj − Aℓij )2

96
96
MaxPooling
Convolution
Eℓ =
3
Convolution
equal
Input ij
V1T V1
227
55
where Gℓ and Aℓ are the style gram

27
23
11
11 9
3 7
3 5
3 3 3
3 2
11
3
11
3
9
384
3
7
256
3
5
256
MaxPooling
2
matrices computed at layer ℓ for the
27 23 Convolution
227
55
256
MaxPooling
384
Convolution
Convolution
style image and new image respect-
256
96
96
MaxPooling
Convolution
ively.
∑
L
Convolution
3
Input
Lstyle (⃗a, x̄) = wℓ Eℓ

ℓ=0
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 45/1
227 227
55 55
27 27
23 23
11 11
11 9 11 9
3 5 7 3 5 7
3 3 5 3 3 5
3 3 3 3 3 3
3 2 3 2
3 3 3 3 3 3
5 3 3 5 3 3
5 2 5 2
11 11
7 256 7 256
9 256 9 256
11 11
MaxPooling MaxPooling
23 384 23 384
27 Convolution 27 Convolution
55 384 Convolution 55 384 Convolution

256 256
227 227
Convolution Convolution
256 256
96 96
96 96
3 3
Input Input
227
55
27
23
11
11 9
3 5 7
3 3 5
3 3 3
3 2
3 3 3
5 3 3
5 2
11
7 256
9 256
11
MaxPooling
23 384
27 Convolution
55 384 Convolution
256
227
Convolution
MaxPooling
256
96
Convolution
MaxPooling
96
Convolution
3
Input
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 46/1
227 227
55 55
27 27
23 23
11 11
11 9 11 9
3 7 3 7
3 5 3 5
3 3 3 3 3 3
3 2 3 2
3 3 3 3 3 3
3 3
5 2 5 2
11 11
7 256 7 256
9 256 9 256
11 11
23 384 23 384

256 256
227 227
256 256
96 96
96 96
3 3
Input Input
227
55
27
23
11
11 9
3 7
3 5
3 3 3
3 2
3 3 3 3
5 2
11
7 256
9 256
11
MaxPooling
23 384
27 Convolution
55 384 Convolution
256
227
Convolution
MaxPooling
256
96
Convolution
MaxPooling
96
Convolution
3
Input
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 46/1
227 227
55 55
27 27
23 23
11 11
11 9 11 9
3 7 3 7
3 5 3 5
3 3 3 3 3 3
3 2 3 2
3 3 3 3 3 3
3 3
5 2 5 2
11 11
7 256 7 256
9 256 9 256
11 11
23 384 23 384

256 256
227 227
256 256
96 96
96 96
3 3
Input Input
227
55
27
23
11
11 9
3 7
3 5
3 3 3
3 2
3 3 3 3
5 2
11
7 256
9 256
11
MaxPooling
23 384
27 Convolution
55 384 Convolution
256
227
Convolution
MaxPooling
256
96
Convolution
MaxPooling
96
Convolution
3
Input
The total loss is given by :-

Ltotal (⃗
p, ⃗a, ⃗x) = αLcontent (⃗
p, ⃗x) + βL.style (⃗a, ⃗x)
. . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 46/1
Module : Fooling Deep Convolution Neural Networks
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 47/1
Turns out that using this idea of optimizing over the input, we can also “fool”
ConvNets
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 48/1
Turns out that using this idea of optimizing over the input, we can also “fool”
ConvNets
Let us see how
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 48/1
Suppose we feed in an image to a
227
55
27
23
11
Convnet.
11 9
3 5 7
3 3 5
3 3 3
3 2
3 3 3
5 3 3
5 2
11
7 256
9 256
11
MaxPooling
23 384
27 Convolution
55 384 Convolution
256
227
Convolution
MaxPooling
256
96
Convolution
MaxPooling
96
Convolution
3
Input
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 49/1
227
ostrich
55
27
23
11 .. Convnet.
.
11 9
3 5 7
11
3
5
3
3
3
3
3
3
3
7
3
3
5
5
256
2
2
Now instead of maximizing the log-
256 bus
.. likelihood of the correct class (bus) we
11 9
MaxPooling
23 384
27 Convolution
.
55 384 Convolution
256
227
set the objective to maximize some

Convolution
MaxPooling
256
96
Convolution
MaxPooling
96
3
Convolution
incorrect class (say, ostrich)
Input
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 49/1
227
ostrich
55
27
23
11 .. Convnet.
.
11 9
3 5 7
11
3
5
3
3
3
3
3
3
3
7
3
3
5
5
256
2
2
256 bus
11 9
MaxPooling
23 384
27 Convolution
.
55 384 Convolution
256
227

Convolution
MaxPooling
256
96
Convolution
MaxPooling
96
3
Convolution
Input
Turns out that with minimal changes

to the image (using backprop) we can
soon convince the Convnet that this
is an ostrich.
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 49/1
227
ostrich
55
27
23
11 .. Convnet.
.
11 9
3 5 7
11
3
5
3
3
3
3
3
3
3
7
3
3
5
5
256
2
2
256 bus
11 9
MaxPooling
23 384
27 Convolution
.
55 384 Convolution
256
227

Convolution
MaxPooling
256
96
Convolution
MaxPooling
96
3
Convolution
Input
Turns out that with minimal changes

to the image (using backprop) we can
soon convince the Convnet that this
is an ostrich.
Let us see some examples
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 49/1
Notice that the changes
are so minimal that the
two images are indistin-
guishable to humans
∗
Intriguing properties of neural networks, Szegedy et al., 2013 . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 50/1
guishable to humans
But the ConvNet thinks
that the third image ob-
tained by adding the first
image to the second im-
age is an ostrich
∗
. . . . . . . . . . . . . . . . . . . . 50/1
guishable to humans
age is an ostrich
∗
. . . . . . . . . . . . . . . . . . . . 50/1
guishable to humans
age is an ostrich
∗
. . . . . . . . . . . . . . . . . . . . 50/1
guishable to humans
age is an ostrich
∗
. . . . . . . . . . . . . . . . . . . . 50/1
guishable to humans
age is an ostrich
∗
. . . . . . . . . . . . . . . . . . . . 50/1
We can also do this start-
ing with random images and
then optimizing them to pre-
dict some class.
∗
Neural Networks are Easily Fooled: High Confidence Predictions for Unrecognizable
Images Nguyen, Yosinski, Clune, 2014
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 51/1
dict some class.
In all these cases the classi-
fier is 99.6% confident of the
class
∗
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 51/1
dict some class.
class
∗
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 51/1
dict some class.
class
∗
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 51/1
dict some class.
class
∗
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 51/1
dict some class.
class
∗
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 51/1
dict some class.
class
∗
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 51/1
dict some class.
class
∗
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 51/1
dict some class.
class
Let us see an intuitive ex-
planation of why this hap-
pens
∗
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 51/1
Images are extremely high dimen-
sional objects (R227×227 )
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 52/1
There are many many many points in
this high dimensional space
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 52/1
Of these only a few are images (of
which we see some during training)
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 52/1
Using these training images we fit
some decision boundaries
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 52/1
While doing so we also end up taking
decisions about the many many un-
seen points in this high dimensional
space (Notice the large green and
red regions which do not contain any
training points)
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 52/1
training points)
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 52/1
training points)
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 52/1

CS7015 (Deep Learning) : Lecture 12

Uploaded by

Document Information

Original Title

Copyright

Available Formats

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Available Formats

CS7015 (Deep Learning) : Lecture 12

Uploaded by

Copyright:

Available Formats

CS7015 (Deep Learning) : Lecture 12

Visualizing Convolutional Neural Networks, Guided Backpropagation, Deep

Department of Computer Science and Engineering

CS7015 (Deep Learning) : Lecture 12

experiment conducted by Grishick et

The solution would be the same

The solution would be the same

We can thus think of these filters as

probability of a certain class

True Label: Pomeranian 0.1

True Label: Car Wheel

probability of a certain class

We could occlude (gray out) diﬀer-

True Label: Pomeranian

eﬀect on the predicted probability of

the correct class

True Label: Car Wheel

probability of a certain class

We could occlude (gray out) diﬀer-

True Label: Pomeranian

eﬀect on the predicted probability of

the correct class

For example this heat map shows that

True Label: Car Wheel

a maximum drop in the prediction

probability of a certain class

We could occlude (gray out) diﬀer-

True Label: Pomeranian

eﬀect on the predicted probability of

the correct class

For example this heat map shows that

True Label: Car Wheel

a maximum drop in the prediction

flatten We could just compute these partial

flatten We could just compute these partial

an image such that if we pass it

an image such that if we pass it

an image such that if we pass it

arg max(Sc (I) − λΩ(I))

Now adjust these parameters(image

pixels) so that the score of a class is

Now adjust these parameters(image

pixels) so that the score of a class is

Let us see how

1 Start with a zero image

1 Start with a zero image

1 Start with a zero image

1 Start with a zero image

1 Start with a zero image

1 Start with a zero image

this for any arbit-

this for any arbit-

this for any arbit-

this for any arbit-

can we reconstruct the image?

can we reconstruct the image?

It looks natural (some prior regular-

Forward pass using X and compute

Forward pass using X and compute

L (i) = ||ϕ(x) − ϕ0 ||2 + λ||ϕ(x)||66

Forward pass using X and compute

L (i) = ||ϕ(x) − ϕ0 ||2 + λ||ϕ(x)||66

We want to change the image so that