CNN architectures

Stanford University
• https://www.youtube.com/watch?v=DAOcjicFr1Y&t=0s&list=PL3FW7Lu3i5Jv
HM8ljYj-zLfQRF3EO8sYv&index=10
• http://cs231n.github.io/convolutional-networks/#architectures
LeNet – jedna od prvih uspešnih CNN
• Jedna od prvih instanci CNN koja je uspešno
upotrebljena u praksi
• Veoma uspešno primenjena za
prepoznavanje cifara (Zip codes)
AlexNet – prvi pobednik na ImageNet

• Prva zaista velika CNN koja je mogla dobro da radi na problemu

klasifikacije slika. Popularizovala CNN pobedom na ImageNet
takmičenju 2012.
• Veoma slična arhitekturi LeNet mreže, samo više slojeva
• Za razliku od LeNet, takođe je stekovala više CONV slojeva jedan na
drugi (ranije je bilo uobičajeno imati samo jedan CONV sloj odmah
praćen POOL slojem)
AlexNet – prvi pobednik na ImageNet
• Široko se koristila kao osnova mnogih narednih arhitektura,
bila je sveprisutna do pre par godina
• Ali se i danas u velikoj meri koristi, npr. za transfer learning

• Danas ima skorašnjijih arhitektura sa boljim

performansama (naredni slajdovi)
• Danas se češće koriste u praksi
ZFNet – pobojšanje parametara AlexNet
• Uglavnom pobojšanje hiper-parametara AlexNet mreže
• Isti broj slojeva i ista struktura
• Promenili su stride, broj filtera
• Igrajući se sa hiper-parametrima su uspeli da poprave error rate,
ali je u pitanju ista ideja
 - Glavni doprinos: dubina mreže je kritična za performanse
VGG - Nedostatak: veliko zauzeće memorije i mnogo parametara

• Glavni doprinos: dubina

mreže je kritična za
performanse
GoogLeNet
Glavni doprinos je Inception
module
• dramatično smanjio broj
parametara
• Efikasno izračunavanje
ResNet - Veoma duboke mreze koje koriste "precice" da preskacu slojeve
- Ideja je bila resiti problem vanishing gradients
U praksi
• Umesto da isprobavate različite arhitekture za problem,
preuzmite onu koja najbolje radi na ImageNet
• Skinite pretrenirani model
• Fine-tune-ujte ga za vaše podatke

• U retkim situacijama ćete morati da trenirate (ili

dizajnirate) konvolucionu mrežu od početka