Lecture1 Intro DDS Redsize

Módulo VI.
Deep Learning
Introducción
Diploma en Data Science - Departamento de Informática UTFSM 2020

Agenda
• Paseo aleatorio sobre las siguientes preguntas:
• ¿Qué es el aprendizaje profundo?

• ¿Qué es una red neuronal?
• ¿Qué ventajas ofrece este enfoque?
• ¿Qué estudiaremos?
Diploma en Data Science - Departamento de Informática UTFSM 2020 !2

Aprendizaje Profundo en IA

¿Qué es Aprendizaje Profundo?

¿Qué &esRedes
eep Learning Aprendizaje
Neuronales. Uno Profundo?
de los temas más
andentes” de laMachine
escena Learning
científicaTechnology
y tecnológica actual.
SPECIAL SECTION
RISE OF THE
MACHINES
Downloaded from http://science.sciencemag.org/ on February 19, 2018
By Jelena Stajic, Richard Stone, Gilbert Chin, and Brad Wible
A
lthough most would agree that the average person is smarter INSIDE
than the average cat, comparing humans and machines is NEWS
not as straightforward. A computer may not excel at abstract The synthetic therapist p. 250
reasoning, but it can process vast amounts of data in the blink Fears of an AI pioneer p. 252
of an eye. In recent years, researchers in artificial intelligence
POLICY FORUM
(AI) have used this computational firepower on the scads of data Data, privacy, and the greater good
accumulating online, in academic research, in financial records,
CREDITS: PHOTO NICK DOLDING/GETTY IMAGES; DATA: BALTRUSAITIS, TADAS, PETER ROBINSON, AND LOUIS PHILIPPE
p. 253
and in virtually all walks of life. The algorithms they develop REVIEWS
help machines learn from data and apply that knowledge in Machine learning: Trends,
perspectives, and prospects p. 255
new situations, much like humans do. The ability of computers to extract
personal information from seemingly innocuous data raises privacy Advances in natural language
MORENCY/USC INSTITUTE FOR CREATIVE TECHNOLOGIES; ADAPTED BY G. GRULLÓN/SCIENCE
processing p. 261
concerns. Yet many AI systems indisputably improve our lives; for
Economic reasoning and artificial
example, by making communication easier through machine translation, intelligence p. 267
by helping diagnose illness, and by providing modern comforts, such as
Computational rationality: A
your smartphone acting as your personal assistant. This special issue converging paradigm for intelligence
presents a survey of the remarkable progress made in AI and outlines in brains, minds, and machines p. 273
challenges lying ahead. RELATED ITEM

BOOKS ET AL. P. 243
Many AI systems are designed for narrow applications, such as playing
chess, flying a jet, or trading stocks. AI researchers also have a grander
aspiration: to create a well-rounded and thus more humanlike intelligent
agent. Scaling that research peak is daunting. But triumphs in the field
of AI are bringing to the fore questions that, until recently, seemed better
left to science fiction than to science: How will we ensure that the rise of
the machines is entirely under human control? And what will the world
be like if truly intelligent computers come to coexist with humankind?
The editors gratefully acknowledge the advice of Eric Horvitz (Microsoft) on the
Reviews in this special issue.
Published by AAAS
Science. July 2015. Nature. May 2015.

•Breakthrough with neural
Comprensión del Lenguaje networks
Natural (Escrito, Texto)

• Comprensión del Lenguaje Natural (Hablado)

person 0.92 antelope 0.68
sunglasses 0.52
• Comprensión de Información Visual

Image segmentation and recognition
Characters Syntax
orange 0.73 Visual
bird 0.69 Motion
Dialog Semantics
lemon 0.86 starfish 0.67
CREDIT: ISTOCK/AKINBOSTANCI
Fig.person
1. Applications
0.92 of machine learning. Machine learning is ha
antelope 0.68
areas of technology and science; examples of recent applied suc
autonomous vehicle control (top left), speech processing and n
right), neuroscience research (middle), and applications in comp
panel is adapted from (29). The images in the bottom panel are fro
recognition annotation is by R. Girshick.]
sunglasses 0.52
256 17 JULY 2015 • VOL 349 ISSUE 6245
5
orange 0.73 bird 0.69

lemon 0.86 starfish 0.67
• Comprensión de Información Visual + Búsqueda + Planning
2015: primera vez que un jugador profesional de Go es derrotado por un programa (AlphaGo)
2016: AlphaGo gana al campeón mundial de Go.

• Comprensión de Redes

12
• Síntesis de Lenguaje Natural
A baseball game in progress with the A brown bear standing on top of a A person holding
batter up to plate. lush green field. their hand.
ction on A Agroup
close of
up young
of a person
men brushing
playing ahis A Aman
woman laying
riding on aon
a wave bedtop
in of
a bed-
a A black and white
teeth.
game of soccer room.
surfboard. chair.

• Síntesis de Información Visual

• ¿Qué tienen en común los métodos usados para obtener estos
progresos?
• Adquisición automática de conocimiento vía aprendizaje

(machine learning).
• Representación del conocimiento vía grafos distribuidos
de computación (redes neuronales artificiales).
• Aprendizaje de la representación de los datos.

• Uso de múltiples niveles de procesamiento.

• Adquisición Humano
automática devs Máquina
conocimiento vía aprendizaje.
n=9 reinas

¿QuéHumano
es Aprendizaje Profundo?
vs Máquina
• Humano versus
Human Máquina:
versus Machine Performance
(n reinas)
few seconds ?

Humano
¿Qué vs Máquina
•• Basede
Base deconocimiento
conocimiento necesaria:
previo necesaria:
• Si una reina está en la fila i, ninguna otra reina puede

estar en la fila i.
• Si una reina está en la columna j, ninguna otra reina
puede estar en la columna j.
• Si una reina está en la posición (i,j), ninguna otra reina
puede estar en una posición (k,l) tal que abs(i-j) =
abs(k-l) (misma diagonal).

Humano vs Máquina
• Posible solución:
• Conjunto posible de “reglas” para resolver el problema:
L = lista FIFO vacía, c=0;

Repetir
Recorrer las columnas i=c, … n hasta encontrar una
posición (i,j) válida para la reina actual.
Si se encontró una posición válida: Push (i,j) a L y c=0;
Sino:
Si L está vacía: return FALSE;
Pop L y c=c+1; //fail, backtrack
Si L tiene n elementos:
Print stack. //solution, backtrack to next
Pop L y c=c+1;
(simple backtracking)

• El problema es fácil para la máquina porque es fácil especificar un
algoritmo que lleva a la solución. La ejecución mecánica de ese
Humano
algoritmo produce, tarde ovs Máquina
temprano, la solución.
• El problema es difícil para un humano (promedio) simplemente
porque no tieneHuman versus Machine
"experiencia" Performance
ordenando reinas.
(n reinas)
few seconds ?

Otro Tipo de Problemas
• Cambiemos el problema.
Compresión de Imágenes
¿A qué
¿Qué conceptoesta
representa delimagen?
mundo real
corresponde esta imagen?
A. Un león en la selva
B. Un gato con corbata
• Gato
C. Un gato sobre una cama
• Perro
D. Un gato jugando
• Humano
• Para la mayoría de los humanos, una tarea
• N.A.
muy simple, automática, intuitiva ….

¿QuéOtro
Tipo de Problemas
• Humano versus Máquina:
Human versus Machine Performance
(Image recognition)
inaccurate very accurate

75% (state of the art 2010) 94.5%
(cifras corresponden al Imagenet challenge de 2010)

• El problema es difícil de resolver en una máquina porque es no
fácil especificar un algoritmo que lleva a la solución. La ejecución
mecánica de un Otro Tipo(conocido)
algoritmo de Problemas
no produce la solución.
• El problema es fácil para un humano (promedio) simplemente
porque tiene mucha
Humanexperiencia procesando
versus Machine información visual.
Performance
(Image recognition)
inaccurate very accurate

75% (state of the art 2010) 94.5%

Reconocimiento de Imágenes
• Idea: para resolver el problema en forma artificial podríamos
imitar la habilidad de humano para aprender!
A person’s everyday life requires an immense amount of knowledge about the
world. Much of this knowledge is subjective and intuitive, and therefore difficult
to articulate in a formal way.

Machine Learning
• Eso eso exactamente lo que hace un algoritmo de aprendizaje
automático. “Machine Learning is the field of stu
that gives computers the ability to
Machine Learning is the field of study that gives computers
learn without being explicitly
the ability to learn without being explicitly programmed.
programmed”
Arthur
Arthur Samuel
Samuel (1959)
(1959)

Machine Learning
• Usamos aprendizaje en problemas en que no podemos especificar
manualmente las reglas que convierten los datos de entrada en los
datos de salida deseados, pero, en cambio, podemos fácilmente dar
ejemplos de los resultados que queremos.
positivo? negativo?

Machine Learning
• Ejemplo clásico: cómo inferir o predecir el precio de una casa?
• Muy difícil especificar manualmente las reglas que transforman los
atributos de la casa en un precio.
• Muy fácil conseguir ejemplos.
0 1 0 1
1 <latexit sha1_base64="qBIUxCqrkApU5dR7B41ccJ4PuVs=">AAAEa3ichVNtb9MwEPa2AqO8bewb8MGiq4RQqZKxMfYBaWgIIQHaoO02qa4mx7k21uwkst2WyvJv4Cv8NH4E/wEn7dhaBJyU5NHd47vnzrkoF1ybIPixtLxSuXb9xurN6q3bd+7eW1u/f6yzoWLQYZnI1GlENQieQsdwI+A0V0BlJOAkOj8o4icjUJpnadtMcuhJOkh5nzNqvKvz/GUQVM/WakEzKA3/CcIZqKGZHZ2trxyROGNDCalhgmrdDYPc9CxVhjMBrlonQw05Zed0AF2d05TrpGcjGoFYCNI8FyAp61me5kMDKXPVK3FLpdYTGTlcl9QkejFWOP8W62ep0fPZmIwUHyRmzttthz1bkMvidaIghTHLpKRpbImSMfTpUBhn82Q0ny6S84nUUEDcGBV3ETeKt06HMgIFsZ+NGGSKm0Ru+fmQFpj348+QAzX2TeZs7J9xwqezuyrgKelTycVkJsIS3b/Qg+t1fJiKCeZ9bBLAxW+Aiz5wNnVcXBHmGpsMR4A1TTXWoHi/OteIZlR4mWK+PW08gHTgG2mMqZ74i3D+3KU4r5QKMRnzGAwXMXT9IEk74bplJgJsvYox0WCi7EvwiiT+YzdJi44gLuO1cNNNKZd17LNmSD58zP20F6llupKtwLDEZH4WhewCXDKJPAeVNrfkkLw+cLa5E+4EZBwHzuMXJDFBWdLZQ2eZs2+dbTvb8j5XdOYnSwxoUwvtZqlsoT9bCx1plJKZ4rnRZcX/kf5NrW6SnCpX7uBeaXgKdrdnYC/8vYPHW83Q40/btf1gto2r6CF6jJ6gEO2iffQOHaEOYoijr+gb+r7ys7JReVB5NKUuL83ObKA5q9R/AZutel0=</latexit>
sha1_base64="vSkAkB9Il0h64F6K0PjBpoZTJlY=">AAAEWHichVNdaxNBFJ22UWtstQXxxZfBJCBSw26h+iQoFRFUWk36AZlQZmdvskNnZpeZ2cQwzB/w1V/nL/BvOLtJaZOiDuzmcO/Jveee2ZsUghsbRb/W1jcad+7e27zffLDV3H74aGfr1OSlZnDCcpHr84QaEFzBieVWwHmhgcpEwFlyeVjlzyagDc9V384KGEo6VnzEGbUhdHyx04q6UX3wbRAvQAstzsXuxjFJc1ZKUJYJaswgjgo7dFRbzgT4ZoeUBgrKLukYBqagipts6BKagFhJ0qIQICkbOq6K0oJivnkj76g0ZiYTjzuS2sys5qrg33KjXFmzXI3JRPNxZpeig348dBW5bt4hGhRMWS4lVakjWqYwoqWw3hXZZLlcIpcL6VJAujepbiHdq95GlTIBDWnwRoxzzW0m94M/pAf20/QbFECte597l4ZnmvG5dzcFvCAjKrmYLUQ4YkZXenCng4+UmGE+wjYDXH0AuJoD5/PA1RVhbrDNcQLYUGWwAc1HzaVBDKMiyBTL4xkbAKhxGGRvSs0sXIQP/7sWF5RSIWZTnoLlIoVBMJL0M256dibAdZoYEwM2yb9Hb0gWflyb9OgE0jrfitt+Trnu4152Y/L5SxHcXqXW5Wq2BssymwcvKtkVuGYSeQladfdlSd4detc9iA8iMk0jH/ArktmobundkXfMuw/e9b3rhZivJgvOEgvGtmLXrpWtzOdasSd7tWSmeWFN3fF/pH9Tm21SUO3DCsarC3cbnO5344C/RmgTPUXP0HMUo9foLfqIjtEJYihFP9DPjd+N7cbj+aqury12dhctncaTP4fzdxQ=</latexit>
sha1_base64="vGHgSJQzc9Ual+3GEQPrLTaFWfg=">AAAEYHichVPRbtMwFPW2AqMM2OANeLBoKyFUqmRowAsSaAghAdqg7TapribHuW2s2UlkOy2V5W/gFT6Nj+AfcNJOWzsBlpIe3Xt677nHuVEuuDZB8GttfaN27fqNzZv1W1u379zd3tk60lmhGPRZJjJ1ElENgqfQN9wIOMkVUBkJOI7O9sv88QSU5lnaM7MchpKOUz7ijBof6j9/FQT10+1G0Amqg6+CcAEaaHEOT3c2DkmcsUJCapigWg/CIDdDS5XhTICrt0ihIafsjI5hoHOacp0MbUQjECtJmucCJGVDy9O8MJAyV7+Ut1RqPZORwy1JTaJXc2Xwb7lRlhq9XI3JSPFxYpaig144tCW5at4iClKYskxKmsaWKBnDiBbCOJsnk+VykVwupAoBcXtS3kXcLt86LWQECmLvjRhniptE7np/SBfMx+lXyIEa+y5zNvbPNOFz7y4LeEpGVHIxW4iwRI/O9eBWCx+kYob5CJsEcPkZ4HIOnM0D51eEucYmwxFgTVONNSg+qi8NohkVXqZYHk8bDyAd+0HaU6pn/iKc/9+FOK+UCjGb8hgMFzEMvJGkl3DdNTMBtlXHmGgwUfYteE0S/2ObpEsnEFf5Rth0c8pFH/usE5JPn3Pv9iq1KlexFRiWmMx7UcouwQWTyDNQaWdXFuTtvrOdvXAvINM4cB6/IIkJqpbOHjjLnH3vbM/Zro+5cjLvLDGgTSO0zUrZyny2ETrSriQzxXOjq47/I/2bWm+SnCrndzBc3bir4Gi3E3r8JUCb6CF6jJ6gEL1Eb9AHdIj6iCGOvqMf6OfG79r92oP5tq6vLdb2Hlo6tUd/ABObeQY=</latexit>
sha1_base64="Rg4mEzbE+hffeDUsq0lZUIVPtt0=">AAAEa3ichVNdb9MwFPVYgVG+NvYGPFi0lRAqVTI04AVpaAghAdqg7TapribHuW2s2UlkOy2V5d/AK/w0fgT/ASfttLUTYCnJ0b3H9557HEe54NoEwa+1a+u16zdubtyq375z9979za0HRzorFIM+y0SmTiKqQfAU+oYbASe5AiojAcfR2X6ZP56A0jxLe2aWw1DSccpHnFHjQ/0Xr4OgfrrZCDpBtfBVEC5AAy3W4enW+iGJM1ZISA0TVOtBGORmaKkynAlw9RYpNOSUndExDHROU66ToY1oBGIlSfNcgKRsaHmaFwZS5uqX8pZKrWcycrglqUn0aq4M/i03ylKjl6sxGSk+TsxSdNALh7YkV81bREEKU5ZJSdPYEiVjGNFCGGfzZLJcLpLLhVQhIG5PyrOI2+Vbp4WMQEHsvRHjTHGTyB3vD+mC+Tj9CjlQY99lzsb+mSZ87t1lAc/IiEouZgsRlujRuR7cauGDVMwwH2GTAC5/A1zOgbN54PyIMNfYZDgCrGmqsQbFR/WlQTSjwssUy+Np4wGkYz9Ie0r1zB+E8/suxHmlVIjZlMdguIhh4I0kvYTrrpkJsK06xkSDibJvwRuS+I9tki6dQFzlG2HTzSkXfezzTkg+fc6926vUqlzFVmBYYjLvRSm7BBdMIs9ApZ0dWZC3+852dsPdgEzjwHn8kiQmqFo6e+Asc/a9sz1nuz7mysm8s8SANo3QNitlK/PZRuhIu5LMFM+Nrjr+j/Rvar1Jcqqcv4Ph6o27Co52OqHHX4LGXrC4jRvoEXqCnqIQvUJ76AM6RH3EEEff0Q/0c/13bbv2sPZ4Tr22ttizjZZWrfUHXHd5yQ==</latexit>
sha1_base64="TScH03aSSLuOZE7DHkr0rGNVoBA=">AAAEa3ichVNdb9MwFPW2AqN8bewNeLBoKyFUqmQw4AVpaAghAdqg7TZpribHuW2s2UlkOy2V5d/AK/w0fgT/ASfttLUTYCnJ0b3H9557HEe54NoEwa+V1bXates31m/Wb92+c/fexub9Q50VikGfZSJTxxHVIHgKfcONgONcAZWRgKPobK/MH41BaZ6lPTPNYSDpKOVDzqjxof7z10FQP91oBJ2gWvgqCOeggebr4HRz7YDEGSskpIYJqvVJGORmYKkynAlw9RYpNOSUndERnOicplwnAxvRCMRSkua5AEnZwPI0LwykzNUv5S2VWk9l5HBLUpPo5VwZ/FtumKVGL1ZjMlJ8lJiF6EkvHNiSXDVvEQUpTFgmJU1jS5SMYUgLYZzNk/FiuUguFlKFgLg9Ls8ibpdvnRYyAgWx90aMMsVNIre9P6QL5uPkK+RAjX2XORv7Z5LwmXeXBTwlQyq5mM5FWKKH53pwq4X3UzHFfIhNArj8DXA5B85mgfMjwlxjk+EIsKapxhoUH9YXBtGMCi9TLI6njQeQjvwg7QnVU38Qzu+7EOeVUiGmEx6D4SKGE28k6SVcd81UgG3VMSYaTJR9C96QxH9sk3TpGOIq3wibbka56GOfdULy6XPu3V6mVuUqtgLDEpN5L0rZJbhgEnkGKu1sy4K83XO2sxPuBGQSB87jlyQxQdXS2X1nmbPvne052/UxV07mnSUGtGmEtlkpW5rPNkJH2pVkpnhudNXxf6R/U+tNklPl/B0Ml2/cVXC43Qk9/vKisRvMb+M6eogeoycoRK/QLvqADlAfMcTRd/QD/Vz7XduqPag9mlFXV+Z7ttDCqrX+AF23ec0=</latexit>
3800 5 4500
B 1 C
<latexit sha1_base64="Y2254n7/I017PAMJIxObfJGZMOQ=">AAAEa3ichVNtb9MwEPa2AqO8bewb8MGirYRQqZJpY9oHpKEhhARog7bbpLqaHOfaWLOTyHZbKsu/ga/w0/gR/AectGNrEXBSkkd3j++eO+eiXHBtguDHyupa5cbNW+u3q3fu3rv/YGPz4YnORopBl2UiU2cR1SB4Cl3DjYCzXAGVkYDT6OKwiJ+OQWmepR0zzaEv6TDlA86o8a7uzm4QVM83akErKA3/CcI5qKG5HZ9vrh2TOGMjCalhgmrdC4Pc9C1VhjMBrtogIw05ZRd0CD2d05TrpG8jGoFYCtI8FyAp61ue5iMDKXPVa3FLpdZTGTnckNQkejlWOP8WG2Sp0YvZmIwUHyZmwdvrhH1bkMviDaIghQnLpKRpbImSMQzoSBhn82S8mC6Si4nUSEDcHBd3ETeLt05HMgIFsZ+NGGaKm0Ru+/mQNpj3k8+QAzX2TeZs7J9Jwmezuy7gORlQycV0LsISPbjUgxsNfJSKKeYDbBLAxW+Aiz5wNnNcXhHmGpsMR4A1TTXWoPigutCIZlR4mWKxPW08gHToG2lOqJ76i3D+3JU4r5QKMZ3wGAwXMfT8IEkn4bptpgJso4ox0WCi7EvwiiT+Y+ukTccQl/FaWHczylUd+6IVkg8fcz/tZWqZrmQrMCwxmZ9FIbsAV0wiL0ClrW05Iq8PnW3thrsBmcSB8/glSUxQlnT2yFnm7FtnO862vc8VnfnJEgPa1EJbL5Ut9WdroSPNUjJTPDe6rPg/0r+p1TrJqXLlDu6Xhmdgb2cO9sPfO3iy3Qo9/rRTOwjm27iOHqOn6BkK0R46QO/QMeoihjj6ir6h72s/K1uVR5UnM+rqyvzMFlqwSuMXk6J6Ww==</latexit>
B C B 1 C
@ 1 A B C
@ 0 A
2 3
0 1 0 1
3 1 3500
B 3 C
<latexit sha1_base64="n1Xa/yPW5IO/zlo7KIFWPk1Vr0o=">AAAEa3ichVNtb9MwEPa2AqO8bewb8MGirYRQqZKxMe0D0tAQQgK0QdsNqa4mx7k21uwkst2WyvJv4Cv8NH4E/wEn7dhaBJyU5NHd47vnzrkoF1ybIPixsrpWuXb9xvrN6q3bd+7e29i8f6KzkWLQZZnI1OeIahA8ha7hRsDnXAGVkYDT6PywiJ+OQWmepR0zzaEv6TDlA86o8a7u890gqJ5t1IJWUBr+E4RzUENzOz7bXDsmccZGElLDBNW6Fwa56VuqDGcCXLVBRhpyys7pEHo6pynXSd9GNAKxFKR5LkBS1rc8zUcGUuaqV+KWSq2nMnK4IalJ9HKscP4tNshSoxezMRkpPkzMgrfXCfu2IJfFG0RBChOWSUnT2BIlYxjQkTDO5sl4MV0kFxOpkYC4OS7uIm4Wb52OZAQKYj8bMcwUN4nc9vMhbTDvJp8gB2rs68zZ2D+ThM9md1XAUzKgkovpXIQlenChBzca+CgVU8wH2CSAi98AF33gbOa4uCLMNTYZjgBrmmqsQfFBdaERzajwMsVie9p4AOnQN9KcUD31F+H8uUtxXikVYjrhMRguYuj5QZJOwnXbTAXYRhVjosFE2ZfgJUn8x9ZJm44hLuO1sO5mlMs69lkrJO8/5H7ay9QyXclWYFhiMj+LQnYBLplEnoNKW9tyRF4dOtvaDXcDMokD5/ELkpigLOnskbPM2TfOdpxte58rOvOTJQa0qYW2Xipb6s/WQkeapWSmeG50WfF/pH9Tq3WSU+XKHdwvDc/A3s4c7Ie/d/BkuxV6/HGndhDMt3EdPUSP0RMUoj10gN6iY9RFDHH0FX1D39d+VrYqDyqPZtTVlfmZLbRglcYvj5t6Wg==</latexit>
B 1 C 7200 B C
B C <latexit sha1_base64="42Jg5Ib9souasWPYakvf0S1+zaA=">AAAEanichVNtb9MwEPa2AqO8beMT2heLthJCpUqqjWkfkIaGEBKgDdq9SHU1Oc61sWYnke22VJb/Al/hr/Ef+BE4acfWIuCkJI/uHt89d85FueDaBMGPldW1yq3bd9bvVu/df/Dw0cbm1qnORorBCctEps4jqkHwFE4MNwLOcwVURgLOosvDIn42BqV5lnbNNIe+pMOUDzijpnDttYPgYqMWtILS8J8gnIMamtvxxebaMYkzNpKQGiao1r0wyE3fUmU4E+CqDTLSkFN2SYfQ0zlNuU76NqIRiKUgzXMBkrK+5Wk+MpAyV70Rt1RqPZWRww1JTaKXY4Xzb7FBlhq9mI3JSPFhYha8vW7YtwW5LN4gClKYsExKmsaWKBnDgI6EcTZPxovpIrmYSI0ExM1xcRVxs3jrdCQjUBD72YhhprhJZNvPh3TAvJ98hhyosW8yZ2P/TBI+m91NAc/JgEoupnMRlujBlR7caOCjVEwxH2CTAC7+Alz0gbOZ4+qKMNfYZDgCrGmqsQbFB9WFRjSjwssUi+1p4wGkQ99Ic0L11F+E8+euxXmlVIjphMdguIih5wdJugnXHTMVYBtVjIkGE2Vfglck8R9bJx06hriM18K6m1Gu69gXrZB8+Jj7aS9Ty3QlW4Fhicn8LArZBbhmEnkJKm215Yi8PnS2tRvuBmQSB87jlyQxQVnS2SNnmbNvne062/E+V3TmJ0sMaFMLbb1UttSfrYWONEvJTPHc6LLi/0j/plbrJKfKlTu4Xxqegb2dOdgPf+/gabsVevxpp3YQzLdxHW2jp+gZCtEeOkDv0DE6QQwl6Cv6hr6v/axsVZ5UtmfU1ZX5mcdowSr1X0NVekc=</latexit>
@ 0 A
@ 1 A
4 2
0 1 0 1
6 <latexit sha1_base64="zRD/ATtEvQ7LNLUZjSxOzMMhbPw=">AAAEanichVNtb9MwEPZYgVHetvEJ7YtFWwmhUiVjY9oHpKEhhARog3Yv0lxNjnNtrNlJZDstleW/wFf4a/wHfgRO2rG1CDgpyaO7x3fPnXNRLrg2QfBj6cZy7eat2yt36nfv3X/wcHVt/VhnhWJwxDKRqdOIahA8hSPDjYDTXAGVkYCT6GK/jJ+MQGmepT0zya
sha1_base64="zRD/ATtEvQ7LNLUZjSxOzMMhbPw=">AAAEanichVNtb9MwEPZYgVHetvEJ7YtFWwmhUiVjY9oHpKEhhARog3Yv0lxNjnNtrNlJZDstleW/wFf4a/wHfgRO2rG1CDgpyaO7x3fPnXNRLrg2QfBj6cZy7eat2yt36nfv3X/wcHVt/VhnhWJwxDKRqdOIahA8hSPDjYDTXAGVkYCT6GK/jJ+MQGmepT0zyaEv6TDlA86oKV1bL4LgfLURdILK8J8gnIEGmtnh+dryIYkzVkhIDRNU67MwyE3fUmU4E+DqLVJoyCm7oEM40zlNuU76NqIRiIUgzXMBkrK+5WleGEiZq1+LWyq1nsjI4ZakJtGLsdL5t9ggS42ez8ZkpPgwMXPes17YtyW5Kt4iClIYs0xKmsaWKBnDgBbCOJsno/l0kZxPpAoBcXtUXkXcLt86LWQECmI/GzHMFDeJ3PTzIV0w78efIQdq7JvM2dg/44RPZ3ddwDMyoJKLyUyEJXpwqQe3WvggFRPMB9gkgMu/AJd94GzquLwizDU2GY4Aa5pqrEHxQX2uEc2o8DLFfHvaeADp0DfSHlM98Rfh/LkrcV4pFWIy5jEYLmI484MkvYTrrpkIsK06xkSDibIvwSuS+I9tki4dQVzFG2HTTSlXdezzTkg+fMz9tBepVbqKrcCwxGR+FqXsElwxibwAlXY2ZUFe7zvb2Q63AzKOA+fxS5KYoCrp7IGzzNm3zvac7XqfKzvzkyUGtGmEtlkpW+jPNkJH2pVkpnhudFXxf6R/U+tNklPlqh3crQxPwc7WDOyGv3fweLMTevxpq7EXzLZxBW2gJ+gpCtEO2kPv0CE6Qgwl6Cv6hr4v/6yt1x7XNqbUG0uzM4/QnNWavwA7SHpF</latexit>
4300 5 6500 <latexit sha1_base64="t/77vColxXIHQkmDibOHaw/FIRQ=">AAAEa3ichVNtb9MwEPZYgVHeNvYN+GDRVkKoVMm0F+0D0tAQQgK0QdttUl1NjnNtrNlJZLstleXfwFf4afwI/gNO2rG1CDgpyaO7x3fPnXNRLrg2QfBj5cZq5eat22t3qnfv3X/wcH3j0YnORopBl2UiU2cR1SB4Cl3DjYCzXAGVkYDT6OKwiJ+OQWmepR0zzaEv6TDlA86o8a7u7k4QVM/Xa0ErKA3/CcI5qKG5HZ9vrB6TOGMjCalhgmrdC4Pc9C1VhjMBrtogIw05ZRd0CD2d05TrpG8jGoFYCtI8FyAp61ue5iMDKXPVa3FLpdZTGTnckNQkejlWOP8WG2Sp0YvZmIwUHyZmwdvrhH1bkMviDaIghQnLpKRpbImSMQzoSBhn82S8mC6Si4nUSEDcHBd3ETeLt05HMgIFsZ+NGGaKm0Ru+fmQNpj3k8+QAzX2TeZs7J9Jwmezuy7gBRlQycV0LsISPbjUgxsNfJSKKeYDbBLAxW+Aiz5wNnNcXhHmGpsMR4A1TTXWoPigutCIZlR4mWKxPW08gHToG2lOqJ76i3D+3JU4r5QKMZ3wGAwXMfT8IEkn4bptpgJso4ox0WCi7EvwiiT+Y+ukTccQl/FaWHczylUd+7IVkg8fcz/tZWqZrmQrMCwxmZ9FIbsAV0wiL0ClrS05Iq8PnW3thDsBmcSB83iXJCYoSzp75Cxz9q2zHWfb3ueKzvxkiQFtaqGtl8qW+rO10JFmKZkpnhtdVvwf6d/Uap3kVLlyB/dLwzOwtz0H++HvHTzZaoUef9quHQTzbVxDT9Az9ByFaA8doHfoGHURQxx9Rd/Q99Wflc3K48rTGfXGyvzMJlqwSuMXm7B6XQ==</latexit>
sha1_base64="2BE2brV+qLwuwMMuzRTbq/Flw1M=">AAAEYHichVPRbtMwFPW2AqMM2OANeLBoKyHUVcmkjSck0BBCArRB221SXU2Oc9tYs5PIdloqy9/AK3waH8E/4KSdtnYCLCU9uvf03nOPc6NccG2C4Nfa+kbt1u07m3fr97buP3i4vbN1orNCMeizTGTqLKIaBE+hb7gRcJYroDIScBpdHJb50wkozbO0Z2Y5DCUdp3zEGTU+1D/YD4L6+XYj6ATVwTdBuAANtDjH5zsbxyTOWCEhNUxQrQdhkJuhpcpwJsDVW6TQkFN2Qccw0DlNuU6GNqIRiJUkzXMBkrKh5WleGEiZq1/LWyq1nsnI4ZakJtGruTL4t9woS41ersZkpPg4MUvRQS8c2pJcNW8RBSlMWSYlTWNLlIxhRAthnM2TyXK5SC4XUoWAuD0p7yJul2+dFjICBbH3RowzxU0i97w/pAvm4/Qr5ECNfZc5G/tnmvC5d9cFvCQjKrmYLURYokeXenCrhY9SMcN8hE0CuPwMcDkHzuaByyvCXGOT4QiwpqnGGhQf1ZcG0YwKL1Msj6eNB5CO/SDtKdUzfxHO/+9KnFdKhZhNeQyGixgG3kjSS7jumpkA26pjTDSYKPsWvCaJ/7FN0qUTiKt8I2y6OeWqj93thOTT59y7vUqtylVsBYYlJvNelLJLcMUk8gJU2tmTBXl76GxnP9wPyDQOnMcHJDFB1dLZI2eZs++d7Tnb9TFXTuadJQa0aYS2WSlbmc82QkfalWSmeG501fF/pH9T602SU+X8DoarG3cTnOx1Qo+/BGgTPUXP0QsUolfoDfqAjlEfMcTRd/QD/dz4XXtcezLf1vW1xdo+Qkun9uwPE555Bg==</latexit>
sha1_base64="1dFNSF6L13xj2jkbcJJx5axXAT8=">AAAEa3ichVNdb9MwFPW2AqN8bewNeLBoKyFUqmTSxhPS0BBCArRB221SXU2Oc9tYs5PIdloqy7+BV/hp/Aj+A07aaWsnwFKSo3uP7z33OI5ywbUJgl9r6xu1W7fvbN6t37v/4OGjre3HJzorFIM+y0SmziKqQfAU+oYbAWe5AiojAafRxWGZP52A0jxLe2aWw1DSccpHnFHjQ/39vSCon281gk5QLXwThAvQQIt1fL69cUzijBUSUsME1XoQBrkZWqoMZwJcvUUKDTllF3QMA53TlOtkaCMagVhJ0jwXICkbWp7mhYGUufq1vKVS65mMHG5JahK9miuDf8uNstTo5WpMRoqPE7MUHfTCoS3JVfMWUZDClGVS0jS2RMkYRrQQxtk8mSyXi+RyIVUIiNuT8izidvnWaSEjUBB7b8Q4U9wkctf7Q7pgPk6/Qg7U2HeZs7F/pgmfe3ddwEsyopKL2UKEJXp0qQe3WvgoFTPMR9gkgMvfAJdz4GweuDwizDU2GY4Aa5pqrEHxUX1pEM2o8DLF8njaeADp2A/SnlI98wfh/L4rcV4pFWI25TEYLmIYeCNJL+G6a2YCbKuOMdFgouxb8IYk/mObpEsnEFf5Rth0c8pVH/uqE5JPn3Pv9iq1KlexFRiWmMx7UcouwRWTyAtQaWdXFuTtobOdvXAvINM4cB7vk8QEVUtnj5xlzr53tuds18dcOZl3lhjQphHaZqVsZT7bCB1pV5KZ4rnRVcf/kf5NrTdJTpXzdzBcvXE3wcluJ/T4S9A4CBa3cRM9Rc/RCxSi1+gAfUDHqI8Y4ug7+oF+bvyu7dSe1J7Nqetriz07aGnVWn8AXHp5yQ==</latexit>
sha1_base64="B7qa2npD48O1mTZde4RiwSF0fcg=">AAAEa3ichVNdb9MwFPVYgVG+NvYGPFi0lRAqVTKx8YQ0NISQAG3QdptUV5Pj3DbW7CSynZbK8m/gFX4aP4L/gJN22toJsJTk6N7je889jqNccG2C4NfajfXazVu3N+7U7967/+Dh5tajY50VikGfZSJTpxHVIHgKfcONgNNcAZWRgJPo/KDMn0xAaZ6lPTPLYSjpOOUjzqjxof7ebhDUzzYbQSeoFr4OwgVooMU6OttaPyJxxgoJqWGCaj0Ig9wMLVWGMwGu3iKFhpyyczqGgc5pynUytBGNQKwkaZ4LkJQNLU/zwkDKXP1K3lKp9UxGDrckNYlezZXBv+VGWWr0cjUmI8XHiVmKDnrh0JbkqnmLKEhhyjIpaRpbomQMI1oI42yeTJbLRXK5kCoExO1JeRZxu3zrtJARKIi9N2KcKW4SueP9IV0wH6dfIQdq7LvM2dg/04TPvbsq4AUZUcnFbCHCEj260INbLXyYihnmI2wSwOVvgMs5cDYPXBwR5hqbDEeANU011qD4qL40iGZUeJlieTxtPIB07AdpT6me+YNwft+lOK+UCjGb8hgMFzEMvJGkl3DdNTMBtlXHmGgwUfYteEMS/7FN0qUTiKt8I2y6OeWyj33ZCcmnz7l3e5ValavYCgxLTOa9KGWX4JJJ5DmotLMjC/L2wNnObrgbkGkcOI/3SGKCqqWzh84yZ98723O262OunMw7Swxo0whts1K2Mp9thI60K8lM8dzoquP/SP+m1pskp8r5Oxiu3rjr4HinE3r85VVjP1jcxg30BD1Dz1GIXqN99AEdoT5iiKPv6Af6uf67tl17XHs6p95YW+zZRkur1voDXbp5zQ==</latexit>
B 3 C B 05 C
B C B C
@ 0 A @ 0 A
3 4

Machine
Machine Learning Basics
• Un método deAprendizaje
Objetivo del aprendizaje automático típico parte de una solución
inicial de loLearning
(Statistical que podríamos
Theory) llamar el espacio de búsqueda (H,
conjunto
Minimizar eldeRiesgo
soluciones posibles) y adapta gradualmente la solución a
partir de los ejemplos.
min R(f ) = E (L(f (x), y )) s.t. f 2 H
f1 (x )
f3 (x)
f2 (x )
Learning as Search
f⇤ f4 (x )
f5 (x )

Machine Learning
Motivación
• Un método de aprendizaje automático típico parte de una solución
Este punto de vista es más consiste con lo que deno
inicial de lo que podríamos llamar el espacio de búsqueda (H,
“aprendizaje online” (online learning), escenario en q
conjunto de soluciones posibles) y adapta
que la gradualmente
máquina dispone de la todos los ejemplos antes
sino que los observa ejemplos de manera continua y
solución a partir de los ejemplos.
manera continua.
0
1
1
B 1 C
<latexit sha1_base64="qBIUxCqrkApU5dR7B41ccJ4PuVs=">AAAEa3ichVNtb9MwEPa2AqO8bewb8MGiq4RQqZKxMfYBaWgIIQHaoO02qa4mx7k21uwkst2WyvJv4Cv8NH4E/wEn7dhaBJyU5NHd47vnzrkoF1ybIPixtLxSuXb9xurN6q3bd+7eW1u/f6yzoWLQYZnI1GlENQieQsdwI+A0V0BlJOAkOj8o4icjUJpnadtMcuhJOkh5nzNqvKvz/GUQVM/WakEzKA3/CcIZqKGZHZ2trxyROGNDCalhgmrdDYPc9CxVhjMBrlonQw05Zed0AF2d05TrpGcjGoFYCNI8FyAp61me5kMDKXPVK3FLpdYTGTlcl9QkejFWOP8W62ep0fPZmIwUHyRmzttthz1bkMvidaIghTHLpKRpbImSMfTpUBhn82Q0ny6S84nUUEDcGBV3ETeKt06HMgIFsZ+NGGSKm0Ru+fmQFpj348+QAzX2TeZs7J9xwqezuyrgKelTycVkJsIS3b/Qg+t1fJiKCeZ9bBLAxW+Aiz5wNnVcXBHmGpsMR4A1TTXWoHi/OteIZlR4mWK+PW08gHTgG2mMqZ74i3D+3KU4r5QKMRnzGAwXMXT9IEk74bplJgJsvYox0WCi7EvwiiT+YzdJi44gLuO1cNNNKZd17LNmSD58zP20F6llupKtwLDEZH4WhewCXDKJPAeVNrfkkLw+cLa5E+4EZBwHzuMXJDFBWdLZQ2eZs2+dbTvb8j5XdOYnSwxoUwvtZqlsoT9bCx1plJKZ4rnRZcX/kf5NrW6SnCpX7uBeaXgKdrdnYC/8vYPHW83Q40/btf1gto2r6CF6jJ6gEO2iffQOHaEOYoijr+gb+r7ys7JReVB5NKUuL83ObKA5q9R/AZutel0=</latexit>
3800
0
5
1
B 1 C
4500 estado T
B C B C
@ 1 A @ 0 A
2 3
0 1 0 1
3 1 3500
B 3 C
B 1 C 7200 B C
@ 0 A
@ 1 A
4 2
0
6
1
<latexit sha1_base64="zRD/ATtEvQ7LNLUZjSxOzMMhbPw=">AAAEanichVNtb9MwEPZYgVHetvEJ7YtFWwmhUiVjY9oHpKEhhARog3Yv0lxNjnNtrNlJZDstleW/wFf4a/wHfgRO2rG1CDgpyaO7x3fPnXNRLrg2QfBj6cZy7eat2yt36nfv3X/wcHVt/VhnhWJwxDKRqdOIahA8hSPDjYDTXAGVkYCT6GK/jJ+MQGmepT0zya
4300
0
5
1
6500 <latexit sha1_base64="t/77vColxXIHQkmDibOHaw/FIRQ=">AAAEa3ichVNtb9MwEPZYgVHeNvYN+GDRVkKoVMm0F+0D0tAQQgK0QdttUl1NjnNtrNlJZLstleXfwFf4afwI/gNO2rG1CDgpyaO7x3fPnXNRLrg2QfBj5cZq5eat22t3qnfv3X/wcH3j0YnORopBl2UiU2cR1SB4Cl3DjYCzXAGVkYDT6OKwiJ+OQWmepR0zzaEv6TDlA86o8a7u7k4QVM/Xa0ErKA3/CcI5qKG5HZ9vrB6TOGMjCalhgmrdC4Pc9C1VhjMBrtogIw05ZRd0CD2d05TrpG8jGoFYCtI8FyAp61ue5iMDKXPVa3FLpdZTGTnckNQkejlWOP8WG2Sp0YvZmIwUHyZmwdvrhH1bkMviDaIghQnLpKRpbImSMQzoSBhn82S8mC6Si4nUSEDcHBd3ETeLt05HMgIFsZ+NGGaKm0Ru+fmQNpj3k8+QAzX2TeZs7J9Jwmezuy7gBRlQycV0LsISPbjUgxsNfJSKKeYDbBLAxW+Aiz5wNnNcXhHmGpsMR4A1TTXWoPigutCIZlR4mWKxPW08gHToG2lOqJ76i3D+3JU4r5QKMZ3wGAwXMfT8IEkn4bptpgJso4ox0WCi7EvwiiT+Y+ukTccQl/FaWHczylUd+7IVkg8fcz/tZWqZrmQrMCwxmZ9FIbsAV0wiL0ClrS05Iq8PnW3thDsBmcSB83iXJCYoSzp75Cxz9q2zHWfb3ueKzvxkiQFtaqGtl8qW+rO10JFmKZkpnhtdVvwf6d/Uap3kVLlyB/dLwzOwtz0H++HvHTzZaoUef9quHQTzbVxDT9Az9ByFaA8doHfoGHURQxx9Rd/Q99Wflc3K48rTGfXGyvzMJlqwSuMXm7B6XQ==</latexit>
estado T+1
B 3 C B 05 C
B C B C
@ 0 A @ 0 A
3 4

Machine Learn
Machine Learning Objetivo del Aprendizaje
(Statistical Learning Theory)
• Al final del entrenamiento, esperamos que la solución encontrada

Minimizar el Riesgo
resuelva satisfactoriamente bien el problema.
min R(f ) = E (L(f (x),
0 1
Algoritmo de Aprendizaje
1 0 1
<latexit sha1_base64="qBIUxCqrkApU5dR7B41ccJ4PuVs=">AAAEa3ichVNtb9MwEPa2AqO8bewb8MGiq4RQqZKxMfYBaWgIIQHaoO02qa4mx7k21uwkst2WyvJv4Cv8NH4E/wEn7dhaBJyU5NHd47vnzrkoF1ybIPixtLxSuXb9xurN6q3bd+7eW1u/f6yzoWLQYZnI1GlENQieQsdwI+A0V0BlJOAkOj8o4icjUJpnadtMcuhJOkh5nzNqvKvz/GUQVM/WakEzKA3/CcIZqKGZHZ2trxyROGNDCalhgmrdDYPc9CxVhjMBrlonQw05Zed0AF2d05TrpGcjGoFYCNI8FyAp61me5kMDKXPVK3FLpdYTGTlcl9QkejFWOP8W62ep0fPZmIwUHyRmzttthz1bkMvidaIghTHLpKRpbImSMfTpUBhn82Q0ny6S84nUUEDcGBV3ETeKt06HMgIFsZ+NGGSKm0Ru+fmQFpj348+QAzX2TeZs7J9xwqezuyrgKelTycVkJsIS3b/Qg+t1fJiKCeZ9bBLAxW+Aiz5wNnVcXBHmGpsMR4A1TTXWoHi/OteIZlR4mWK+PW08gHTgG2mMqZ74i3D+3KU4r5QKMRnzGAwXMXT9IEk74bplJgJsvYox0WCi7EvwiiT+YzdJi44gLuO1cNNNKZd17LNmSD58zP20F6llupKtwLDEZH4WhewCXDKJPAeVNrfkkLw+cLa5E+4EZBwHzuMXJDFBWdLZQ2eZs2+dbTvb8j5XdOYnSwxoUwvtZqlsoT9bCx1plJKZ4rnRZcX/kf5NrW6SnCpX7uBeaXgKdrdnYC/8vYPHW83Q40/btf1gto2r6CF6jJ6gEO2iffQOHaEOYoijr+gb+r7ys7JReVB5NKUuL83ObKA5q9R/AZutel0=</latexit>
3800 5 4500
B 1 C
B C B 1 C
B C
@ 1 A @ 0 A f1 (x )
2 3
f3 (x)
f2 (x )
0 1 0 1
3 1 3500
B 3 C
B 1 C 7200 B C
@ 0 A
@ 1 A
4 2 f⇤ f4 (x )
0 1 0 1
6 <latexit sha1_base64="zRD/ATtEvQ7LNLUZjSxOzMMhbPw=">AAAEanichVNtb9MwEPZYgVHetvEJ7YtFWwmhUiVjY9oHpKEhhARog3Yv0lxNjnNtrNlJZDstleW/wFf4a/wHfgRO2rG1CDgpyaO7x3fPnXNRLrg2QfBj6cZy7eat2yt36nfv3X/wcHVt/VhnhWJwxDKRqdOIahA8hSPDjYDTXAGVkYCT6GK/jJ+MQGmepT0zya
4300 5 6500 <latexit sha1_base64="t/77vColxXIHQkmDibOHaw/FIRQ=">AAAEa3ichVNtb9MwEPZYgVHeNvYN+GDRVkKoVMm0F+0D0tAQQgK0QdttUl1NjnNtrNlJZLstleXfwFf4afwI/gNO2rG1CDgpyaO7x3fPnXNRLrg2QfBj5cZq5eat22t3qnfv3X/wcH3j0YnORopBl2UiU2cR1SB4Cl3DjYCzXAGVkYDT6OKwiJ+OQWmepR0zzaEv6TDlA86o8a7u7k4QVM/Xa0ErKA3/CcI5qKG5HZ9vrB6TOGMjCalhgmrdC4Pc9C1VhjMBrtogIw05ZRd0CD2d05TrpG8jGoFYCtI8FyAp61ue5iMDKXPVa3FLpdZTGTnckNQkejlWOP8WG2Sp0YvZmIwUHyZmwdvrhH1bkMviDaIghQnLpKRpbImSMQzoSBhn82S8mC6Si4nUSEDcHBd3ETeLt05HMgIFsZ+NGGaKm0Ru+fmQNpj3k8+QAzX2TeZs7J9Jwmezuy7gBRlQycV0LsISPbjUgxsNfJSKKeYDbBLAxW+Aiz5wNnNcXhHmGpsMR4A1TTXWoPigutCIZlR4mWKxPW08gHToG2lOqJ76i3D+3JU4r5QKMZ3wGAwXMfT8IEkn4bptpgJso4ox0WCi7EvwiiT+Y+ukTccQl/FaWHczylUd+7IVkg8fcz/tZWqZrmQrMCwxmZ9FIbsAV0wiL0ClrS05Iq8PnW3thDsBmcSB83iXJCYoSzp75Cxz9q2zHWfb3ueKzvxkiQFtaqGtl8qW+rO10JFmKZkpnhtdVvwf6d/Uap3kVLlyB/dLwzOwtz0H++HvHTzZaoUef9quHQTzbVxDT9Az9ByFaA8doHfoGHURQxx9Rd/Q99Wflc3K48rTGfXGyvzMJlqwSuMXm7B6XQ==</latexit>
B 3 C B 05 C
B C B C
@ 0 A @ 0 A f5 (x )
3 4
x programa y

Machine Learning
• Es realizable el "sueño" de Samuel?
“Machine Learning is the field of stu
that gives computers the ability to
Machine Learning is the field of study that gives computers
learn without being explicitly
the ability to learn without being explicitly programmed
programmed”
Arthur
Arthur Samuel
Samuel (1959)
(1959)

Machine Learning

Machine Learning
• Por ejemplo, un modelo de regresión lineal predice la salida como
una combinación lineal los atributos utilizados para representar el
dato de entrada. Durante el aprendizaje, el algoritmo aprende qué
pesos aplicar a cada atributo.
y = f (x) = 0 + 1 · x1 + 2 · x2 + . . . + d · xd
T
<latexit sha1_base64="ElXVLGZjqh35ObsUOl+7VQ+tdIk=">AAAE23ichVNdb9MwFM1YgS18bfDIi0VXNGBUSbUx7WHS0BBCArTBug9pLpPj3DbW7CSKnbaR5SfeEK/8uP0acNKuWzsBlpIc3XN877nXcZByJpXnXczdmq/dvnN3YdG9d//Bw0dLy4+PZJJnFA5pwpPsJCASOIvhUDHF4STNgIiAw3Fwvlvyx33IJEvitipS6AjSi1mXUaJs6GxJFmgbdVeHL9DzbYQDUOTMQ6/GyEeYholCQ4suY61JrFXGuMVyQoYTMsTYvZnxWxsNXfdsqe41vWqhm8Afg7ozXvtny/P7OExoLiBWlBMpT30vVR1NMsUoB+M2cC4hJfSc9OBUpiRmMurogATAZ0iSphwEoR3N4jRXEFPjXuM1EVIWIjCoIYiK5CxXBv/GdZNYyelsVAQZ60VqKnra9ju6FFfFGziDGAY0EYLEocaZCKFLcq6MTqP+dLpATCfKcg7hWr88+3CtfMs4FwFkENrZ8F6SMRWJlp0PPgD1cfAVUiBKv0uMDu0ziNhodtcNvMRdIhgvxiY0lt1LP6jRQHsxLxDrIhUBKn87VPaBklHg8ogQk0glKAAkSSyRhIx13alGJCXc2uTT7UllAcQ928jagMjCHoSx+67MWaeE82LAQlCMh3BqB4nbEZMHquCgGy5CWIIKkqG3jSP70Sv4gPQhrPi6v2JGkqs6+nXTx58+p3bas9IqXaXOQNFIJXYWpe0SXCmxOIcsbrZEjt/uGt3c8Dc8PAg9Y/EbHCmvKmn0ntHU6PdGt40+sDFTdmYnixVIVff1SuVspj9d9w1eqyzTjKVKVhX/J/q31F3BKclMdQe3qoVGYHN9DLb8yR08ajV9i7+s13e88W1ccJ46z5xVx3c2nR3ng7PvHDrUuXB+zy3MLdY6te+1H7WfI+mtufGeJ87Uqv36A7HCnfw=</latexit>
= 0 + x

Machine Learning
• Un árbol de decisión lo hace verificando una serie de reglas o
condiciones sobre los atributos. Durante el aprendizaje, el programa
aprende qué condiciones verificar y en qué orden.

Aprendizaje de Atributos vía
Redes Neuronales

Aprendizaje de Atributos
• En la mayoría de las aplicaciones prácticas de aprendizaje automático,
la clave de una buena solución (y la que consume más tiempo) es la
ingeniería de atributos, es decir el proceso en que transformamos los
datos de entrada en una representación (típicamente vectorial) que el
algoritmo usa para aprender.
representación vectorial
0 1
1
B 0 C
B C
@ 1 A
3

• Un problema es más fácil o más difícil dependiendo de la calidad
de la representación obtenida.

• Esta es exactamente la intuición que motiva métodos de kernel
(SVM no-lineal o KPCA).
espacio original X
The Representation of Similarities in Linear Spaces
<latexit sha1_base64="dnYRM/cOPJyIOCVk50We36AD+80=">AAACN3icdVDLTgIxFO34RHyBLly4aSQkxgWZMSRuSdy4ExNekSGkLXegoY/JtGjIhL9wq//hp7hyZ9z6BzIwJjziWZ2e03t7emgouLGu++FsbG5t7+xm9rL7B4dHx7n8ScPoUcSgzrTQUYsSA4IrqFtuBbTCCIikApp0eJv4zSeIDNeqZschdCTpKx5wRuxUevQlsQNK49akmyu4JXcGvE68lBRQimo375z5Pc1GEpRlghjT9tzQdmISWc4ETLL+yEBI2JD0ISbSmLGkE1xMHjSrXiL+5wVaWTPJFhdlQ9RsJvUWrHbN68SJDIotR6Byeo5AwTPTUhLVu/IDIrkY9yAgI2Fj3wQpnUYp4nslxpgH2A4AJw3jZCvWc+Hv45gbbDWmgJNI2EDEg+y0Sm+1uHXSuC55bsl7KBcq5bTUDDpHF+gSeegGVdAdqqI6YkihF/SK3px359P5cr7nVzecdOYULcH5+QUP6qsx</latexit>
<latexit
nuevo espacio <latexit sha1_base64="/MQ1OvDG6f0Lg78DjMC9y5NgbcQ=">AAACU3icdVC7TsMwFHXCu7wKDAwsFqUSMFQJqsSKxMIGSBQqSFXZ7g218CPKdUBVlB/ga1jhPxj4FhaaEiQe4kzH5/heHx+eKIkuCN48f2p6ZnZufqG2uLS8slpfW79Em6UCOsIqm3Y5Q1DSQMdJp6CbpMA0V3DF745L/+oeUpTWXLhRAj3Nbo2MpWBuLPXrO1EylLuRZm7Ied4t9miEGUdwdKIJpvLrol9vBK1gAvqXhBVpkApn/TVvMxpYkWkwTiiGeBMGievlLHVSKChqUYaQMHHHbiFnGnGkeUGb5Yv42yvF/7zYGodFrfldRmYmM5X3zbq5CHt5KYMRPyNwPT6nYOBBWK2ZGexHMdNSjQYQs0y5PMK4ouMoTXpq1IjKmLoh0LJ9Wm6l9lP4+jiVSJ2lHGgZiSKkMq6Nqwx/F/eXXB60wqAVnrcbR+2q1HmyRbbJLgnJITkiJ+SMdIggj+SJPJMX79V7931/+vOq71UzG+QH/OUPOm6zEQ==</latexit>
(X) ⇢29 Z

x2 z2
   

 

  


    



x1  
  
 



  

z1
   

 


  

z3
Figure 2.1 Toy example of a binary classification problem mapped into feature space. We
assume that the true decision boundary is an ellipse in input space (left panel). The task
of the learning process is to estimate this boundary based on empirical data consisting of
training points in both classes (crosses and circles, respectively). When mapped into feature
Diploma en Data
space Science
via the - Departamento
nonlinear map Φ2 (x) de(zInformática
1 z2 z3 ) ([x]21 [x]2020
UTFSM
2
2 [x]1 [x]2 ) (right panel), the
2
!37
ellipse becomes a hyperplane (in the present simple case, it is parallel to the z3 axis, hence
all points are plotted in the (z1 z2 ) plane). This is due to the fact that ellipses can be written
• En los métodos clásicos de aprendizaje, el proceso de extracción de
características descansa completamente sobre un humano, que decide
cuál es una buena representación para el problema.

• Los métodos profundos permiten integrar el aprendizaje de la
representación como parte del problema.

Representación de los Datos
Otro
• La mayoría Tipo
de las de "difíciles"
aplicaciones Problemas en aprendizaje automático
involucran datos que no es claro como representar para resolver
eficazmente una tarea.
representación
¿Qué representa vectorial
esta imagen?
?
A. Un león en la0
selva 1
B.
1
Un gato con corbata
C. Un gato sobreB C
una0cama
B C
D. @
Un gato jugando
1A
• 3
Para la mayoría de los humanos, una tarea

• Datos como texto, imágenes, video, audio y grafos.
representación vectorial
?
0 1
1
B 0 C
B C
@ 1 A
3

• Para estos datos se tiene usualmente una representación "primitiva"
que (i) no necesariamente es vectorial, (ii) no contiene características
suficientemente discriminativas para alimentar directamente un
método clásico.

• ¿Es posible aprende directamente de estas representaciones
primitivas?
bank 271 <latexit sha1_base64="gEN04EpNf2js+HjN5i1oJRh956Q=">AAAExnichVNdb9MwFM22AqN8bfDIi0VbNNCokrIx+oA0GEITH9qgHZtUV5OT3DbWbCeynXaVZYmfxK9B4gl+Ck7asXUIuJKTo3uP7XOP7TBjVGnf/76wuFS5cvXa8vXqjZu3bt9ZWb37WaW5jOAgSlkqj0KigFEBB5pqBkeZBMJDBofhyU5RPxyBVDQVXT3JoM/JUNABjYh2qeOVt5jBQK/hEIZUGCIlmVgjy7BVHz1ExcAsTrVyIJglfFzFIOIZH0s6TPSj45Wa32y1n/tP2+hPEDT9MmreLPaPV5diHKdRzkHoiBGleoGf6b5bVdOIga02cK4gI9EJGUJPZURQlfRNSEJgl4okyxhwEvUNFVmuQUS2eqFuTkun5nOEKzXhoUUNTnSiLteK5N9qg1RoNS/BRDwsfZjbpNcN+qZgTxVJEDCOUs6JMw9LHsOA5ExbkyWjeXEhn19H5gzi9VFxzPF68VUi5yFIiJ1fbJhKqhPecp7hDuh340+QAdHmdWpN7MY4oVM/Lwp4jAeEUzaZiTBYDc70oEYD7Qk2QXSAdAKouGGoaAOl08TZsSGqkE5RCEgRoZACSQfVuUZURJiTyebbU9oBEO7OwfqYqIk7COvmnYtzSgljkzGNQVMWQ8/5iLsJVR09YWAaVYSwAh2mp/4LnLifqeMOGUFc1mtB3U4p5/uYJ80Av/+QObcvU8vlSrYEHSU6dV4UsgtwzsT8BKRotniOX+5Y09wMNn08jn3r8DOcaL/c0po9ayJr3ljTtabjcrbozDmLNShdC0y9VHapP1MLLF4vJUeSZlqVO/6P9G9qtY4zIm35LttloCnY2piBdvD7XX5uNQOHP27Utl/NXuiyd9974K15gbflbXu73r534EXeV++b98P7WdmtiEpeGU+piwuzOfe8uah8+QVY7pza</latexit>

0 0 ... 1 0 0
She is sitting on a bank She is going to a bank

Aprendizaje de Representaciones
• Integrar el problema de la representación como parte de la tarea de
aprendizaje permite transformar esas representaciones primitivas en
representaciones ricas en contenido semántico (para la máquina) i.e.
optimizadas para una tarea.

Arquitecturas Profundas
• Cómo se logra eso? Extendiendo nuestros métodos en profundidad.
AlexNet (2011-2012)
Krizhevsky, Alex, Ilya Sutskever, and Geoffrey E. Hinton. "Imagenet classification with deep convolutional neural
networks." Advances in neural information processing systems. 2012.

• Imagenet challenge: 14.000.000 de

imágenes, 22.000 categorías.
• Estado del arte al momento: 75% (top-5).
• Accuracy lograda: 85% (top-5).
• Accuracy humana: 95% (top-5).
• Método: red convolucional estilo LeNet
(90's), más profunda, activaciones ReLU,
data augmentation, GPU.

ResNet-152 (2015-2016)
He, Kaiming, et al. "Deep residual learning for image recognition." Proceedings of the IEEE conference on
computer vision and pattern recognition. 2016.

• Imagenet challenge: 14.000.000 de

imágenes, 22.000 categorías.
• Estado del arte al 2011: 75% (top-5).
• Accuracy lograda: 96.5% (top-5).
• Accuracy humana: 95% (top-5).
• Método: ensemble de CNNs muy
profundas (50 capas), conexiones
residuales, data augmentation, GPU.
He, Kaiming, et al. "Deep residual learning for image recognition." Proceedings of the IEEE conference on

Algunos
n Cancer Avances
Classification
Skin Epidermal
Cancer Lesions Classification
Algunos
kin Cancer
Inception Avances
Classification
V3 (2016-2017)
Skin Epidermal
Cancer
Melanocytic Lesions Melanocytic Lesions
(Dermoscopy)
Lesions Classification
Melanocytic Lesions Melanocytic Three-way
Classifier Lesions accuracy Classifier Nine-way accuracy
Validation set (Dermoscopy)
Classifier Dermatologist 1
Three-way accuracy 65.6%
Classifier Nine-wayDermatologist
accuracy 1 53.3%
Validation set
Dermatologist 1 65.6% Dermatologist 1 53.3%
CNN 69.5% CNN 48.9%
Benign
Benign CNN 69.5% * CNN * 48.9%
CNN - PA CNN - 72.0%

PA ** 72.0%
CNN - PA
** CNN
55.3% - PA 55.3%
Disease classes: Disease classes:

three-way classification nine-way classification
Disease classes: Disease classes:
0. three-way classification
Benign single lesions 0. nine-way
Cutaneous lymphoma and lymphoid infiltrates classification
1. Malignant single lesions 1. Benign dermal tumors, cysts, sinuses
2. Non-neoplastic lesions 2. Malignant dermal tumor
0. Benign single lesions 0. Cutaneous
3. Benign epidermal tumors, hamartomas, milia, and lymphoma and lymphoid infiltrates
Malignant 1. Malignant single lesions growths 1. Benign dermal tumors, cysts, sinuses
2. Non-neoplastic lesions 4. Malignant and premalignant epidermal tumors
2. Malignant dermal tumor
5. Genodermatoses and supernumerary growths
6. Inflammatory conditions 3. Benign epidermal tumors, hamartomas, milia, an
Malignant * Red 7. Benign melanocytic lesions
neuronal profunda entrenada sobre 3 clases. growths
8. Malignant Melanoma
** Red neuronal profunda entrenada sobre 757 clases. 4. Malignant and premalignant epidermal tumors
225. Genodermatoses
30 and supernumerary growths
6. Inflammatory conditions
* Red neuronal profunda entrenada sobre 3 7. Benign melanocytic lesions
clases.
8. Malignant Melanoma
** Red neuronal profunda entrenada sobre 757 clases.
22
Esteva, Andre, et al. "Dermatologist-level classification of skin cancer with deep neural networks." nature 542.7639 (2017): 115-118.
Szegedy, Christian, et al. "Rethinking the inception architecture for computer vision." Proceedings of the IEEE conference on

Generative Adversarial Nets (GANs, 2014)
Synthesizing Obama: Learning Lip Sync from Audio • 95:11
Original Video for Input Audio
a) Our result
Original Video for Input Audio
Suwajanakorn, Supasorn, Steven M. Seitz, and Ira Kemelmacher-Shlizerman. "Synthesizing obama: learning lip sync from
audio." ACM Transactions on Graphics (TOG) 36.4 (2017): 1-13.
Goodfellow, Ian, et al. "Generative adversarial nets." Advances in neural information processing systems. 2014.
Fig. 12. Results for the same input speech using four di�erent target videos. b) Our result
Results along each column are generated from the same u�erance.
Fig. 13. Comparison of our mouth shapes to the ground-truth footage of
the input audio (note good agreement–more results in supplemental video).
shapes, timing, and overall mouth animation, but the mouth region a) is a weekly address on climate change (cNVzN62l0Yg), and b) is on health
care (deF-f0OqvQ4).
appears less detailed and smoother compared to the groundtruth.
Diploma en Data Science - Departamento
To evaluatede Informática
generalization UTFSM
to other types 2020
of input speech not from
!50
the weekly addresses on which we trained, we ran our system on the
audio of Obama’s interview with Steve Harvey (qMlLjFPCO4M), 60
4.6 Failure Cases & Limitations
Minutes (F8MxP9adPO8), and the View (Hdn1iX1a528). Our method Below are some limitations of our method.
• Un modelo es profundo si incluye múltiples niveles de computación
entrenables.

s de abstracción para resolver un problema: Un
apas
TION Arquitectura de Red
de procesamiento permite construir atributos
dad a partir de atributos más simples.
Output
• Arquitectura
Capas como niveles de abstracción para re
• Un modelo es profundo si
número elmayor de capasdede procesamiento
CAR PERSON ANIMAL
permite aprendizaje
(object identity)
• Capas como niveles de abst

de mayor complejidad
atributos/conceptos a partir de atributo
824 M.D. Zeiler and R. Fergus
número mayor de capas de
3rd hidden layer
(object parts)
complejos a partir de otros
más primitivos. de mayor complejidad a par
Layer 1 824 M.D. Zeiler and R. Fergus
2nd hidden layer
(corners and
contours)
Layer 1
1st hidden layer

(edges)
Visible layer
(input pixels)
Layer 2
deep learning model. It is difficult for a computer to understand
ry input data, such as this image represented as a collection
Layer 2
ion mapping from a set of pixels to an object identity is very
valuating this mapping seems insurmountable if tackled directly.
difficulty byDiploma en Data
breaking Science complicated
the desired - Departamento de Informática
mapping into a UTFSM 2020 !52
ppings, each described by a different layer of the model. The
Arquitecturas
ctura de Redes FF Profundas
• Un atributo complejoArquitectura
como "hay cara" de seRedes FF
puede construir desde otros
eles de abstracción para resolver un problema: Un
más simples como "hay un
• Capas ojo"
como yde"hay
niveles unapara
abstracción boca" y problema:
resolver un estos aUnsu vez de
eDUCTION
capas de procesamiento permite construir atributos
conceptos aún más primitivos como
número mayor de capas delíneas y formas.
procesamiento permite construir atributos
ejidad a partir de atributos más 824
simples.
de mayor complejidad a partir de atributos más simples.
M.D. Zeiler and R. Fergus
Output Layer 1
CAR PERSON ANIMAL
(object identity)
Layer 1
3rd hidden layer
(object parts)
Arquitectura de Redes FF
• Capas como niveles de abstracción para resolver un problema: Un
2nd hidden layer
Layer 2 mayor de capas de procesamiento permite construir atributos
número
(corners and
contours) de mayor complejidad a partir de atributos más simples.
Layer 2
1st hidden layer

(edges)
Visible layer
(input pixels) Layer 3 Layer 3
n of a deep learning model. It is difficult for a computer to understand

sensory input data, such as this image represented as a collection
unction mapping from a set of pixels to an object identity is very
g or evaluating Diploma enseems
this mapping Datainsurmountable
Science - Departamento de Informática UTFSM 2020
if tackled directly. !53
s this difficulty by breaking the desired complicated mapping into a
e mappings, each described by a different layer of the model. The
Grafo de Computación
• Los modelos profundos van a lograr todo esto implementando las
transformaciones necesarias (por ejemplo pixels -> forma -> ojo ->
Otro mediante
humano) Tipo de un
Problemas
grafo de computación distribuido y entrenable.
¿Qué representa esta imagen?
C. Un gato sobre una cama
D. Un gato jugando


Red Neuronal
• La mayoría de las veces, este grafo toma la forma de una red neuronal
artificial, un modelo propuesto originalmente para explicar el
Otro Tipo de
funcionamiento delProblemas
cerebro.
w2
w1
¿Qué representa esta imagen?
w3
C. Un gato sobre una cama w5 w9
D. Un gato jugando
w11 w10
muy simple, automática, intuitiva …. w7
w4
w6

Red Neuronal
w2
w1
w3
w9
w5
w11 w10
w7
w4
w6
neuronas de entrada neuronas de salida

neuronas "ocultas"
• En una red neuronal, los nodos (vértices) del grafo corresponden a

unidades básicas de cálculo denominadas neuronas. El cálculo que
hacen estas unidades responde (esencialmente) al modelo de neurona
de McCulloch & Pitts (1943) y determina el estado o activación de la
unidad.

Red Neuronal
w2
w1
w3
w9
w5
w11 w10
w7
w4
w6
neuronas de entrada neuronas de salida

neuronas "ocultas"
• Algunas neuronas del grafo se usan para ingresar información a la

máquina (neuronas de entrada), otras se usan para leer un resultado
(neuronas de salida) y las demás (neuronas ocultas) para hacer cálculos
intermedios necesarios para llegar al resultado.

Red Neuronal
w2
w1
w3
w9
w5
w11 w10
w7
w4
w6
• Los arcos (aristas, conexiones) representan flujos (dirigidos) de datos que

una neurona envía a otra.
• Las conexiones entre neuronas están en general pesadas, es decir,

tienen asociado un escalar (o en ocasiones una función) que altera (e.g.
aumenta o atenúa) la información que una neurona recibe de otra.

Aprendizaje
• La activación de las neuronas de salida después de alimentar el
sistema con un determinado input x representa el cálculo que
entrega la red, es decir f(x).
0 1 w2
w1
5 w3
B 1 C w5
w9
20
B C w10
<latexit sha1_base64="c1pBFEgKfXosYLdXzSED8YTNWXY=">AAAFOnichVRbb9MwFM6gwCi3DR55sdZWQmhUSbUx7QGpMISQAG2su0l1NTnJSWPVTiLbvcnyP+AVfg1/hFfeEK/8AJy0o0vR4EhOTs75fC7fcexnjErlut9Wrl2v3Lh5a/V29c7de/cfrK0/PJHpUARwHKQsFWc+kcBoAseKKgZnmQDCfQan/mAv95+OQEiaJkdqmkGPk35CIxoQZU2HLfd8reY23ULQ34o3V2rOXA7O1ysbOEyDIYdEBYxI2fXcTPU0EYoGDEy1gYcSMhIMSB+6MiMJlXFP+8QHtuQkWcaAk6CnaZINFSSBqV7y60nRX9lGuJRT7hvU4ETFctmXG6/yRWmiZDlawH1B+7EqWbtHXk/n4FlBAhIYBynnJAk1FjyEiAyZMjqLR+VoPi/HGeVTCTfzp0yG3AcBoSWK9VNBVcxblizcAfVufAgZEKVfp0aHdo1jOiPycuqnOCKcsuk8vcYyuqgENRpoP2FTRCOkYkD5gUB5AyidGS7mhahEKkU+IEkSiSQIGlVLLciAMFsmKzcmlVUg6dtGNsdETu0EjN3HycCWzUApEFW8KBVPGESqIJYIkY67rV63pxtVhDBMVLuwoV0rGrM06ZfBEWWsbXTNs6tlTCnuFehZ6MU3zjHFp2WQ+UTgxQZzUXZqiRHVUnj74zA2HdMQFGUhdO0xwEcxlR01ZTBLIkH56cR9gWP70nXcISMIC3/Nq5sZZEGWftb08PsPmT0sy9AiXIEWoIJYpXagOfe5skBiPgCRNFt8iF/uGd3c9rZdPA5dY/XnOFZukdLofaMDo98YfWR0x9pMPh57PLACqWqerheVLfWXc4w3i5IDQTMli4z/A/0bWq3jjAhT3Cq7haCZsrM1V3a9P7fKSavpWf3jVq39an6/rDqPnQ3nieM5O07beescOMdO4ETOJ+ez86XytfK98qPycwa9tjLf88gpSeXXb+iczcU=</latexit>
@ 0 A w11
w7
w4
3
<latexit sha1_base64="lgdEhuE0zyBZbugKPmWlHhWwvXg=">AAAEo3ichVNtb9MwEPa2AiO8bfCRLxZtpYFGlYyNaUJIgyGENNDG2r1IdTU5yaWxZieR7bREVn4Mv4av8JF/g5N2bC0CLDk53T2+e+6xz884U9p1fy4sLjVu3Ly1fNu5c/fe/Qcrqw9PVJrLAI6DlKfyzKcKOEvgWDPN4SyTQIXP4dS/2KvipyOQiqVJTxcZDAQdJixiAdXWdb7yinCI9JpDfBiyxFApaVGaoHS2CHE8u127XzgEknAaJJINY/3UcZzzlabbceuF/zS8qdFE03V4vrp0SMI0yAUkOuBUqb7nZnpgE2sWcCidNskVZDS4oEPoq4wmTMUD41Mf+FyQZhkHQYOBYUmWa0gs5WtxQ4VShfBL3BZUx2o+Vjn/FovSRKvZbIHw665nvP2eNzAVuC7eJhISGAepENRqRaQIIaI516XJ4tFsOl/MJpI5h3B9VN1huF59VZILHySEVhs+TCXTsdiw+pAu6P3xEWRAtXmXlia0exyziXbXCTwjERWMF1MShqjokg9ut/FBwgvMIqxjwNXzwVUfOJ04Lq8IM4V1in3AiiYKK5AscmYaUQHlliafbU9pa0Bi3xOsj6kq7EWU9twVOcuUcl6MWQia8RD6VkjSi5nq6oKDaTsYEwXaT7+4r0lsf6ZFunQEYR1veq1yArmqY553PPLxU2bVnofW6Wq0BB3EOrVaVLQr4wpJxAXIpLMhcvJmrzSdLW/LJePQLa39ksTarUuW5qAaDvO+NL3SdK2vrDqzyhINSjc906qZzfVnml5J1mvKgWSZVnXF/4H+DXVaJKOyrGdwp154YmxvTo0d7/cMnmx0PGt/3mzuvp1O4zJ6jJ6gNeShbbSLPqBDdIwC9BV9Q9/Rj0a7sd84avQm0MWF6ZlHaGY1Br8AQNyOgg==</latexit>
w6
output f(x)
input x

Aprendizaje
• Siendo modificables, los pesos de conexión entre las neuronas
convierten a la red en un mecanismo re-configurable a necesidad,
adaptable a los ejemplos que se le proporcionen.
0 1 w2
5 w1
w3
B 1 C w9
B C w5 20
@ 0 A w11 w10
<latexit sha1_base64="c1pBFEgKfXosYLdXzSED8YTNWXY=">AAAFOnichVRbb9MwFM6gwCi3DR55sdZWQmhUSbUx7QGpMISQAG2su0l1NTnJSWPVTiLbvcnyP+AVfg1/hFfeEK/8AJy0o0vR4EhOTs75fC7fcexnjErlut9Wrl2v3Lh5a/V29c7de/cfrK0/PJHpUARwHKQsFWc+kcBoAseKKgZnmQDCfQan/mAv95+OQEiaJkdqmkGPk35CIxoQZU2HLfd8reY23ULQ34o3V2rOXA7O1ysbOEyDIYdEBYxI2fXcTPU0EYoGDEy1gYcSMhIMSB+6MiMJlXFP+8QHtuQkWcaAk6CnaZINFSSBqV7y60nRX9lGuJRT7hvU4ETFctmXG6/yRWmiZDlawH1B+7EqWbtHXk/n4FlBAhIYBynnJAk1FjyEiAyZMjqLR+VoPi/HGeVTCTfzp0yG3AcBoSWK9VNBVcxblizcAfVufAgZEKVfp0aHdo1jOiPycuqnOCKcsuk8vcYyuqgENRpoP2FTRCOkYkD5gUB5AyidGS7mhahEKkU+IEkSiSQIGlVLLciAMFsmKzcmlVUg6dtGNsdETu0EjN3HycCWzUApEFW8KBVPGESqIJYIkY67rV63pxtVhDBMVLuwoV0rGrM06ZfBEWWsbXTNs6tlTCnuFehZ6MU3zjHFp2WQ+UTgxQZzUXZqiRHVUnj74zA2HdMQFGUhdO0xwEcxlR01ZTBLIkH56cR9gWP70nXcISMIC3/Nq5sZZEGWftb08PsPmT0sy9AiXIEWoIJYpXagOfe5skBiPgCRNFt8iF/uGd3c9rZdPA5dY/XnOFZukdLofaMDo98YfWR0x9pMPh57PLACqWqerheVLfWXc4w3i5IDQTMli4z/A/0bWq3jjAhT3Cq7haCZsrM1V3a9P7fKSavpWf3jVq39an6/rDqPnQ3nieM5O07beescOMdO4ETOJ+ez86XytfK98qPycwa9tjLf88gpSeXXb+iczcU=</latexit>
w7
3
<latexit sha1_base64="lgdEhuE0zyBZbugKPmWlHhWwvXg=">AAAEo3ichVNtb9MwEPa2AiO8bfCRLxZtpYFGlYyNaUJIgyGENNDG2r1IdTU5yaWxZieR7bREVn4Mv4av8JF/g5N2bC0CLDk53T2+e+6xz884U9p1fy4sLjVu3Ly1fNu5c/fe/Qcrqw9PVJrLAI6DlKfyzKcKOEvgWDPN4SyTQIXP4dS/2KvipyOQiqVJTxcZDAQdJixiAdXWdb7yinCI9JpDfBiyxFApaVGaoHS2CHE8u127XzgEknAaJJINY/3UcZzzlabbceuF/zS8qdFE03V4vrp0SMI0yAUkOuBUqb7nZnpgE2sWcCidNskVZDS4oEPoq4wmTMUD41Mf+FyQZhkHQYOBYUmWa0gs5WtxQ4VShfBL3BZUx2o+Vjn/FovSRKvZbIHw665nvP2eNzAVuC7eJhISGAepENRqRaQIIaI516XJ4tFsOl/MJpI5h3B9VN1huF59VZILHySEVhs+TCXTsdiw+pAu6P3xEWRAtXmXlia0exyziXbXCTwjERWMF1MShqjokg9ut/FBwgvMIqxjwNXzwVUfOJ04Lq8IM4V1in3AiiYKK5AscmYaUQHlliafbU9pa0Bi3xOsj6kq7EWU9twVOcuUcl6MWQia8RD6VkjSi5nq6oKDaTsYEwXaT7+4r0lsf6ZFunQEYR1veq1yArmqY553PPLxU2bVnofW6Wq0BB3EOrVaVLQr4wpJxAXIpLMhcvJmrzSdLW/LJePQLa39ksTarUuW5qAaDvO+NL3SdK2vrDqzyhINSjc906qZzfVnml5J1mvKgWSZVnXF/4H+DXVaJKOyrGdwp154YmxvTo0d7/cMnmx0PGt/3mzuvp1O4zJ6jJ6gNeShbbSLPqBDdIwC9BV9Q9/Rj0a7sd84avQm0MWF6ZlHaGY1Br8AQNyOgg==</latexit>
w4
w6
input x output f(x)
• En otras palabras, la red es capaz de aprender modificando los

pesos de conexión entre sus unidades.

Profundidad
• Como veremos, a profundidad se obtendrá en una red neuronal
organizando el grafo de computación en múltiples capas de neuronas.
• En tareas complejas pueden emplearse decenas o cientos de capas.

s de abstracción para resolver un problema: Un
apas
TION Arquitectura de Red
de procesamiento permite construir atributos
dad a partir de atributos más simples.
Output
• Arquitectura
Capas como niveles de abstracción para re
• Esto permite el aprendizaje
número mayor de capas de procesamiento
CAR PERSON ANIMAL
de atributos/conceptos
(object identity)
• Capas como niveles de abst

de mayor complejidad a partir de atributo
complejos a partir de otros
número mayor de capas de
3rd hidden layer
(object parts)
más primitivos.
de mayor complejidad a par
Layer 1 824 M.D. Zeiler and R. Fergus
2nd hidden layer
(corners and
contours)
Layer 1
1st hidden layer

(edges)
Visible layer
(input pixels)
Layer 2
deep learning model. It is difficult for a computer to understand
ry input data, such as this image represented as a collection
Layer 2
ion mapping from a set of pixels to an object identity is very
valuating this mapping seems insurmountable if tackled directly.
difficulty byDiploma en Data
breaking Science complicated
the desired - Departamento de Informática
mapping into a UTFSM 2020 !62
ppings, each described by a different layer of the model. The
Re-Uso
• Múltiples experimentos demuestran que las representaciones aprendidas
sobre una tarea (dominio) pueden "exportarse" a tareas similares.

Re-Uso
• Por ejemplo, una vez que hemos aprendido a representar imágenes
para una tarea, podemos re-usar los módulos que generan esas
transformaciones en otras tareas de procesamiento de imágenes.

Re-Uso
• Hoy en día, el uso de modelos pre-entrenados sobre grandes
conjuntos de textos para obtener representaciones vectoriales de
palabras o textos a usar en otras tareas es prácticamente un estándar
en NLP.

Universalidad
• Como demuestra por ejemplo Cybenko hacia 1989, basta incluir un
número suficientemente grande de neuronas (ocultas) para poder
aproximar cualquier función! (continua)
Teorema (Cybenko, 1989)
Una red feed-forward con 1 capa oculta de neuronas sigmoidales puede

f : X continua
aproximar arbitrariamente bien cualquier función ! Y, Xen⇢[0,1] Rdd ,. Y ⇢ R
Es decir, para cualquier función f ∈ C([0,1]d) y ∀ϵ, existe una red
neuronal con 1 capa oculta de neuronas sigmoidales fANN (x) tal que <latexit sha1_base64="Z05SdHMQjhN2Ba4OBsEytbjGdqI=">AAAEf3ichVNtb9MwEM62AqO8bfCBD3yxaCsGKlUybUz7gLRpCCEB26Ddi1RXleNcGmt2EsVOu8jyr+Er/CD+DU7asbUIOCnRo7vHd8+dfX7KmVSu+3NpeaV26/ad1bv1e/cfPHy0tv74VCZ5RuGEJjzJzn0igbMYThRTHM7TDIjwOZz5Fwdl/GwMmWRJ3FNFCgNBRjELGSXKuoZrT8OhxsJPLjVWLC7Q/uGhMRuXL4drDbfjVob+BN4MNJyZHQ/XV45xkNBcQKwoJ1L2PTdVA00yxSgHU2/hXEJK6AUZQV+mJGYyGmif+MAXgiRNOQhCB5rFaa4gpqZ+I66JkLIQvkEtQVQkF2Ol82+xMImVnM9GhZ+xUaTmvP2eN9AluSrewhnEMKGJECQONM5EACHJuTI6jcbz6XwxnyjLOQTtcXk/Qbv8yzgXPmQQ2NnwUZIxFYlNOx/cBfVx8hVSIEq/S4wO7DeJ2HR2NwW8wiERjBczERrL8EoParXQUcwLxEKkIkDl00BlHyiZOq6uCDGJVIJ8QJLEEknIWFifa0RSwq1MPt+eVBZAPLKNtCdEFvYijD13Lc4qJZwXExaAYjyAvh0k7kVMdlXBQbfqCGEJyr449y2OyofXxF0yhqCKN7ymmVKu6+jXHQ9/+pzaaS9Sq3QVOwNFI5XYWZSyS3DNxOICsrizKXK8f2B0Z9vbdvEkcI3Fb3Ck3Kqk0UdGU6PfG90zumt9puzMThYrkKrh6WalbKE/3fAMbleSacZSJauK/yP9m1pv4pRkptrB3crQFOxszcCu93sHTzc7nsVfthp77mwbV51nznNnw/GcHWfP+eAcOycOdYzzzfnu/Kgt1V7UOrUZd3lpduaJM2e13V/eiYIb</latexit>
|fANN (x)
<latexit sha1_base64="/++60EpIODbQ9zQEQFBepWx8YVs=">AAAEk3ichVNtb9MwEM5YgVHeNhCf+GLRVhrQVcm0MU2AtLEJIcFeoHuT6mpynEtjzU6i2GlXef4R/Bq+ws/g3+CkHVuLgJMSP7p7fPfc2fZTzqRy3Z8zN2YrN2/dnrtTvXvv/oOH8wuPjmSSZxQOacKT7MQnEjiL4VAxxeEkzYAIn8Oxf7ZVxI/7kEmWxAdqmEJXkF7MQkaJsq7T+ZcX4anGwk/ONVYsHqLN3V1jFs+foyUU2uUCvUEYUsl4wa65Lbc09CfwxqDmjG3/dGF2HwcJzQXEinIiZcdzU9XVJFOMcjDVBs4lpISekR50ZEpiJqOu9okPfCpI0pSDILSrWZzmCmJqqtfimggph8I3qCGIiuR0rHD+LRYmsZKT2ajwM9aL1IS3c+B1dUEuizdwBjEMaCIEiQONMxFASHKujE6j/mQ6X0wmynIOQbNfnFnQLP4yzoUPGQR2NryXZExFYtnOB7dBfRx8gRSI0tuJ0YH9BhEbze66gBc4JILx4ViExjK81IMaDbQX8yFiIVIRoOK6oKIPlIwcl0eEmEQqQT4gSWKJJGQsrE40IinhViafbE8qCyDu2UaaAyKH9iCM3XclziolnA8HLADFeAAdO0h8EDHZVkMOulFFCEtQ9hK6b3FU3MU6bpM+BGW85tXNiHJVRy+1PPxpJ7XTnqaW6Up2BopGKrGzKGQX4IqJxRlkcWtZ5Hhzy+jWqrfq4kHgGotf4Ui5ZUmj94ymRr83+sDotvWZojM7WaxAqpqn66Wyqf50zTO4WUqmGUuVLCv+j/RvarWOU5KZ8g2ul4ZGYG1lDNa932/waLnlWfx5pbbhjl/jnPPUeeYsOp6z5mw4H5x959Chzlfnm/Pd+VF5UnldeVfZHlFvzIz3PHYmrLLzC4w7iUk=</latexit>
f (x)| < ✏
Cybenko, G. (1989) "Approximations by superpositions of sigmoidal functions", Mathematics of

Control, Signals, and Systems, 2(4), 303–314. doi:10.1007/BF02551274

Universalidad
• Complementando esto, Siegelmann et al. demuestra hacia 1993 que
una red de tipo recurrente (con un número acotado de neuronas) es
Turing-completa (puede simular cualquier máquina de Turing).
Siegelmann, Hava T., and Eduardo D. Sontag. "On the computational power of neural nets."
Journal of computer and system sciences 50.1 (1995): 132-150.

Expresividad
• La expresividad de una red aumenta exponencialmente más rápido
componiendo transformaciones en profundidad que aumentando el
número de neuronas en 1 sola capa.OnOnOn theExpressive
thethe Expressive
Expressive Power
Power
Power of of Deep
Deep
of Deep N
Neur
Montufar, Guido F., et al. "On the number of linear regions of deep neural networks." Advances in neural
information processing systems. 2014.
Figure
Figure 1.1.Deep
Deep networks
networks with
with piecewise
piecewise linear
linear activations
activations subdi-
subdi-
Figure 1. Tomaso,
Poggio, Deepet al.networks with
"Why and when can piecewise
deep-but linear
not shallow-networks activations
avoid the subdi-
curse of dimensionality: a
vide
vide input
review." space
input Internationalinto
space Journalconvex
into of Automationpolytopes.
convex and Computing 14.5We
polytopes. (2017):take
We takea three
503-519.
a three hidden
hidden
vide input space into convex polytopes. 2 We take a three hidden
layer
layer ReLU
ReLU network,
network, with
with input
input x 2 R
xx2UTFSM , 2and four units in each
RR2020 ,2 and four units inineach
layer ReLU
Diploma
network,
en Data
with
Science - Departamento
input
de Informática
2 , and four units eachFigure 2.
!68 T
Figure
layer.
layer.TheTheleft leftpane
paneshows showsactivations
activations forfor thethe first layer
first layer only.only.As As Figur2
Universalidad
• La gran flexibilidad del modelo permite aprovechar la mayor
disponibilidad de datos que caracteriza muchas áreas de la ciencia y la
ingeniería en los últimos años.

• ¿Qué tienen en común los métodos usados para obtener estos
progresos?
• Adquisición automática de conocimiento vía aprendizaje

(machine learning).
• Representación del conocimiento vía grafos distribuidos
de computación (redes neuronales artificiales).
• Aprendizaje de la representación de los datos.

• Uso de múltiples niveles de procesamiento.

¿Qué Estudiaremos?

Principales Tipos de Redes
• Redes Feed-Forward
• Redes Convolucionales
• Redes Recurrentes, LSTMs
• Redes con Mecanismos Atencionales
• Redes sobre Grafos
• Redes con Memoria Externa
• Auto-encoders Clásicos y Variacionales
• Máquinas de Boltzmann
• GAN (Generative Adversarial Nets)

Qué Estudiaremos?
• Redes Feed-Forward: Demo 1.

• Entrenamiento: Backprop & Métodos Avanzados.
• Redes Convolucionales: Demo 2.
• Redes Recurrentes: Demo 3.

Lecture1 Intro DDS Redsize

Uploaded by

Document Information

Copyright

Available Formats

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Available Formats

Lecture1 Intro DDS Redsize

Uploaded by

Copyright:

Available Formats

Módulo VI.

Diploma en Data Science - Departamento de Informática UTFSM 2020

• Paseo aleatorio sobre las siguientes preguntas:

• ¿Qué es el aprendizaje profundo?

Diploma en Data Science - Departamento de Informática UTFSM 2020 !2

Diploma en Data Science - Departamento de Informática UTFSM 2020 !3

Diploma en Data Science - Departamento de Informática UTFSM 2020 !4

challenges lying ahead. RELATED ITEM

Science. July 2015. Nature. May 2015.

Diploma en Data Science - Departamento de Informática UTFSM 2020 !5

Diploma en Data Science - Departamento de Informática UTFSM 2020 !6

Diploma en Data Science - Departamento de Informática UTFSM 2020 !7

• Comprensión de Información Visual

lemon 0.86 starfish 0.67

256 17 JULY 2015 • VOL 349 ISSUE 6245

Diploma en Data Science - Departamento de Informática UTFSM 2020 !8

Diploma en Data Science - Departamento de Informática UTFSM 2020 !9

Diploma en Data Science - Departamento de Informática UTFSM 2020 !10

Diploma en Data Science - Departamento de Informática UTFSM 2020 !11

Diploma en Data Science - Departamento de Informática UTFSM 2020 !12

• Adquisición automática de conocimiento vía aprendizaje

• Aprendizaje de la representación de los datos.

Diploma en Data Science - Departamento de Informática UTFSM 2020 !13

Diploma en Data Science - Departamento de Informática UTFSM 2020 !14

Diploma en Data Science - Departamento de Informática UTFSM 2020 !15

• Si una reina está en la fila i, ninguna otra reina puede

Diploma en Data Science - Departamento de Informática UTFSM 2020 !16

L = lista FIFO vacía, c=0;

Diploma en Data Science - Departamento de Informática UTFSM 2020 !17

Diploma en Data Science - Departamento de Informática UTFSM 2020 !18

Diploma en Data Science - Departamento de Informática UTFSM 2020 !19

inaccurate very accurate

(cifras corresponden al Imagenet challenge de 2010)

Diploma en Data Science - Departamento de Informática UTFSM 2020 !20

inaccurate very accurate

Diploma en Data Science - Departamento de Informática UTFSM 2020 !21

Diploma en Data Science - Departamento de Informática UTFSM 2020 !22

Diploma en Data Science - Departamento de Informática UTFSM 2020 !23

Diploma en Data Science - Departamento de Informática UTFSM 2020 !24

Diploma en Data Science - Departamento de Informática UTFSM 2020 !25

Diploma en Data Science - Departamento de Informática UTFSM 2020 !26

Diploma en Data Science - Departamento de Informática UTFSM 2020 !27

• Al final del entrenamiento, esperamos que la solución encontrada

Diploma en Data Science - Departamento de Informática UTFSM 2020 !28

Diploma en Data Science - Departamento de Informática UTFSM 2020 !29

Diploma en Data Science - Departamento de Informática UTFSM 2020 !30

Diploma en Data Science - Departamento de Informática UTFSM 2020 !32

Diploma en Data Science - Departamento de Informática UTFSM 2020 !33

Diploma en Data Science - Departamento de Informática UTFSM 2020 !34

Diploma en Data Science - Departamento de Informática UTFSM 2020 !35

Diploma en Data Science - Departamento de Informática UTFSM 2020 !36

Diploma en Data Science - Departamento de Informática UTFSM 2020 !38

Diploma en Data Science - Departamento de Informática UTFSM 2020 !39

Diploma en Data Science - Departamento de Informática UTFSM 2020 !40

Diploma en Data Science - Departamento de Informática UTFSM 2020 !41

Diploma en Data Science - Departamento de Informática UTFSM 2020 !42

She is sitting on a bank She is going to a bank

Diploma en Data Science - Departamento de Informática UTFSM 2020 !43

Diploma en Data Science - Departamento de Informática UTFSM 2020 !44

Diploma en Data Science - Departamento de Informática UTFSM 2020 !45

• Imagenet challenge: 14.000.000 de

Diploma en Data Science - Departamento de Informática UTFSM 2020 !46

Diploma en Data Science - Departamento de Informática UTFSM 2020 !47

• Imagenet challenge: 14.000.000 de