168 481 Artificial Neural Networks

วงจรข่ายนิวรอลเทียม

ภาคการศึกษาต้น ปี การศึกษา 2546

อาจารย์ นวภัค เอื้ออนันต์
ภาควิชาวิศวกรรมคอมพิวเตอร์ มหาวิทยาลัยขอนแก่น

ISAN-DSP GROUP
Course Syllabus

Date and Time : TT 10.30-12.00 EN 4510

Assessments:
Attendance 5%
Homework 35%
Midterm 30%
Final Project 30%
Grading:
85-100% A, 75-85% B+, 70-75% B, 65-70% C+, 60-65% C,
55-60% D+, 50-55% D, 0-50% F
References:
1. James A. Freeman and David M. Skapura, “Neural Networks, Algorithms,
Applications, and Programming Techniques”, Addison-Wesley, 1991
2. John Hertz, Anders Krough, and Richard G. Palmer, “Introduction to the
Theory of Neural Computation”, Addison-Wesley, 1993.
3. Bart Kosko, “Neural Networks and Fuzzy Systems, A Dynamic Systems
Approach to Machine Intelligence”, Prentice Hall, 1992.
ISAN-DSP GROUP
Course Outline

1. Introduction to Neural Computation

- Biological neural networks and artificial neural networks
- Neural network learning
2. Single Layer Perceptron Networks
3. Multilayer Perceptron Networks
4. Associative Networks
5. Self-Organizing Networks
6. Other Networks
7. Applications of Artificial Neural Networks

ISAN-DSP GROUP
 Chapter 1

Introduction to Neural Computation

ISAN-DSP GROUP
คำถาม !

ทำไมคอมพิวเตอร์ในปัจจุบนั ที่มีความสามารถในการคำนวณสูงมากยังไม่สามารถเทียบ
กับความสามารถของสมองมนุษย์ในงานง่ายๆ(สำหรับมนุษย์) บางอย่าง เช่น การจำใบหน้า
การฟังและการตีความหมาย การแปลภาษา
ความสามารถของสมองมนุษย์ vs คอมพิวเตอร์
เซลล์ประสาทส่ งสัญญาณ ความเร็ วของคอมพิวเตอร์
ความเร็ ว ได้ในอัตราสูงสุ ดประมาณ ในปัจจุบนั ขึ้นไปถึง
1000 ครั้ง/วินาที 1700 MHz
การคำนวณ ซุปเปอร์คอมพิวเตอร์ปัจจุบนั C
สมองคน 
เลขคณิ ต > 1000 MFLOP

การจดจำและแยก
สมองคน  คอมพิวเตอร์ 
แยะรู ปภาพ, เสี ยง
ISAN-DSP GROUP
ความมหัศจรรย์ ของสมองมนษุ ย์

- สมองมนุษย์มีประสิ ทธิภาพและมัน่ คงมาก ทุกวันมีเซลล์ประสาทในสมองตาย

โดยที่ไม่ส่งผลกระทบต่อประสิ ทธิภาพของสมองโดยรวม
- ระบบสมองของมนุษย์ยดื หยุน่ มาก สามารถปรับตัวเข้ากับสิ่ งแวดล้อมใหม่
โดยการเรี ยนรู ้ (ผิดกับคอมพิวเตอร์ที่จะต้องโปรแกรมใหม่)
- สมองมนุษย์สามารถจัดการกับข้อมูลที่มีความไม่แน่นอน, มีสญ ั ญาณรบกวน,
และไม่สม่ำเสมอ ได้ดี
- สมองสามารถประมวลผลข้อมูลขนาดมหาศาล เช่นรู ปภาพ ในลักษณะการ
ประมวลผลแบบขนานได้ดี
- สมองมีขนาดเล็กและใช้พลังงานน้อย
- โครงสร้างของสมองมนุษย์ได้ววิ ฒั นาการมาเป็ นเวลาหลายล้านปี
และได้รับพิสูจน์จากธรรมชาติตราบจนกระทัง่ ทุกวันนี้

ISAN-DSP GROUP
โครงสร้ างของสมองมนษุ ย์ และระบบประสาท

Cell body (soma)

Dendrite
Nucleus

ภาพเซลล์ประสาท (Neuron)
Axon
Synapse

Myelin sheath

ISAN-DSP GROUP
การทำงานของเซลล์ ประสาท

- เซลล์ประสาทประกอบด้วย ตัวเซลล์ (Soma) เส้นประสาทหลัก (Axon) และระบบ

กิ่งก้านสาขาของ Dendrites
- ที่ปลายของ Axon มีอวัยวะเรี ยกว่า Synapse ต่อกับ drendrites ของเซลล์ประสาท
เซลล์อื่น ทั้ง Axon และ Dendrites ใช้นำสัญญาณทางไฟฟ้ าระหว่างเซลล์ประสาท
- Axon มีความยาวมากกว่า Dendrites (Axon อาจยาวได้ถึง 1 เมตร) Axon
ยังมีฉนวนเรี ยกว่า Myelin sheath สำหรับทำให้นำสัญญาณได้ดีข้ ึนและกันสัญญาณ
รบกวนจากเซลล์ใกล้เคียง
Axon

Myelin sheath Soma

Dendrites
Synapse
ISAN-DSP GROUP
การทำงานของเซลล์ ประสาท (ต่ อ)
- โดยปกติตอนที่ Neuron ยังไม่ทำงาน ของเหลวภายในเซลล์จะมีความเข้มข้นของ K+
และ Organic ion มาก ส่ วนของเหลวภายนอกเซลล์จะมี Na+ และ Cl- มาก
- เมื่ออยูใ่ นภาวะสมดุลย์ความแตกต่างระหว่างความเข้มข้น ion ภายในและภายนอกเซลล์
ทำให้เกิดความต่างศักย์ไฟฟ้ าประมาณ -70 ถึง –100 mV เรี ยกว่า Resting potential

-70 mV
 +

Organic
ion
K  Cl
Na
Cl K

Na

ISAN-DSP GROUP
การทำงานของเซลล์ ประสาท (ต่ อ)
- สัญญาณทางไฟฟ้ าจากเซลล์ประสาทอื่นๆจะถูกส่ งผ่าน Axon และ Dendrites ไปยัง Soma
- ถ้าสัญญาณไฟฟ้ ารวมที่ส่งเข้ามาที่ Soma มากพอ จะเกิดการเปลี่ยนแปลงความเข้มข้นของ ion
ขึ้นภายในเซลล์ โดย Na+ จะไหลเข้าไปในเซลล์มากขึ้น ทำให้ความต่างศักย์ไฟฟ้ า Resting
potential ลดลง สัญญาณไฟฟ้ าทีเปลี่ยนแปลงนี้ เรี ยกว่า Action potential

สัญญาณภายนอก 30 mV
+ 
-70 mV
 +
+ +

Organic Organic
ion ion
Cl K  Cl
K
Na Na Cl K
Cl K

+ Na Na
+ เซลล์ส่งสัญญาณออกไป
ก่อนจะทำงาน เซลล์กำลังถูกกระตุน้
ISAN-DSP GROUP
การทำงานของเซลล์ ประสาท (ต่ อ)

- Action potential จะถูกส่ งไปยังเซลล์ใกล้เคียงที่ต่อกับเซลล์น้ ีอยู่

- หลังจากส่ งสัญญาณออกไป เซลล์จะไม่สามารถทำงานได้อยูพ่ กั หนึ่ง ต้องรอให้ ion

ภายในเซลล์ปรับเข้าสู่ สภาพสมดุลย์ก่อน ซึ่งจะใช้เวลาประมาณ 1 mSec

สรุ ป

เซลล์สมองแต่ละเซลล์มีฟังก์ชนั การทำงานอย่างง่าย โดยเซลล์จะรับสัญญาณไฟฟ้ า

จากเซลล์อื่นหลายๆเซลล์ เพื่อนำมากระตุน้ ให้เซลล์สญ
ั ญาณไฟฟ้ าส่ งให้เซลล์อื่นๆต่อไป

ISAN-DSP GROUP
โครงสร้ างของสมองมนษุ ย์ vs คอมพิวเตอร์

สมอง
-สมองประกอบด้วย Neuron จำนวนประมาณ 100,000 ล้านเซลล์

- เซลล์ Neuron แต่ละเซลล์มีการทำงานที่ไม่ซบั ซ้อน โดยสัญญาณที่ส่งออกมาจาก

แต่ละเซลล์จะเป็ นลูกคลื่นสัญญาณทางไฟฟ้ า

- ปกติ Neuron แต่ละเซลล์จะเชื่อมต่อกับ Neuron เซลล์อื่นประมาณ 10,000 เซลล์

บางเซลล์อาจมีจุดต่อมากกว่า 200,000 จุด

- สมองไม่มีความจำส่ วนกลาง แต่สมองจะเรี ยนรู ้และจดจำความจำระยะยาวโดยการ

ปรับโครงสร้างของสมองเป็ นหลัก (การจัดรู ปกิ่งก้านสาขาของเซลล์ประสาท)

- สมองจะเรี ยนรู ้ได้ตอ้ งมีการฝึ กหลายๆครั้งจนเกิดความชำนาญ

ISAN-DSP GROUP
Example of neurons
 The cultured retinal explants taken from chick embryos

From http://www.ams.sunysb.edu/research/pinezich/neuron_reconstruction/
ISAN-DSP GROUP
Example of neurons (continued)
 Neurons located in the cerebral cortex of the hamster.

From http://faculty.washington.edu/chudler/cellpyr.html
(Image courtesy of Dr. James Crandall, Eunice Kennedy Shriver Center)

ISAN-DSP GROUP
การทำงานของสมอง

Scientific skill

ISAN-DSP GROUP
โครงสร้ างของสมองมนษุ ย์ vs คอมพิวเตอร์

คอมพิวเตอร์
- หน่วยประมวลผลของคอมพิวเตอร์ (CPU) มีความซับซ้อนมาก มีความสามารถมาก
ในเครื่ องคอมพิวเตอร์แต่ละเครื่ อง มีจำนวน CPU ไม่มาก และการเชื่อมต่อระหว่าง
CPU ไม่ได้ซบ ั ซ้อน
- คอมพิวเตอร์มีหน่วยความจำส่ วนกลาง ใช้เก็บโปรแกรมและข้อมูล
- คอมพิวเตอร์ถูกโปรแกรมในลักษณะเป็ นชุดคำสัง่ ให้ปฏิบตั ิตามเป็ นลำดับที่แน่นอน

อะไรคือวิชาวงจรข่ ายนิวรอลเทียม
ศาสตร์วา่ ด้วยการคำนวณโดยอาศัยวงจรข่ายที่เลียนแบบการทำงานของระบบ
การทำงานของสมองของมนุษย์

ISAN-DSP GROUP
วงจรข่ ายนิวรอลเทียม Artificial Neural Networks

เลียนแบบการทำงานของสมองมนุษย์ โดยใช้หน่วยประมวลผลง่ายๆ จำนวนมาก

ต่อกันเป็ นโครงสร้างขึ้นมา

ISAN-DSP GROUP
ตัวอย่ างโครงสร้ างของวงจรข่ ายนิวรอลเทียม

Input nodes Output nodes

Hidden nodes
Connections
Output ของแต่ละโหนด
yi  f ( wi1 x1  wi2 x2  wi3 x3    wim xm )
 f (  wij x j )
j
Xi = input จากโหนดอื่นๆ Wij = น้ำหนัก (weight) ของแต่ละแขน (connection)

ISAN-DSP GROUP
วงจรข่ ายนิวรอลเทียม กับ คอมพิวเตอร์ ทวั่ ไป

- วงจรข่ายนิวรอลเน้นที่โครงสร้างเป็ นหลัก ใช้หน่วยประมวลผลง่ายๆจำนวนมากมาต่อกัน

ขณะที่คอมพิวเตอร์ทงั่ ไปใช้หน่วยประมวลผลความสามารถสูง แต่มีจำนวนไม่มาก
- การโปรแกรมของคอมพิวเตอร์โดยทัว่ ไป ใช้ชุดคำสัง่ เป็ นลำดับขั้นตอน แต่วงจรข่าย
นิวรอลจะเรี ยนรู ้โดยการฝึ กฝนจาก ชุดข้อมูลสำหรับฝึ กหัด (Training set)
- วงจรข่ายนิวรอลจดจำได้โดยการปรับค่า weight ของ connections ที่ทำให้
วงจรมีขอ้ ผิดพลาดจากการฝึ กหัด (training error) ต่ำที่สุด
- การปรับ weight จะค่อยๆปรับทีละน้อยในการฝึ กแต่ละครั้ง เมื่อฝึ กบ่อยๆ ค่า
ความผิดพลาดก็จะลดลงเรื่ อยๆ
- ปัจจุบนั โปรแกรมวงจรข่ายนิวรอลมักจะใช้การจำลองบนคอมพิวเตอร์แทนส่ วนที่
เป็ นวงจรเครื อข่ายอันสลับซับซ้อน โดยใช้ซอฟต์แวร์เป็ นหลัก ส่ วนฮาร์ดแวร์ที่เลียนแบบ
วงจรข่ายนิวรอลโดยตรงมีนอ้ ยมาก เนื่องจากความยากลำบากในการสร้าง

ISAN-DSP GROUP
วงจรข่ ายนิวรอลเทียมกับการใช้ งาน

วงจรข่ายนิวรอลเป็ นเครื่ องมือเอนกประสงค์ที่เหมาะจะใช้กบั งาน:

1. งานการจดจำรู ปแบบที่มีความไม่แน่นอน เช่น ลายมือ ลายเซนต์ ตัวอักษร รู ปหน้า
2. งานการประมาณค่าฟังก์ชนั หรื อการประมาณความสัมพันธ์ (มี inputs และ outputs
แต่ไม่ทราบว่า inputs กับ outputs มีความสัมพันธ์กนั อย่างไร)
3. งานที่สิ่งแวดล้อมเปลี่ยนแปลงอยูเ่ สมอ (วงจรข่ายนิวรอลสามารถปรับตัวเองได้)
4. งานจัดหมวดหมู่และแยกแยะสิ่ งของ
5. งานทำนาย เช่นพยากรณ์อากาศ พยากรณ์หุน้

ISAN-DSP GROUP
Neural Network Taxonomy

Decoding
Feedforward Feedback

Gradient Descent
Supervised

Least mean square

Backpropagation Recurrent Backpropagation
Reinforcement learning
Encoding

Vector Quantization RABAM

Unsupervised

Brownian annealing
Self-organizing maps Boltzmann learning
Competitive learning ABAM, ART-2, BAM
Counter-propagation Adaptive Resonance
ART-1, ART-2

ISAN-DSP GROUP
การเรี ยนร้ ู Learning

1. Supervised Learning การเรี ยนแบบมีการสอน

เป็ นการเรี ยนแบบที่มีการตรวจคำตอบเพื่อให้วงจรข่ายปรับตัว ชุดข้อมูลที่ใช้สอนวงจร
ข่ายจะมีคำตอบไว้คอยตรวจดูวา่ วงจรข่ายให้คำตอบที่ถูกหรื อไม่ ถ้าตอบไม่ถูก วงจรข่ายก็จะปรับ
ตัวเองเพื่อให้ได้คำตอบที่ดีข้ ึน (เปรี ยบเทียบกับคน เหมือนกับการสอนนักเรี ยนโดยมีครู ผสุ ้ อน
คอยแนะนำ)

2. Unsupervised Learning การเรี ยนแบบไม่มีการสอน

เป็ นการเรี ยนแบบไม่มีผแู ้ นะนำ ไม่มีการตรวจคำตอบว่าถูกหรื อผิด วงจรข่ายจะจัด
เรี ยงโครงสร้างด้วยตัวเองตามลักษณะของข้อมูล ผลลัพธ์ที่ได้ วงจรข่ายจะสามารถจัดหมวดหมู่
ของข้อมูลได้ (เปรี ยบเทียบกับคน เช่นการที่เราสามารถแยกแยะพันธุ์พืช พันธุ์สตั ว์ตามลักษณะ
รู ปร่ างของมันได้เองโดยไม่มีใครสอน)

ISAN-DSP GROUP
Network Architecture

Feedforward network
ข้อมูลที่ประมวลผลในวงจรข่ายจะถูกส่ งไปในทิศทางเดียวจาก Input nodes
ส่ งต่อมาเรื่ อยๆจนถึง output nodes โดยไม่มีการย้อนกลับของข้อมูล หรื อแม้แต่ Nodes
ใน layer เดียวกันก็ไม่มีการเชื่อมต่อกัน
Direction of data flow

Input nodes Output nodes

ISAN-DSP GROUP
Network Architecture (cont.)

Feedback network
ข้อมูลที่ประมวลผลในวงจรข่าย จะมีการป้ อนกลับเข้าไปยังวงจรข่ายหลายๆครั้ง
จนกระทัง่ ได้คำตอบออกมา (บางทีเรี ยกว่า Recurrent network)

Input nodes Output nodes

ISAN-DSP GROUP