MỤC LỤC

I: MẠNG NƠRON..............................................................................................................3 I.1 Giới Thiệu Mạng Nơron..........................................................................................3 I.1.1 Lịch sử phát triển ..............................................................................................3 I.1.2 Căn nguyên sinh học.........................................................................................4 I.1.3 Đơn vị xử lý......................................................................................................6 I.1.4 Hàm xử lý ........................................................................................................7 I.1.5 Ứng dụng.......................................................................................................12 I.2 Mạng Norn Một Lớp ..........................................................................................12 I.3 Mạng Noron Nhiều Lớp (Multi-layer Neural Network)......................................13 II: MẠNG NƠRON MỜ:..................................................................................................13 III: GIẢI THUẬT DI TRUYỀN........................................................................................16 1: Các toán tử của giải thật di truyền.............................................................................17 1.1 Chọn lọc ................................................................................................17 1.2 Lai ghép.............................................................................................................18 1.3 Đột biến......................................................................................................20 1.4 Hàm thích nghi...........................................................................................21 2: Xét trong mối quan hệ giữa mạng nơron và giải thuật di truyền..............................22 2.1 Cross-over (Lai ghép)..........................................................................................23 2.2 Mutation (Đột biến)............................................................................................24 2.3 Fitness function (Hàm thích nghi).......................................................................24 2.4 Selection (chọn lọc)............................................................................................26 3: Chiến lược điều chỉnh mờ tự động............................................................................26 IV: KẾT LUẬN.................................................................................................................27

Đề tài: Tối ưu hoá cấu trúc của mạng nơron mờ bằng giải thuật di truyền

BÁO CÁO NGHIÊN CỨU KHOA HỌC
Tên đề tài: TỐI ƯU HOÁ CẤU TRÚC CỦA MẠNG NƠRON MỜ BẰNG GIẢI THUẬT DI TRUYỀN

MỞ ĐẦU
Lý do chọn đề tài: Gần đây suy diễn mờ được ứng dụng trong rất nhiều các vấn đề khác nhau như: điều khiển máy móc hay trong các hệ thống sản xuất. Một trong những suy diễn mờ đó là mạng nơron mờ. Có lẽ mạng noron không chỉ hấp dẫn đối với những người yêu thích công nghệ thông tin bởi khả năng do con người huấn luyện, mà còn bởi những ứng dụng thực tiễn trong cuộc sống của nó. Chúng ta hoàn toàn có thể nhận dạng dấu vết vân tay của tội phạm trong hình sự, có thể dự đoán thị trường chứng khoán, dự đoán thời tiết, dự toán chi phí cho một dự án đường cao tốc, khôi phục những tấm ảnh, hay một chiếc xe lăn dành cho người khuyết tật có thể nhận được mệnh lệnh điều khiển bằng cử chỉ, hành động, thậm chí là suy nghĩ của người ngồi trên xe v.v… nhờ có mạng noron nhân tạo. Mạng nơron ban đầu có cấu trúc thô, vấn đề quan trọng là chúng ta phải làm sao cho cấu trúc thô đó trở thành cấu trúc tương đối thích hợp. Do đó vấn đề tối ưu hoá cấu trúc của mạng nơron là rất cần thiết. Một trong những giải thuật dùng để tối ưu hoá cấu trúc của mạng nơron là giải thuật di truyền và giải thuật di truyền được xem là thích hợp nhất.

Sinh viên: Trần Thị Thu Hoài_K54C_CNTT

2

3 Sinh viên: Trần Thị Thu Hoài_K54C_CNTT . đầu thế kỷ 20. Ông cũng nêu ra một phương pháp học của các nơron nhân tạo. Tuy nhiên nó có hạn chế là chỉ có thể giải quyết một số lớp hữu hạn các bài toán. * Cùng thời gian đó. sự phát triển chủ yếu chỉ là các công việc có sự tham gia của cả ba ngành Vật lý học. Ivan Pavlov. Mạng này có khả năng nhận dạng các mẫu. bởi các nhà khoa học như Hermann von Hemholtz.1. …và không hề đưa ra những mô hình toán học cụ thể mô tả hoạt động của các nơron.1 Lịch sử phát triển Sự phát triển của mạng nơron trải qua cả quá trình đưa ra các khái niệm mới lẫn thực thi các khái niệm này. Điều này mở ra rất nhiều hy vọng cho việc nghiên cứu mạng nơron. NHÌN (vision) và LẬP LUẬN (conditioning). ông đã phát biểu rằng việc thuyết lập luận cổ điển (classical conditioning) (như Pavlov đưa ra) là hiện thực bởi do các thuộc tính của từng nơron riêng biệt. * Ứng dụng thực nghiệm đầu tiên của các nơron nhân tạo có được vào cuối những năm 50 cùng với phát minh của mạng nhận thức (perceptron network) và luật học tương ứng bởi Frank Rosenblatt. * Mọi chuyện thực sự bắt đầu vào những năm 1940 với công trình của Warren McCulloch và Walter Pitts. Họ chỉ ra rằng về nguyên tắc. * Cuối thế kỷ 19. mạng có cấu trúc và chức năng tương tự như mạng của Rosenblatt. Dưới đây là các mốc đáng chú ý trong lịch sử phát triển của mạng nơron. Tâm lý học và Thần kinh học. Các công trình nghiên cứu của họ chủ yếu đi sâu vào các lý thuyết tổng quát về HỌC (learning).Đề tài: Tối ưu hoá cấu trúc của mạng nơron mờ bằng giải thuật di truyền I: MẠNG NƠRON I. Ernst Mach. mạng của các nơron nhân tạo có thể tính toán bất kỳ một hàm số học hay logic nào.1 Giới Thiệu Mạng Nơron I. Luật học Widrow-Hoff vẫn còn được sử dụng cho đến nay. * Tiếp theo đó là Donald Hebb. Bernard Widrow và Ted Hoff đã đưa ra một thuật toán học mới và sử dụng nó để huấn luyện cho các mạng nơron tuyến tính thích nghi.

đó là các mạng nhận thức chỉ có khả năng giải quyết các bài toán khả phân tuyến tính. * Do những kết quả của Minsky-Papert nên việc nghiên cứu về mạng nơron gần như bị đình lại trong suốt một thập kỷ do nguyên nhân là không có được các máy tính đủ mạnh để có thể thực nghiệm. James McCelland. * Mặc dù vậy.1. + Sự ra đời của thuật toán lan truyền ngược (backpropagation) để luyện các mạng nhiều lớp được một vài nhà nghiên cứu độc lập tìm ra như: David Rumelhart.Đề tài: Tối ưu hoá cấu trúc của mạng nơron mờ bằng giải thuật di truyền * Tuy nhiên cả Rosenblatt và Widrow-Hoff đều cùng vấp phải một vấn đề do Marvin Minsky và Seymour Papert phát hiện ra. * Vào những năm 80. Dưới con mắt của những người làm tin học. I. việc nghiên cứu mạng nơron phát triển rất mạnh mẽ cùng với sự ra đời của PC. Họ cố gắng cải tiến luật học và mạng để có thể vượt qua được hạn chế này nhưng họ đã không thành công trong việc cải tiến luật học để có thể huấn luyện được các mạng có cấu trúc phức tạp hơn. đó là: + Việc sử dụng các phương pháp thống kê để giải thích hoạt động của một lớp các mạng hồi quy (recurrent network) có thể được dùng như bộ nhớ liên hợp (associative memory) trong công trình của nhà vật lý học Johh Hopfield. một nơron được cấu tạo bởi các thành phần: tế bào hình cây (dendrite).…Đó cũng là câu trả lời cho Minsky-Papert. Năm 1972 Teuvo Kohonen và James Anderson độc lập nhau phát triển một loại mạng mới có thể hoạt động như một bộ nhớ. Stephen Grossberg cũng rất tích cực trong việc khảo sát các mạng tự tổ chức (Self organizing network). cũng có vài phát kiến quan trọng vào những năm 70. Có hai khái niệm mới liên quan tới sự hồi sinh này. tế bào thân (cell body) và sợi trục thần kinh Sinh viên: Trần Thị Thu Hoài_K54C_CNTT 4 .2 Căn nguyên sinh học Bộ não con người chứa khoảng 1011 các phần tử liên kết chặt chẽ với nhau (khoảng 104 liên kết đối với mỗi phần tử) gọi là các nơron.

Mặc dù vậy có hai sự tương quan cơ bản giữa mạng nơron nhân tạo và sinh học. Thứ nhất. cấu trúc khối tạo thành chúng đều là các thiết bị tính toán đơn giản (mạng nơron nhân tạo đơn giản hơn nhiều) được liên kết chặt chẽ với nhau. Một vài nơron có sẵn từ khi sinh ra. tế bào thân sẽ thực hiện gộp (sum) và phân ngưỡng (threshold) các tín hiệu đến. Mạng nơron nhân tạo không tiếp cận đến sự phức tạp của bộ não. Sợi trục thần kinh làm nhiệm vụ đưa tín hiệu từ tế bào thân ra ngoài.Đề tài: Tối ưu hoá cấu trúc của mạng nơron mờ bằng giải thuật di truyền (axon). Điểm tiếp xúc giữa một sợi trục thần kinh của nơron này và tế bào hình cây của một nơron khác được gọi là khớp thần kinh (synapse). Mạng nơron nhân tạo cũng chia sẻ đặc điểm này. các mạng nơron chủ yếu được thực nghiệm trên các máy tính số. các phần khác được phát triển thông qua việc học. Mặc dù hiện nay. sự sắp xếp của các nơron và mức độ mạnh yếu của các khớp thần kinh được quyết định bởi các quá trình hoá học phức tạp. Các thay đổi sau này có khuynh hướng bao gồm chủ yếu là việc làm tăng hay giảm độ mạnh của các mối liên kết thông qua các khớp thần kinh. Tế bào hình cây có nhiệm vụ mang các tín hiệu điện tới tế bào thân. Đó một phần là do cấu trúc song song của mạng nơron sinh học: toàn bộ các nơron hoạt động một cách đồng thời tại một thời điểm. Cấu trúc của mạng nơron luôn luôn phát triển và thay đổi. Thứ hai. các liên kết giữa các nơron quyết định chức năng của mạng. Cần chú ý rằng mặc dù mạng nơron sinh học hoạt động rất chậm so với các linh kiện điện tử (10-3 so với 10-9 giây) nhưng bộ não có khả năng thực hiện nhiều công việc nhanh hơn nhiều so với các máy tính thông thường. ở đó có sự thiết lập các liên kết mới và loại bỏ các liên kết cũ. sẽ thiết lập chức năng của mạng nơron. nhưng cấu trúc song song của chúng khiến chúng ta có thể thấy cấu trúc phù hợp nhất là thực nghiệm chúng trên các vi Sinh viên: Trần Thị Thu Hoài_K54C_CNTT 5 .

* Môi trường hệ thống có thể hoạt động I. * Một đơn vị điều chỉnh (độ lệch) (bias. là các mô hình phân bố song song (parallel-distributed models) có các đặc trưng phân biệt sau: * Tập các đơn vị xử lý. các thiết bị quang và các bộ xử lý song song. Xét tổng quát.Đề tài: Tối ưu hoá cấu trúc của mạng nơron mờ bằng giải thuật di truyền mạch tích hợp lớn (VLSI: very large scale integrated circuit). offset) của mỗi đơn vị.learning rule). Mạng nơron đôi khi được xem như là các mô hình liên kết (connectionist models).3 Đơn vị xử lý Một đơn vị xử lí (Hình 1) cũng được gọi là một nơron hay một nút (node).1. hay hàm chuyển (activation function. thực hiện một công việc rất đơn giản: nó nhận tín hiệu vào từ các đơn vị phía trước hay một nguồn bên ngoài và sử dụng chúng để tính tín hiệu ra sẽ được lan truyền sang các đơn vị khác Sinh viên: Trần Thị Thu Hoài_K54C_CNTT 6 . * Liên kết giữa các đơn vị. xác định mức độ kích hoạt khác dựa trên mức độ kích hoạt hiện tại. * Phương pháp thu thập thông tin (luật học. * Trạng thái kích hoạt hay là đầu ra của đơn vị xử lý. * Một luật lan truyền quyết định cách tính tín hiệu ra của từng đơn vị đầu vào của nó. mỗi liên kết được định nghĩa bởi một trọng số wjk cho ta biết hiệu ứng mà tín hiệu của đơn vị j có trên đơn vị k. * Một hàm kích hoạt. transfer function).

…xn. Trong một mạng nơron có ba kiểu đơn vị: * Các đơn vị đầu vào (input units). I. Hàm thực hiện nhiệm vụ này gọi là hàm kết hợp (combination Sinh viên: Trần Thị Thu Hoài_K54C_CNTT 7 .Đề tài: Tối ưu hoá cấu trúc của mạng nơron mờ bằng giải thuật di truyền Trong đó: xi : các đầu vào wji : các trọng số tương ứng với các đầu vào θj : độ lệch (bias) aj : đầu vào mạng (net-input) zj : đầu ra của nơron g(x) : hàm chuyển (hàm kích hoạt). hoặc đầu ra của một đơn vị khác.4 Hàm xử lý • Hàm kết hợp Mỗi một đơn vị trong một mạng kết hợp các giá trị đưa vào nó thông qua các liên kết với các đơn vị khác. nhận tín hiệu từ bên ngoài. Mỗi đơn vị j có thể có một hoặc nhiều đầu vào: x 0. nhưng chỉ có một đầu ra zj. * Các đơn vị ẩn (hidden units). gửi dữ liệu ra bên ngoài. Một đầu vào tới một đơn vị có thể là dữ liệu từ bên ngoài mạng. hoặc là đầu ra của chính nó. sinh ra một giá trị gọi là net-input. * Cá đơn vị đầu ra (output units). x2. x1. tín hiệu vào (input) và ra (output) của nó nằm trong mạng.1.

giá trị kích hoạt được đưa vào một hay nhiều đơn vị khác. được định nghĩa bởi một luật lan truyền cụ thể. kết quả của hàm này là một giá trị gọi là mức độ kích hoạt của đơn vị (unit’s activation). Chúng ta gọi các đơn vị với luật lan truyền như trên là các sigma units. chúng ta giả sử rằng mỗi một đơn vị cung cấp một bộ cộng như là đầu vào cho đơn vị mà nó có liên kết. Loại trừ khả năng đơn vị đó thuộc lớp ra. nơron được coi là đang ở trong trạng thái kích thích. Các hàm kích hoạt hay được sử dụng là: + Hàm đồng nhất (Linear function. Đối với một đơn vị đầu ra tuyến tính. Tương tự. thông thường θj được chọn là hằng số và trong bài toán xấp xỉ đa thức θj =1 • Hàm kích hoạt (hàm chuyển) Phần lớn các đơn vị trong mạng nơron chuyển net-input bằng cách sử dụng một hàm vô hướng (scalar-to-scalar function) gọi là hàm kích hoạt. do đó thường được gọi là các hàm bẹp (squashing). Các hàm kích hoạt thường bị ép vào một khoảng giá trị xác định. Trong phần lớn các mạng nơron. Một trong số đó là luật sigma-pi. Trong một vài trường hợp người ta cũng có thể sử dụng các luật lan truyền phức tạp hơn. Tổng đầu vào đơn vị j đơn giản chỉ là tổng trọng số của các đầu ra riêng lẻ từ các đơn vị kết nối cộng thêm ngưỡng hay độ lệch θj aj = ∑w i =1 n ji i x +θ j Trường hợp wji > 0. nơron ở trạng thái kiềm chế.Đề tài: Tối ưu hoá cấu trúc của mạng nơron mờ bằng giải thuật di truyền function). Identity function) g(x) = x Sinh viên: Trần Thị Thu Hoài_K54C_CNTT 8 . nếu như wji < 0. có dạng như sau: aj = ∑ w ji xi i =1 n ∏x k =1 m ik +θ j Rất nhiều hàm kết hợp sử dụng một “độ lệch” hay “ngưỡng” để tính net-input tới đơn vị.

hard limit function) Hàm này cũng được biết đến với tên “hàm ngưỡng”. Trong hình vẽ sau. θ được chọn bằng 1. Sinh viên: Trần Thị Thu Hoài_K54C_CNTT 9 . Đầu ra của hàm này được giới hạn vào một trong hai giá trị: 1 nếu (x ≥ 0) g(x) = 0 nếu (x ≤ 0) Dạng hàm này được sử dụng trong các mạng chỉ có một lớp. Đôi khi một hằng số được nhân với net-input để tạo ra một hàm đồng nhất + Hàm bước nhị phân (binary step function.Đề tài: Tối ưu hoá cấu trúc của mạng nơron mờ bằng giải thuật di truyền Nếu coi các đầu vào là một đơn vị thì chúng sẽ sử dụng hàm này.

do đó có thể giảm đáng kể tính toán trong quá trình huấn luyện. Hàm này được ứng dụng trong các chương trình ứng dụng mà các đầu ra mong muốn rơi vào khoảng [0.1].1]. Sinh viên: Trần Thị Thu Hoài_K54C_CNTT 10 . + Hàm sigmoid lưỡng cực (Bipolar sigmoid function (tansig)) 1 − e− x g ( x) = 1 + e− x Hàm này có các thuộc tính tương tự hàm sigmoid. Nó làm việc tốt đối với các ứng dụng có đầu ra yêu cầu trong khoảng [-1.Đề tài: Tối ưu hoá cấu trúc của mạng nơron mờ bằng giải thuật di truyền + Hàm sigmoid (Sigmoid function (logsig)) g ( x) = 1 1 + e− x Hàm này đặc biệt thuận lợi khi sử dụng cho các mạng được huấn luyện (trained) bởi thuật toán lan truyền ngược (back-propagation) bởi vì nó dễ lấy đạo hàm.

các hàm chuyển cần được chọn sao cho phù hợp với sự phân phối của các giá trị đích mong muốn.Đề tài: Tối ưu hoá cấu trúc của mạng nơron mờ bằng giải thuật di truyền Các hàm chuyển của các đơn vị ẩn (hidden units) là cần thiết để biểu diễn sự phi tuyến vào trong mạng. Tuy nhiên đối với luật học lan truyền ngược. hàm phải khả vi và sẽ có ích nếu như hàm được gắn trong một khoảng nào đó. Sinh viên: Trần Thị Thu Hoài_K54C_CNTT 11 . Nhưng nếu các giá trị đích không được biết trước khoảng xác định thì hàm hay được sử dụng nhất là hàm đồng nhất. đối với các giá trị đích mong muốn là liên tục trong khoảng đó thì hàm này cũng vẫn có ích. Nếu giá trị mong muốn là dương nhưng không biết cận trên thì nên sử dụng một hàm kích hoạt dạng mũ (exponential output activation function). Lý do là hợp thành của các hàm đồng nhất là một hàm đồng nhất. nó có thể cho ta các giá trị ra hay giá trị đích được căn trong một khoảng của hàm kích hoạt đầu ra. Đối với các đơn vị đầu ra (output units). Chúng ta đã thấy rằng đối với các giá trị ra trong khoảng [0. Mặc dù vậy nhưng nó mang tính chất phi tuyến (nghĩa là khả năng biểu diễn các hàm phi tuyến) làm cho các mạng nhiều tầng có khả năng rất tốt trong biểu diễn các ánh xạ phi tuyến. Do vậy hàm sigmoid là lựa chọn thông dụng nhất.1]. hàm sigmoid là có ích.

… • Electronics: Dự đoán mã tuần tự. các hiệu ứng đặc biệt. mô hình phi tuyến. tính tiền của thẻ tín dụng. dự báo tỉ lệ tiền tệ. Dưới đây là một số lĩnh vực ứng dụng chính của mạng nơron: • Aerospace: Phi công tự động.2 Mạng Norn Một Lớp • Mạng Perceptron • Mạng Hopfield Sinh viên: Trần Thị Thu Hoài_K54C_CNTT 12 .Đề tài: Tối ưu hoá cấu trúc của mạng nơron mờ bằng giải thuật di truyền I.5 Ứng dụng Trong quá trình phát triển. các bộ cảm biến thế hệ mới. giả lập đường bay. • Financial: Định giá bất động sản.1. • Banking: Bộ đọc séc và các tài liệu. xử lí ảnh radar. chương trình thương mại qua giấy tờ. • Defense: Định vị. phân tích đường tín dụng. phân tích nguyên nhân hỏng chip. • Entertaiment: Hoạt hình. các bộ phân tích hoạt động của xe. phát hiện đối tượng. • Automotive: Các hệ thống dẫn đường tự động cho ô tô. nhận dạng tiếng nói. phân tích tài chính liên doanh. mạng nơron đã được ứng dụng thành công trong rất nhiều lĩnh vực. dò mục tiêu.phát hiện vũ khí. • … I. bộ phát hiện lỗi. dự báo thị trường. nhận dạng nét mặt. cho vay. sơ đồ chip IC. tối ưu hoá sản phẩm. kiểm tra tài sản cầm cố. • Insurance: Đánh giá việc áp dụng chính sách. điều khiển tiến trình. các hệ thống điều khiển lái máy bay. đánh giá mức độ hợp tác.

tín hiệu ra hay trọng số là những số mờ. các hệ logic mờ sẽ đưa vào mạng nơron cơ chế suy diễn dựa trên các luật “if…then”.. * Mạng nơron như một công cụ suy diễn Nói mạng nơron như một công cụ suy diễn vì: mạng nơron có khả năng suy diễn. một lớp ra. một hoặc nhiều lớp ẩn • Mạng noron nhiều lớp lan truyền ngược sai số(Back. chính sự kết hợp phong phú này cho phép xây dựng các hệ thống tích hợp: Hệ mờ nơron. Mặt khác.Đề tài: Tối ưu hoá cấu trúc của mạng nơron mờ bằng giải thuật di truyền • Mạng Kiểu Bộ Nhớ Hai Chiều Kết Hợp Thích Nghi (Adaptive Bidirectional Associative) • Mạng Kohonen • … I..propagation Neural Network) Mạng noron nhiều lớp ngược hướng (Counter – propagation Neural Network) … II: MẠNG NƠRON MỜ: Việc tích hợp kỹ thuật mạng nơron và logic mờ cho phép kết hợp ưu điểm của cả hai. Cũng có trường hợp mạng nơron mờ với tất cả các yếu tố. Trong mạng nơron mờ có thể là tín hiệu vào.3 Mạng Noron Nhiều Lớp (Multi-layer Neural Network) Mạng nơron có từ 2 lớp trở lên được gọi là mạng nơron nhiều lớp. Mạng nơron nhiều lớp bao gồm một lớp vào. Với mỗi tín hiệu vào thì mạng nơron sẽ cho một đầu ra tương ứng * Suy diễn mờ dựa trên mạng nơron: • Biểu diễn luật mờ: Sinh viên: Trần Thị Thu Hoài_K54C_CNTT 13 . mạng nơron mờ và các hệ lai. Một mặt. mạng nơron cung cấp cấu trúc tính toán dựa trên liên kết (dung thứ lỗi và các tính chất biểu diễn phân tán) và khả năng học cho các hệ logic mờ.

….Đề tài: Tối ưu hoá cấu trúc của mạng nơron mờ bằng giải thuật di truyền Keller (1992) đề xuất mô hình mạng nơron truyền thẳng nhiều lớp biểu diễn các luật suy diễn cơ sở: If X1 = A1 then Y = B a11' Lớp vào a1m1' an1' anmn' w11 Lớp kiểm tra từng mệnh đề d1 w1m1 wn1 wnm dn 1-t Kết hợp các mệnh đề u1 uk Lớp ra b1' bk' Mạng noron biểu diễn một luật mờ Giả sử véc tơ độ thuộc của Ai là {ai1. aimi}. I = 1… n. Có hai cách xác định trọng số: Sinh viên: Trần Thị Thu Hoài_K54C_CNTT 14 .

aij ) aij ' } Hoặc di = max{min(1. dj = max{| aij = aij ' |} Các hệ số ai xác định trọng số của mệnh đề X = Ai trong luật (ai có thể được người thiết kế cung cấp hoặc đọc từ dữ liệu) Ta thấy t = max {aidi}.aimi’}là véc tơ vào tương ứng với mệnh đề X= Ai’ Cách 2 : w ij = aij .aij .…. • Suy diễn mờ: Mô hình suy diễn mờ dựa trên mạng nơron do Takagi và Hayaki đề nghị là một biến thể của cơ chế suy diễn mờ của Takagi-Sugeno-Kang bao gồm các bước như sau: + Lựa chọn biến vào ra trong tệp mẫu học. Ngược lại. j = 1.…. nghĩa là hệ đưa ra kết luận: Y = “không biết”. Ta xác định di như là di = max{(1. bk}. …. Giả sử B tương ứng với tập mờ có độ thuộc {b1. khi tổng bất cập giữa thông tin vào với các mệnh đề bằng 1 thì bi’ = 1 đối với mọi i. Sinh viên: Trần Thị Thu Hoài_K54C_CNTT 15 .…. Khi đó lớp ẩn đầu tiên đo sự bất cập giữa thông tin vào với Ai. An) thì bi’= bi) với mọi i nghĩa là Y=B. p (*) Từ (*) dễ dàng thấy t=0 (tức là bộ đầu vào (A1’.….aij ). a 'ij } Ở đây Ai’ = {ai1’. + Chia tập mẫu học thành hai phần: phần huấn luyện và phần kiểm tra.Đề tài: Tối ưu hoá cấu trúc của mạng nơron mờ bằng giải thuật di truyền Cách 1: w ij = 1 . An’) ta có kết quả: µ B ( y j ). Khi đó trọng số ui được xác định bởi ui = 1. An’) trùng với (A1.bi. Cuối cùng với bộ đầu vào (A1’. Khi đó.

nghĩa là mục tiêu của thuật giải di truyền không nhằm đưa ra lời giải chính xác tối ưu mà là đưa ra lời giải tương đối tối ưu. bằng cách xét trước nhất một số lời giải. III: GIẢI THUẬT DI TRUYỀN Giải thuật di truyền (Genetic Algorithsm. Giải thuật di truyền xét đến toàn bộ các lời giải. Lý thuyết này do Johm Henry Holland (Giáo sư của trường đại học Michigan. Thuật giải di truyền là một hướng tiếp cận tính toán gần đúng.GA) là kĩ thuật giúp giải quyết bài toán bằng cách mô phỏng theo sự tiến hoá của con người hay của sinh vật nói chung (Dựa trên thuyết tiến hoá con người của Darwin) trong điều kiện môi trường sống luôn thay đổi. Huấn luyện mạng NNmemb tương ứng với phần IF của luật mờ. Thuật giải di truyền về bản chất là thuật toán tìm kiếm dựa theo quy luật của quá trình tiến hoá tự nhiên. thế kỉ XX. Giải thuật kết hợp sự sống sót của cấu trúc khoẻ nhất trong số các cấu trúc biểu diễn các nhiễm sắc thể với một sự trao đổi thông tin được lựa chọn ngẫu nhiên để tạo thành một thuật toán tìm kiếm.Đề tài: Tối ưu hoá cấu trúc của mạng nơron mờ bằng giải thuật di truyền + Xây dựng mạng NNmemb để biểu thị hàm phụ thuộc cho phần IF của các luật. Giải thuật di truyền giải quyết được vấn đề trên máy tính nhờ vào chương trình tin học để thực hiện những ý tưởng nêu trên. sau đó loại bỏ một số thành phần không thích hợp Sinh viên: Trần Thị Thu Hoài_K54C_CNTT 16 . + Đơn giản phần THEN của các luật theo phương pháp loại bỏ ngược. Giải thuật di truyền nằm trong lĩnh vực tính toán tiến hoá. sử dụng các biểu diễn nhị phân và các sơ đồ để mô hình hoá sự chọn lọc.Mỹ) đề xướng vào giữa thập niên 70. Không giống như phương pháp giải tích dựa trên các công thức toán học hay phương pháp suy luận dựa trên kinh nghiệm của các chuyên gia chỉ để ý tới một số có giới hạn các lời giải. + Xác định kết quả ra và diễn giải mờ. lai ghép và đột biến.

Tổng giá trị của hàm mục tiêu là 50 như bảng sau: STT 1 2 3 4 Chuỗi nhiễm sắc thể 01110 11000 00100 10010 Hàm mục tiêu 8 15 2 5 % của total 16 30 4 10 total 8 23 25 30 17 Sinh viên: Trần Thị Thu Hoài_K54C_CNTT . tổng độ thích nghi của toàn quần thể là Fm. * Tạo một số ngẫu nhiên F trong đoạn từ 0 đến Fm * Chọn cá thể k đầu tiên thoả mãn F tk-1 ≤ F ≤ Ftk đưa vào quần thể của thế hệ mới. tổng dồn thứ i là Fti. gọi độ thích nghi của cá thể thứ I là Fi. Ví dụ: Giả sử quần thể ban đầu là 6 chuỗi nhiễm sắc thể. Giả sử quần thể có n cá thể. Quá trình này được mô tả như sau: * Tính độ thích nghi của từng cá thể trong quần thể hiện hành. lập bảng cộng dồn các giá trị thích nghi (theo số thứ tự gán cho từng cá thể). Độ thích nghi là một hàm gán một giá trị thực cho các cá thể trong quần thể.Đề tài: Tối ưu hoá cấu trúc của mạng nơron mờ bằng giải thuật di truyền và chọn những thành phần thích nghi hơn để chọn lọc và biến hoá nhằm mục đích tạo ra nhiều lời giải mới có hệ số thích nghi ngày càng cao 1: Các toán tử của giải thật di truyền Giải thuật di truyền sử dụng ba toán tử sau đây: • Chọn lọc • Lai ghép • Đột biến 1.1 Chọn lọc Chọn lọc là quá trình trong đó các cá thể được sao chép trên cơ sở độ thích nghi của nó.

việc chọn lọc một nhiếm sắc thể đầu tiên với giá trị hàm mục tiêu lớn hơn hay bằng số ngẫu nhiên. ta kết hợp các nhiễm sắc thể được chọn một cách ngẫu nhiên lại. chọn nhiễm sắc thể đó để lai ghép Sau đó. Toán tử tác động trên các cá thể cha mẹ để tạo ra những con lai tốt được gọi là lai ghép.2 Lai ghép Toán tử chọn lọc nhằm tìm ra những cá thể tồn tại tốt nhất nhưng nó không tạo ra những cá thể mới. chúng ta có thể phát sinh một số ngẫu • Sinh viên: Trần Thị Thu Hoài_K54C_CNTT 18 . Chúng được áp dụng lên cặp cha mẹ được chọn lựa với xác suất lai ghép pcross. các con sẽ thừa hưởng những đặc tính tốt từ cả cha lẫn mẹ chúng. 50). Bảy số ngẫu nhiên được tạo cùng các chuỗi được chọn thể hiện như bảng sau: Số ngẫu nhiên Chuỗi nhiễm sắc thể 26 4 2 1 49 6 15 2 40 5 36 5 9 2 Ví dụ trên chứng tỏ rằng chuỗi nào có giá trị hàm mục tiêu cao sẽ có nhiều con cháu hơn trong thế hệ sau. Mỗi cặp nhiễm sắc thể. trong tự nhiên. Xác suất này cho ta số lượng p cross* popsize (popsize kích thước của quần thể được lai tạo) nhiễm sắc thể được lai ghép. 1. với mỗi số.Đề tài: Tối ưu hoá cấu trúc của mạng nơron mờ bằng giải thuật di truyền 5 6 01100 00010 12 8 24 16 42 50 Sau đó ta sẽ tạo các số ngẫu nhiên trong khoảng (0.1] Nếu r < pcross. Khi một chuỗi đã được chọn cho quá trình tái tạo thì sẽ được đưa vào để lai ghép nhằm tạo ra những chuỗi mới. Với mỗi nhiễm sắc thể trong quần thể: • Phát sinh một số ngẫu nhiên r trong miền [0. Tuy vậy.

Đề tài: Tối ưu hoá cấu trúc của mạng nơron mờ bằng giải thuật di truyền nhiên pos từ miền [1.L] (L là tổng số bít trong nhiễm sắc thể). chúng ta sẽ có: (A) 100| 1101 (B) 000| 0110 Ví dụ 2 Trước khi lai ghép 1001101 Sinh viên: Trần Thị Thu Hoài_K54C_CNTT 19 000| 1101 (B’) 100| 0110 (A’) . Các ví dụ dưới đây thể hiện các hình thức của lai ghép: Ví dụ 1 Trước khi lai ghép 1001101 0000110 Sau khi lai ghép tại vị trí giữa số thứ tự 4 và 5. Số pos này sẽ cho ta vị trí của điểm lai ghép. mỗi chuỗi đều được thừa hưởng những đặc tính lấy ra từ cha và mẹ của chúng. nó sẽ được thay thế bởi cặp con cháu (a1 a2 …apos bpos+1…bL) và (b1 b2 …bpos apos+1…aL) Như vậy toán tử này sau khi được thực hiện sẽ cho ra hai chuỗi mới. Chọn lọc cá thể và lai ghép cho phép giải thuật di truyền sử dụng những thông tin đã có để tìm kiếm trực tiếp trên những vùng tốt hơn. Ví dụ ta có 2 nhiễm sắc thể: (a1 a2 …aposapos+1…aL) và (b1 b2 …bposbpos+1…bL) Sau khi được lai ghép.

Đề tài: Tối ưu hoá cấu trúc của mạng nơron mờ bằng giải thuật di truyền 0000110 Sau khi lai ghép tại vị trí giữa số thứ tự 3 và 4. mỗi cá thể được biểu thị qua L bít/gen). • Sinh viên: Trần Thị Thu Hoài_K54C_CNTT 20 . Mỗi bít có cơ hội đột biến là như nhau. Số lượng bít đột biến là pmu*L*popsize bít. Theo kết quả nghiên cứu của Kenneth De Jong thì tỉ lệ lai ghép trung bình là 0. Các thao tác xử lý này được áp dụng lặp lại cho tới khi các cá thể con. phần còn lại 0. Đột biến được áp dụng với xác suất pmu. Nếu r < pmu.3 Đột biến Là việc thay đổi trị số của một số trong dãy số. cháu của chúng tăng trưởng tới kích cỡ mong muốn của quần thể. Ví dụ 1: 100111 sẽ được đột biến thành 100110. So với lai ghép. trong khi đó đột biến tạo ra những tin tức hoàn toàn mới.6 trong khi tỉ lệ đột biến là 0. cho trường hợp dùng dãy số theo hệ nhị phân. tiến hành đột biến tại bít đó.1]. toán tử này rất ít xảy ra.399 là chọn lọc Lai ghép dùng lại những tin tức có sẵn trong các thành phần của thế hệ trước và truyền lại cho thế hệ sau.001. trong đó số 1 ở hàng cuối (tính từ trái) đã được đổi thành 0. Các toán tử đột biến nhằm tạo ra những thông tin mới trong quần thể đem lai tạo tại các vị trí bít (gen) nào đó (quần thể mà ta xem xét ở đây có popsize cá thể. Toán tử này có thể được xử lý như sau: Với mỗi nhiễm sắc thể trong quần thể và mỗi bít trong nhiễm sắc thể : • Phát sinh một số ngẫu nhiên r trong miền [0. thí dụ 0 thành 1 hoặc 1 thành 0. chúng ta sẽ có: (A) (B) 1001| 101 0000| 110 0000| 101 (B’’) 1001| 110 (A’’) 1.

Nói chung Cmax khác nhau tuỳ thuộc vào giá trị các biến của quần thể Nếu hàm mục tiêu gốc tăng hoặc đang xét bài toán cực đại hoá một hàm u(x) nào đó.Đề tài: Tối ưu hoá cấu trúc của mạng nơron mờ bằng giải thuật di truyền Ví dụ 2: 110110 sẽ được biến đổi thành 111110. có thể lấy Cmax là giá trị lớn nhất của g(x) trong quần thể hiện tại hoặc có thể là giá trị lớn nhất sau k vòng lặp. việc chuyển từ hàm đánh giá sang hàm thích nghi để sử dụng với giải thuật di truyền như sau: Cmax – g(x) khi g(x) < Cmax f(x) = 0 trong các trường hợp khác Ở đây.4. Ví dụ. 1. ta có thể chuyển sang hàm thích nghi như sau: Cmin + u(x) khi u(x) < Cmin f(x) = 0 trong các trường hợp khác 21 Sinh viên: Trần Thị Thu Hoài_K54C_CNTT . Cmax là một tham số đầu vào.4 Hàm thích nghi I. do đó cần phải xây dựng ánh xạ hàm mục tiêu đang xét trong bài toán sang hàm thích nghi thông qua một hoặc nhiều lần ánh xạ.1 Ánh xạ giá trị hàm mục tiêu sang giá trị thích nghi Vì hàm thích nghi phải nhận giá trị không âm. Nếu bài toán tối ưu là cực tiểu một hàm đánh giá g(x). trong đó số 0 ở vị trí thứ 3 (tính từ trái) đã được đổi thành 1.

Gọi f là độ thích nghi gốc. chọn lọc và hàm thích nghi được áp dụng một cách cụ thể Một cá thể bao gồm các thông tin: các hàm thuộc hình tam giác và các giá trị thực. Điều này đặc biệt quan trọng cho một vài vòng lặp đầu tiên. tuy nhiên điều chỉnh tuyến tính là hay gặp nhất. Có nhiều kiểu điều chỉnh khác nhau.4. hệ số a. Cmult là số các bản sao cần thiết đối với một thành viên tốt nhất. đột biến. có thể là trị tuyệt đối của u(x) bé nhất trong quần thể hiện tại hoặc trong k vòng lặp cuối cùng hoặc là một hàm của biến quần thể.2 Điều chỉnh độ thích nghi Một vấn quan trọng là điều chỉnh số con cháu. Sinh viên: Trần Thị Thu Hoài_K54C_CNTT 22 . C min là tham số đầu vào. I. khi một vài cá thể “siêu” có tiềm năng chiếm lĩnh phần lớn quần thể và làm cho hội tụ sớm. b được xác định sao cho: f’avg = favg Và f’max = Cmult*favg Ở đây. Điều chỉnh độ thích nghi có thể giúp giải quyết vấn đề này.Đề tài: Tối ưu hoá cấu trúc của mạng nơron mờ bằng giải thuật di truyền Ở đây. Với lượng biến tương đối nhỏ (n = 50 đến 100) 2: Xét trong mối quan hệ giữa mạng nơron và giải thuật di truyền Các toán tử lai ghép. f’ là độ thích nghi đã được biến đổi. Độ thích nghi theo điều chỉnh tuyến tính được xác định theo quy tắc: f’ = a*f + b Trong đó.

điểm lai ghép cũng được lựa chọn giữa các giá trị để xây dựng nên vị trí đỉnh của Sinh viên: Trần Thị Thu Hoài_K54C_CNTT 23 . Cách thức làm việc của toán tử này thể hiện trong hình 4. mẹ) trong một mẫu được lựa chọn bất kỳ. Sử dụng các chuỗi lựa chọn này.1 Cross-over (Lai ghép) Toán tử lai ghép nghĩa là thay đổi vị trí đỉnh của hàm thành viên thô.Đề tài: Tối ưu hoá cấu trúc của mạng nơron mờ bằng giải thuật di truyền 2. Có hai chuỗi (cha.

với xác suất Pm. tương ứng với quá trình điều chỉnh thô. (2) Các giá trị ở bên phải của chuỗi được kế thừa từ chuỗi (B) và các giá trị bên cạnh được kế thừa từ chuỗi (A).Đề tài: Tối ưu hoá cấu trúc của mạng nơron mờ bằng giải thuật di truyền hàm thành viên. được thể hiện trong hình 5. chúng phải trải qua toán tử lai tạo ra 4 kiểu. (3) Cũng giống như cách thức trên. Các giá trị thứ hai và thứ ba trong thao tác mã hoá được thừa kế mà không thay đổi. Kết quả có thể kế thừa thông tin di truyền ở mức cao hơn từ hai cha mẹ bởi toán tử lai ghép. các giá trị bên trái của chuỗi được kế thừa từ chuỗi (A). Chúng ta có thể mong rằng để làm giảm bớt số luật mờ và thu được cấu trúc nhỏ nhất của mô hình mờ bởi thao tác này. trong đó mỗi giá trị là bản sao của tổng các giá trị của chuỗi. Như đã thể hiện ở hình 4. Các thao tác này nhằn đưa ra một cấu trúc thích hợp của mô hình mờ. các kết quả. (4) các giá trị bên trái của chuỗi được kế thừa từ chuỗi (B). đỉnh của hàm thành viên được thay đổi đối với mỗi kết quả. một chuỗi mới được sinh ra bằng các thao tác lai ghép và đột biến.3 Fitness function (Hàm thích nghi) Sinh viên: Trần Thị Thu Hoài_K54C_CNTT 24 . chúng trải qua toán tử đột biến. trong đó mỗi giá trị là bản sao bởi tổng các giá trị của một chuỗi. Theo cách này. Cấu trúc được thay đổi giữa mỗi chuỗi dựa trên điểm lai. Toán tử đột biến trong này có nghĩa là hàm thành viên lựa chọn được cắt bớt. (1) các giá trị ở bên phải của chuỗi được kế thừa từ một chuỗi (A) và các giá trị bên cạnh được kế thừa từ một chuỗi khác (B).2 Mutation (Đột biến) Toán tử đột biến xuất hiện đối với các chuỗi. 2. 2.

N là số hàm thành viên. A là hằng số. E là tổng bình phương lỗi giữa giá trị ra của mô hình mờ và giá trị mong muốn. si là chuỗi thứ i. Hàm thích nghi này bao gồm số các hàm thành viên và tổng bình phương lỗi giữa giá trị ra của mô hình mờ và giá trị mong muốn. Sinh viên: Trần Thị Thu Hoài_K54C_CNTT 25 . Chúng ta xác định hàm F này như sau: F(si) = E + A*N Trong đó.Đề tài: Tối ưu hoá cấu trúc của mạng nơron mờ bằng giải thuật di truyền Chúng ta đặt hàm thích nghi để đánh giá mỗi chuỗi liệu có mong muốn được hay không. Chúng ta xác định được rằng chuỗi nào có độ thích nghi nhỏ hơn hay lớn hơn.

Phép chọn lọc này.” 3: Chiến lược điều chỉnh mờ tự động Thuật toán điều chỉnh để thu được mô hình mờ tối ưu. Chúng ta chấp nhận duy trì chiến lược là các chuỗi có độ thích nghi cao tồn tại trong thế hệ kế tiếp và chiến lược lấy mẫu rằng các chuỗi được lựa chọn tồn tại một cách ngẫu nhiên trong thế hệ kế tiếp. Các chuỗi trải qua các phép toán di truyền nhiều có độ thích nghi cao.4 Selection (chọn lọc) Dựa vào giá trị thích nghi. chúng thay đổi mẫu của các chuỗi. thực hiện “sự tiến hoá. hơn nữa chúng sẽ tiếp tục tồn tại trong thế hệ kế tiếp bằng phép chọn lọc. Thuật toán di truyền xác định cấu trúc của mô hình mờ thô và số luật Sinh viên: Trần Thị Thu Hoài_K54C_CNTT 26 . Thủ tục này được thể hiện ở hình 6 (1) Thế hệ khởi tạo có một vài chuỗi trong đó mỗi chuỗi bao gồm một tham số để xây dựng mô hình mờ được sinh ra một cách ngẫu nhiên (2) Các toán tử đột biến và lai ghép thực hiện việc tạo các chuỗi mới.Đề tài: Tối ưu hoá cấu trúc của mạng nơron mờ bằng giải thuật di truyền 2. mỗi chuỗi được lựa chọn hay không ở thế hệ kế tiếp.

các hàm thành viên và các giá trị thực trong mỗi chuỗi được ăn khớp với luật delta [8]. nói cách khác là quay trở lại toán tử di truyền(2). mỗi chuỗi trải qua thao tác lựa chọn. (6) Nếu chúng ta thu được chuỗi mục tiêu hoặc tìm kiếm đạt đến thế hệ giới hạn. IV: KẾT LUẬN Đề tài: Tối ưu hoá cấu trúc của mạng nơron là một đề tài khó và đang trong quá trình tiếp tục được nghiên cứu. Mong được sự đóng góp của thầy cô và các bạn để đề tài được hoàn thiện Sinh viên: Trần Thị Thu Hoài_K54C_CNTT 27 . Chúng ta xác định được chuỗi mục tiêu khi độ thích nghi của chuỗi đó hội tụ trong lỗi đích. Các toán tử này phù hợp với quá trình điều chỉnh thô.Đề tài: Tối ưu hoá cấu trúc của mạng nơron mờ bằng giải thuật di truyền mờ nhỏ nhất. chúng thay đổi mẫu của chuỗi và thực hiện “sự tiến hoá”. như đã đề cập trước đó (3) Sử dụng các chuỗi trải qua các toán tử di truyền. Luật delta xác định cấu trúc mô hình mờ tốt. sự tìm kiếm là quá rộng.Thao tác này phù hợp với quá trình điều chỉnh thô (4) Mỗi chuỗi được đánh giá trên cơ sở một hàm thích nghi để đạt được biện pháp định hướng (5) Dựa trên giá trị thích nghi.

Sign up to vote on this title
UsefulNot useful