Chương 2: CÁC AGENT THÔNG MINH

2.1. Agents và môi trường

2.1.1 Môi trường
a. Khái niệm:
Môi trường là mọi thứ trên thế giới bao quanh tác nhân, nhưng bản thân nó
không phải là một phần của tác nhân. Một môi trường có thể được mô tả như
một tình huống mà một tác tử hiện diện.
Môi trường là nơi agent sống, hoạt động và cung cấp cho agent một cái gì
đó để cảm nhận và hành động theo nó.
b. Các thuộc tính của môi trường:
Môi trường có nhiều thuộc tính:

1. Fully observable vs Partially Observable: có thể quan sát hoàn toàn và

có thể quan sát được một phần
2. Static vs Dynamic: tĩnh và động
3. Discrete vs Continuous: rời rác và liên tục
4. Deterministic vs Non-deterministic: xác định và không xác định
5. Single-agent vs Multi-agent: đơn tác tửvà đa tác nhân
6. Episodic vs Non-episodic: theo tập và không theo tập
7. Accessible vs Inaccessible: có thể truy cập và không thể truy cập.

2.1.2 Agent
a. Thế nào là agents.
Agent (tác nhân) là tất cả những gì có thể nhận thức về môi trường của nó
thông qua bộ cảm nhận (sensor) và đưa ra hành động tác động đến môi trường
qua bộ tác động (actuator).
 Một toán tử luôn đòi hỏi một lượng trí thông minh nhất định để thực hiện
các nhiệm vụ của mình
Do đó, trên đề cập đến tác tử thông minh

Ở cấp độ cao nhất, ba loại tác tử chính có thể được phân biệt: tác tửcon
người, tác tửphần cứng và tác tửphần mềm
Ví dụ, một đại lý du lịch của con người, robot, taxi tự động
Agent có 3 loại:
- Human agent (agent con người): Agent con người sử dụng Mắt, Mũi,
Lưỡi và các cơ quan cảm giác khác làm cảm biến để cảm nhận thông tin từ môi
trường và sử dụng chân tay và đường thanh âm làm cơ quan truyền động để
thực hiện một hành động dựa trên thông tin
 - Robotic agent (agent người máy): Robotics Agent sử dụng máy ảnh và
radar hồng ngoại làm cảm biến để ghi lại thông tin từ Môi trường và nó sử dụng
động cơ phản xạ làm bộ truyền động để đưa đầu ra trở lại môi trường.
- Software agent (agent phần mềm): Tác tửphần mềm sử dụng các thao tác
trên bàn phím, lệnh âm thanh làm cảm biến đầu vào và màn hình hiển thị làm
thiết bị truyền động.
b. Phân loại agent:
- Simple Reflex Agents: Agent phản ứng đơn giản.
- Model Based Reflex Agents: Agent phản xạ dựa trên model
- Goal Based Agents: Agent dựa trên mục tiêu.
- Utility Based Agents: Agent dựa trên tính tiện ích.
2.2. Các agent hợp lý
Đối với mỗi trình tự nhận thức có thể, một tác tửhợp lý nên chọn một
hành động (sử dụng hàm tác nhân) dự kiến sẽ tối đa hóa số đo hiệu suất
của nó, đưa ra bằng chứng được cung cấp bởi trình tự nhận thức và bất kỳ
kiến thức tích hợp nào trước đó mà tác tửcó.
Một chuỗi nhận thức là lịch sử đầy đủ của bất cứ điều gì mà tác tửđã từng
cảm nhận.
Một thước đo hiệu suất là một phương tiện để tính toán mức độ hiệu quả
của tác tửdựa trên trình tự nhận thức mà nó đã nhận được.
Kiến thức trước đây của một đại lý về môi trường là kiến thức mà nhà
thiết kế đại lý đã cung cấp cho đại lý trước khi giới thiệu về môi trường.
Tác tử hợp lí thứ nhất
Tác tử cần phấn đấu để làm đúng việc cần làm ,dựa trên những gì nó nhận
thức (nhận biết) được và dựa trên các hành động mà nó có thể thực hiện
Một hành động đúng (hợp lí) là hành động giúp cho tác tử đạt được thành
công cao nhất đối với mục tiêu đặt ra
Đánh giá hiệu quả hoạt động : là tiêu chuẩn để đánh giá mức độ thành công
hoạt động của một tác tử
 Tác tử hợp lí thứ hai
Với mỗi chuỗi nhận thức có được, một tác tử hợp lí cần phải lựa chọn một
hành động giúp cực đại hoá tiêu chí đánh giá hiệu quả hoạt động của tác tử đó
Dựa trên các thông tin được cung cấp vởi chuỗi nhận thức và các tri thức
được sở hữu bởi tác tử đó
Tác tử hợp lí thứ ba
Sự hợp lí khác sự thông suốt mọi thứ. Sự thông suốt mọi thứ nghĩa là biết
tất cả mọi thứ , với tri thức vô hạn. Vì các nhận thức có thể không cung cấp tất
cả các thông tin liên quan.
Các tác tử có thể thực hiện các hành động nhằm thay đổi các nhận thức
trong tương lai, với mục đích thu được các thông tin hữu ích (ví dụ: thu thập
thông tin, khám phá tri thức).
Tác tử tự trị (autonomous agent) là một tác tử mà các hành động của nó
được quyết định vởi chính kinh nghiệm của tác tử đó ( cùng với khả năng học
và thích nghi).
2.3. Thiết lập độ đo, môi trường
2.3.1. Thiệt lập độ đo
Độ đo thực hiện làm tiêu chuẩn cho thành công của hành vi của một agen..
- Khi một agent được thả vào một môi trường, nó phải tạo ra chuỗi tác
động phù hợp với các nhận thức mà nó tiếp nhận
- Không có một độ đo chung cho mọi agent
- Cần có độ đo khách quan đặt ra cho mọi người thiết kế mỗi agent (với
agent hút bụi có thể đo bằng số bụi hút được hoặc diện tích sạch)
- Cần thiết kế độ đo phù hợp với môi trường muốn có hơn là phù hợp với
agent
- Lựa chọn độ đo là vấn đề khó

2.3.2. Các yếu tố

Khi thiết kế, xây dựng một tác tử, phải xem xét 4 yếu tố:
- Performance measure: hàm đo hiệu năng
- Enviroment: môi trường
- Actuator: bộ kích hoạt
- Sensor: cảm biến

Để thiết kế một tát tử thông minh (hợp lý) trước tiên cần phải xác định
(thiết lập) các giá trị của các thành phần của PEAS
Các tính chất của môi trường liên quan đến hệ thống sensor và lựa chọn
thuật toán cho agent
- Quan sát đầy đủ vs Quan sát một phần: chơi cờ vua vs chơi bài
- Ngẫu nhiên vs Xác định: lái xe tự động vs điều khiển máy hút bụi
- Rời rạc vs Liên tục: chơi cờ vs lái xe tự động
- Đơn tác tử vs Đa tác tử: chuẩn đoán y học vs chơi game trực tuyến
- Phối hợp vs Cạnh tranh: lái xe tự động vs chơi bài
- Tất nhiên tính chất của môi trường cũng quyết định và quyết định bởi
các sensor của agent

PEAS: Đo lường hiệu suất, Môi trường, Bộ truyền động, Cảm biến trước
tiên phải chỉ định cài đặt cho thiết kế tác nhân thông minh .Hãy xem xét, ví
dụ, nhiệm vụ thiết kế một tài xế taxi tự động:
- Thước đo hiệu suất: Chuyến đi an toàn, nhanh chóng, hợp pháp, thoải
mái, tối đa hóa lợi nhuận
- Môi trường: Đường xá, giao thông khác, người đi bộ, khách hàng
 - Thiết bị truyền động: Vô lăng, gia tốc, phanh, tín hiệu, còi
- Cảm biến: Máy ảnh, sonar, đồng hồ tốc độ, GPS, công tơ mét, cảm biến
động cơ, bàn phím
- Đại lý: Robot chọn một phần
- Thước đo hiệu suất: Tỷ lệ phần trăm các bộ phận trong thùng chính xác
- Môi trường: Băng tải với các bộ phận, thùng
- Bộ truyền động: Cánh tay và bàn tay nối
- Cảm biến: Camera, cảm biến góc khớp
Đại lý: Gia sư tiếng Anh tương tác
Thước đo hiệu suất: Tối đa hóa điểm số của học sinh trong bài kiểm tra
Môi trường: Tập hợp học sinh
Bộ truyền động: Hiển thị màn hình (bài tập, đề xuất, chỉnh sửa)
Cảm biến: Bàn phím

2.4. Các loại môi trường

2.4.1. Môi trường có thể quan sát đầy đủ và quan sát một phần

- Khi một cảm biến tác tử có khả năng cảm nhận hoặc truy cập trạng thái
hoàn chỉnh của tác tử tại mỗi thời điểm, nó được coi là một môi trường
 có thể quan sát được hoàn toàn ngược lại nó có thể quan sát được một
phần.
- Duy trì một môi trường có thể quan sát đầy đủ là dễ dàng vì không cần
phải theo dõi lịch sử của xung quanh.
- Một tác tử không có cảm biến trong tất cả các môi trường thì một môi
trường như vậy được gọi là không thể quan sát được.
- Thí dụ:
+ Cờ vua - bàn cờ hoàn toàn có thể quan sát được, nước đi của đối thủ
cũng vậy
+ Lái xe - môi trường có thể quan sát được một phần bởi vì những gì
xung quanh góc không được biết

2.4.2. Môi trường xác định và môi trường ngẫu nhiên

- Nếu trạng thái hiện tại của tác tử và hành động được chọn hoàn toàn có
thể xác định trạng thái tiếp theo của môi trường, thì môi trường đó
được gọi là môi trường xác định.
- Môi trường ngẫu nhiên có bản chất ngẫu nhiên và không thể được xác
định hoàn toàn bởi một tác nhân.
- Trong một môi trường xác định, có thể quan sát đầy đủ, agent không
cần phải lo lắng về sự không chắc chắn.
- Ví dụ:
+ Cờ vua - sẽ chỉ có một số nước đi khả thi cho một đồng xu ở trạng
thái hiện tại và những nước đi này có thể được xác định
+ Ô tô tự lái - các hoạt động của ô tô tự lái không phải là duy nhất, nó
thay đổi theo thời gian
2.4.3. Môi trường Episodic và Sequential:
- Trong môi trường Episodic, có một loạt các hành động một lần và chỉ
yêu cầu nhận thức hiện tại cho hành động đó.
 - Tuy nhiên, trong môi trường Sequential, một tác tửyêu cầu bộ nhớ về
các hành động trong quá khứ để xác định các hành động tốt nhất tiếp
theo.
- Trong một môi trường episodic, hiệu suất của một tác nhân phụ thuộc vào
một số tập rời rạc, không có liên kết giữa hiệu suất của một tác nhân
trong các tình huống khác nhau
- Môi trường episodic đơn giản hơn từ quan điểm của nhà phát triển tác
nhân bởi vì tác nhân có thể quyết định hành động nào chỉ thực hiện dựa
trên tập hiện tại - nó không cần lý do về sự tương tác giữa tập này và các
tập trong tương lai

2.4.4. Môi trường tác tử đơn lẻ và môi trường đa tác nhân

- Nếu chỉ có một tác tử tham gia vào một môi trường và tự hoạt động
thì môi trường như vậy được gọi là môi trường tác tử đơn lẻ.
- Tuy nhiên, nếu nhiều tác tửcùng hoạt động trong một môi trường, thì
một môi trường như vậy được gọi là môi trường đa tác nhân.
- Các vấn đề thiết kế tác tử trong môi trường đa tác tử khác với môi
trường tác tửđơn lẻ.
- Ví dụ:
+ Đơn tác nhân: Một người bị bỏ lại một mình trong mê cung là một ví
dụ về hệ thống tác tử đơn lẻ.
+ Đa tác nhân: Trò chơi bóng đá có nhiều tác tử vì nó liên quan đến 10
cầu thủ trong mỗi đội.
2.4.5. Môi trường tĩnh và môi trường động
- Nếu môi trường có thể tự thay đổi trong khi tác tử đang cố ý thì môi
trường đó được gọi là môi trường động, còn môi trường khác nó được
gọi là môi trường tĩnh.
- Môi trường tĩnh rất dễ đối phó vì một tác tử không cần tiếp tục nhìn ra
thế giới trong khi quyết định hành động.
 - Tuy nhiên, đối với môi trường động, các đại lý cần phải tiếp tục nhìn ra
thế giới trong mỗi hành động.
- Ví dụ:
Môi trường động:
- Lái xe taxi
- Một chuyến đi tàu lượn rất năng động vì nó được thiết lập trong
chuyển động và môi trường luôn thay đổi trong từng khoảnh
khắc.
Môi trường tĩnh:
- Câu đố ô chữ là một ví dụ về môi trường tĩnh.
- Một ngôi nhà trống là tĩnh vì không có thay đổi xung quanh khi
tác tửxâm nhập.

2.4.6. Môi trường rời rạc và môi trường liên tục

- Nếu một môi trường bao gồm một số lượng hữu hạn các hành động có
thể được cân nhắc trong môi trường để thu được kết quả đầu ra, nó
được cho là một môi trường rời rạc.
- Trò chơi cờ vua là rời rạc vì nó chỉ có một số nước đi hữu hạn. Số
lượng nước đi có thể thay đổi theo mỗi trận đấu, nhưng vẫn là hữu hạn.
- Môi trường mà các hành động được thực hiện không thể được đánh số
tức là. không rời rạc, được cho là liên tục.
- Ô tô tự lái là một ví dụ về môi trường liên tục vì các hành động của
chúng là lái xe, đỗ xe, v.v. mà không thể đánh số được.

2.4.7. Môi trường đã biết và môi trường không xác định

- Đã biết và chưa biết thực ra không phải là một đặc điểm của môi
trường, nhưng nó là trạng thái kiến thức của tác tửđể thực hiện một
hành động.
 - Trong một môi trường đã biết, tác tửđã biết kết quả của tất cả các hành
động. Khi ở trong môi trường không xác định, tác tửcần học cách hoạt
động để thực hiện một hành động.
- Rất có thể một môi trường đã biết có thể quan sát được một phần và
một môi trường không xác định có thể quan sát được hoàn toàn.
2.4.8. Môi trường có thể truy cập và môi trường không thể truy cập
- Nếu một tác tửcó thể có được thông tin đầy đủ và chính xác về môi
trường của trạng thái, thì một môi trường như vậy được gọi là môi
trường Có thể truy cập còn môi trường khác được gọi là không thể truy
cập.
- Một căn phòng trống mà trạng thái của nó có thể được xác định bằng
nhiệt độ của nó là một ví dụ về một môi trường dễ tiếp cận.
- Thông tin về một sự kiện trên trái đất là một ví dụ về Môi trường
không thể tiếp cận.

2.5. Các loại tác tử phản xạ (agent) trong ai:

Giải thích nghĩa trong ảnh:
- Actuators:Phần của tác tử ra lệnh cho các phần khác của máy để hoạt
động
- Condition-action rules: Những quy định những quy tắc hành động điều
kiện
- Precepts: Các quy tắc của môi trường
2.5.1. Tác tử phản xạ đơn giản (Simple Reflex agent):

- Là loại đơn giản nhất, hoạt động trên nhận thức hiện tại và bỏ qua phần
còn lại của lịch sử nhận thức. Agent hoạt động trên quy tắc hành động
có điều kiện(ánh xạ trạng thái hiện tại để hoạt đông).VD: chất tẩy rửa
chỉ hoạt động đúng ứng dụng nó phải thực hiện khi có bẩn
 - Loại agent này chỉ thành công trong môi trường nhận thức đầy đủ
- Các vấn đề với việc sử dụng tác tử phản xạ đơn giản:
+ Có trí thông minh hạn chế
+ Không có kiến thức về các phần không nhận thức của trạng thái hiện
tại
+ Quá lớn để tạo thành và lưu trữ
+ Không thích nghi với các thay đổi trong môi trường
Sơ đồ hoạt động của agent:

2.5.2. Tác tử phản xạ dự trên mô hình (Model-based reflex agent):

- Loại này có thể làm việc trong môi trường có thể quan sát được 1 phần
và theo dõi tình hình
- Có 2 yếu tố quan trọng:
+ Mô hình: kiến thức về “cách mọi thứ xảy ra trên thế giới”
+ Trạng thái nội bộ: một đại diện của trạng thái hiện tại dựa trên lịch
sử nhận thức
- Những tác tử này có mô hình (“kiến thức về thế giới”) và dựa trên mô
hình họ hành động.
 - Cập nhật tráng thái của tác tử yêu cầu thông tin về:
+ Cách môi trường thay đổi
+ Hành động của agent ảnh hưởng gì đến môi trường

2.5.3. Tác tử dựa trên mục tiêu (Goal-based agents):

- Kiến thức về trạng thái của môi trường không luôn đủ để quyết định
tác tử phải làm gì
- Tác tử cần biết mục tiêu của nó, cái có thể được miêu tả là tình huốn
mong muốn
- Loại này chọn hành động để đoạt được mục tiêu
- Loại tác tử này có thể phải xem xét một chuỗi dài các hành động có thể
làm trước khi quyết định rằng mục tiêu có đạt được hay không. Việc
cân nhắc những kịch bản như vậy được gọi là tìm kiếm và lập kế hoạch
điều này làm tác tử chủ động hơn
2.5.4. Tác tử dựa trên tiện ích (Utility-based agents):
- Giống như tác tử dựa trên mục tiêu nhưng có thêm thành phân đo
lường tiện ích giúp tạo nên sự khác biệt bằng cách cung cấp sự đo
lường sự thành công của trạng thái cho trước
- Loại tác tử này hoạt động không chỉ dựa trên mục tiêu mà còn dựa vào
cách tốt nhất để đạt được mục tiêu
- Loại tác tử này hữu ích khí có nhiều hành động có thể đạt được mục
tiêu hiệu quả mà tác tử phải chọn điểu thực hiện hành động hiệu quả
nhất
- Thành phần ứng dụng ánh xạ từng trạng thái thành 1 con số thực để
kiểm tra tính hiệu quả của các hành động đạt được mục đích
2.5.5. Tác tử học hỏi (Learning Agents):
- Là loại tác tử có thể học hỏi từ trải ngiệm trong quá khứ hoặc có khả
năng học hỏi tác tử loại này bắt đầu hành động với kiến thức cơ bản
sau đó có thể hành động và thích nghi tự động thông qua học hỏi
- Tác tử loại này có 4 thành phần khái niêm:
+ Yếu tố học tập: chị trách nhiệm cho việc nâng cấp thông qua học hỏi
về môi trường
+ Phê bình: yếu tố học tập nhận trả lời từ phê bình, cái miêu tả tác tử
làm tốt thế nào với tiêu chuẩn hiệu suất cố định
+ Yếu tố hiệu suất: chịu trách nhiệm cho việc chọn các hành động bên
ngoài
+ Trình tạo vấn đề: chịu trách nhiệm cho việc đề xuất những hành
động sẽ dẫn đến những trãi nghiệm mới và nhiều thông tin
- Tóm lại, tác tử loại này có thể học hỏi, phân tích hiệu suất làm việc và
tìm các nâng cao hiệu suât làm việc

Tài liệu tham khảo:

- https://www.tutorialspoint.com/artificial_intelligence/artificial_intellige
nce_agents_and_environments.htm
- https://www.javatpoint.com/types-of-ai-agents
- [AI] BÀI 4: Tác tửvà môi trường (Agent and Environment)
(vuphanblog.blogspot.com)
- AGENT THÔNG MINH - VNECOTEC
- AI - Agents & Environments - Tutorialspoint
- Agent Environment in AI - Javatpoint
- https://huuvinhfit.files.wordpress.com/2015/01/chuong-2-tac-tu.pdf
- https://www.slideshare.net/TrangNguyen273/chuong-1-42081165
- https://txnam.net/wp-content/uploads/txnam/Bai%20Giang/Tri%20Tue
%20Nhan%20Tao%20K58/AI-K58%20-%2003.pdf
- https://users.soict.hust.edu.vn/huonglt/AI/C2.tactu.pdf

- https://www.javatpoint.com/agent-environment-in-ai#:~:text=An
%20environment%20can%20be%20described,said%20to%20be
%20non%2Dfeministic.

- https://www.tutorialspoint.com/artificial_intelligence/artificial_intellige
nce_agents_and_environments.htm

- https://www.geeksforgeeks.org/types-of-environments-in-
ai/#:~:text=An%20environment%20in%20artificial
%20intelligence,Fully%20Observable%20vs%20Partially
%20Observable