Agents and Environments

Agents:  An  agent  is  embodied  (i.e.  situated)  in  an  environment  and makes it own decisions. It  perceives   the  environment  through  sensors  and  acts  on   the  environment  through actuators(effectors).

Structure of agents
A simple agent program can be defined mathematically as an agent function which maps every possible percepts sequence to a possible action the agent can perform or to a coefficient, feedback element, function or constant that affects eventual actions: Agent function is an abstract concept as it could incorporate various principles of decision making like calculation of utility of individual options, deduction over logic rules, fuzzy logic,etc. The program agent, instead, maps every possible percept to an action. We use the term percept to refer to the agent's perceptional inputs at any given instant. In the following figures an agent is anything that can be viewed as perceiving its environment through sensors and acting upon that environment through actuators.

Classes of intelligent agents
Agents are grouped into five classes based on their degree of perceived intelligence and capability: 1. simple reflex agents 2. model­based reflex agents 3. goal­based agents 4. utility­based agents 5. learning agents

 The agent function is based on the condition­action rule: if condition then action.e.some processing is done on the visual input to establish the condition we call “The car in front is braking”; then this triggers some established connection in the agent program to the action “initiate braking”. it may be possible to escape from infinite loops. . ignoring the rest of the percept history.Simple reflex agents Simple reflex agents act only on the basis of the current percept. This knowledge about "how the world works" is called a model of the world. A model­based reflex agent should maintain some sort of internal model that depends on the percept history and thereby reflects at least some of the unobserved aspects of the current state. then the driver should notice this and initiate braking. For example. we can summarize portions of the table by noting certain commonly occurring input/output associations. Its current state is stored inside the agent maintaining some kind of structure which describes the part of the world which cannot be seen. hence the name "model­based agent". It then chooses an action in the same way as the reflex agent. if the car in front brakes. Infinite loops are often unavoidable for simple reflex agents operating in partially observable environments. In other words. However. This agent function only succeeds when the environment is fully observable. Note: If the agent can randomize its actions. and its brake lights come on. We call such a connection a condition–action rule i.if car­in­front­is­braking then initiate­braking Model­based reflex agents A model­based agent can handle a partially observable environment. Some reflex agents can also contain information on their current state which allows them to disregard conditions whose actuators are already triggered.

 Goal information describes situations that are desirable.Goal­based agents Goal­based agents further expand on the capabilities of the model­based agents. The right decision depends on where the taxi is trying to get to. The agent program can combine this with information about the results of possible actions (the same information as was used to update internal state in the reflex agent) in order to choose actions that achieve the goal. right. selecting the one which reaches a goal state.the agent needs some sort of goal information. at a road junction. or go straight on. by using "goal" information. This allows the agent a way to choose among multiple possibilities. which describes situations that are desirable—description. In some instances the goal­based agent appears to be efficient; it is more flexible because the knowledge that supports its decisions is represented explicitly and can be modified. Search and planning are the subfields of artificial intelligence devoted to finding action sequences that achieve the agent's goals. the taxi can turn left. In other words.for example. For example. as well as a current state description. . being at the passenger’s destination.

 safer. The term utility. A rational utility­based agent chooses the action that maximizes the expected utility of the action outcomes­ that is. given the probabilities and utilities of each outcome. A more general performance measure should allow a comparison of different world states according to exactly how happy they would make the agent. Goals just provide a crude distinction between “happy” and “unhappy” states. reasoning. or cheaper than others. thereby achieving the goal. This measure can be obtained through the use of a utility function which maps a state to a measure of the utility of the state. . whereas a more general performance measure should allow a comparison of different world states (or sequences of states) according to exactly how happy they would make the agent if they could be achieved. A utility­based agent has to model and keep track of its environment. and learning. on average. Because “happy” does not sound. the agent expects to derive. Goals alone are not really enough to generate high­quality behavior.Utility­based agents Goal­based agents only distinguish between goal states and non­goal states. tasks that have involved a great deal of research on perception. but some are quicker. there are many action sequences that will get the taxi to its destination. can be used to describe how "happy" the agent is. representation. more reliable. For example. It is possible to define a measure of how desirable a particular state is.

 and the "performance element". The performance element is what we have previously considered to be the entire agent: it takes in percepts and decides on actions. which is responsible for selecting external actions. which is responsible for making improvements. The most important distinction is between the "learning element". The learning element uses feedback from the "critic" on how the agent is doing and determines how the performance element should be modified to do better in the future.Learning agents Learning has an advantage that it allows the agents to initially operate in unknown environments and to become more competent than its initial knowledge alone might allow. It is responsible for suggesting actions that will lead to new and informative experiences. . The last component of the learning agent is the "problem generator".

 If the environment does not change with the passage of time but the agent’s performance score does. Discrete vs. Environment                        Accessible   Deterministic   Episodic    Static    Discrete Chess with a clock                   Yes                Yes                No         Semi        Yes Chess without a clock              Yes                Yes                No          Yes         Yes Poker                                         No                 No                  No          Yes         Yes Backgammon                           Yes                No                  No          Yes         Yes Taxi driving                                No                 No                  No           No           No Medical diagnosis system        No                 No                  No           No           No Image­analysis system            Yes               Yes                 Yes        Semi         No Part­picking robot                     No                  No                  Yes         No            No Refinery controller                    No                  No                  No           No            No Interactive English tutor            No                  No                  No          No           Yes . In principle. however. An accessible environment is convenient because the agent need not maintain any internal state to keep track of the world. then we say the environment is dynamic for that agent; otherwise it is static. then we say the environment is deterministic. Episodic vs.  Examples of environments and their characteristics. If the environment is inaccessible. nonepisodic: In an episodic environment. inaccessible: If an agent’s sensory apparatus gives it access to the complete state of the environment. deterministic environment. Taxi driving is continuous—the speed and location of the taxi and the other vehicles sweep through a range of continuous values.Environments: Environments come in several flavors. because subsequent episodes do not depend on what actions occur in previous episodes. then we say the environment is semi dynamic. continuous: If there are a limited number of distinct. making it hard to keep track of all the inaccessible aspects. then it may appear to be nondeterministic. it is often better to think of an environment as deterministic or nondeterministic from the point of view of the agent. Static vs. Deterministic vs. Chess is discrete—there are a fixed number of possible moves on each turn. clearly defined percepts and actions we say that the environment is discrete. dynamic: If the environment can change while an agent is deliberating. an agent need not worry about uncertainty in an accessible.” Each episode consists of the agent perceiving and then acting. The principal distinctions to be made are as follows: Accessible vs.then we say that the environment is accessible to that agent. Episodic environments are much simpler because the agent does not need to think ahead. nondeterministic: If the next state of the environment is completely determined by the current state and the actions selected by the agents. Static environments are easy to deal with because the agent need not keep looking at the world while it is deciding on an action. Thus. The quality of its action depends just on the episode itself. nor need it worry about the passage of time. This is particularly true if the environment is complex. the agent’s experience is divided into “episodes. An environment is effectively accessible if the sensors detect all aspects that are relevant to the choice of action.

Sign up to vote on this title
UsefulNot useful