Fundamentals

Multiagent Systems

with NetLogo Examples

Jos´e M Vidal

March 19, 2009

Fundamentals of Multiagent Systems

by Jos´e M. VidalCopyrightc



Contents

Preface7

0.1 Usage. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70.2 Acknowledgments. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8

1 Multiagent Problem Formulation9

1.1 Utility. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91.1.1 Utility is Not Money. . . . . . . . . . . . . . . . . . . . . . . 101.1.2 Expected Utility. . . . . . . . . . . . . . . . . . . . . . . . . 111.2 Markov Decision Processes. . . . . . . . . . . . . . . . . . . . . . . . 121.2.1 Multiagent Markov Decision Processes. . . . . . . . . . . . . 141.2.2 Partially Observable MDPs. . . . . . . . . . . . . . . . . . . 151.3 Planning. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 151.3.1 Hierarchical Planning. . . . . . . . . . . . . . . . . . . . . . 161.4 Summary. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17Exercises. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17

2 Distributed Constraints19

2.1 Distributed Constraint Satisfaction. . . . . . . . . . . . . . . . . . . 192.1.1 Filtering Algorithm. . . . . . . . . . . . . . . . . . . . . . . 212.1.2 Hyper-Resolution Based Consistency Algorithm. . . . . . . . 222.1.3 Asynchronous Backtracking. . . . . . . . . . . . . . . . . . . 242.1.4 Asynchronous Weak-Commitment Search. . . . . . . . . . . 272.1.5 Distributed Breakout. . . . . . . . . . . . . . . . . . . . . . . 292.2 Distributed Constraint Optimization. . . . . . . . . . . . . . . . . . 312.2.1 Adopt. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 322.2.2 OptAPO. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37Exercises. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38

3 Standard and Extended Form Games39

3.1 Games in Normal Form. . . . . . . . . . . . . . . . . . . . . . . . . 393.1.1 Solution Concepts. . . . . . . . . . . . . . . . . . . . . . . . 403.1.2 Famous Games. . . . . . . . . . . . . . . . . . . . . . . . . . 423.1.3 Repeated Games. . . . . . . . . . . . . . . . . . . . . . . . . 443.2 Games in Extended Form. . . . . . . . . . . . . . . . . . . . . . . . 453.2.1 Solution Concepts. . . . . . . . . . . . . . . . . . . . . . . . 463.3 Finding a Solution. . . . . . . . . . . . . . . . . . . . . . . . . . . . 47Exercises. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47

4 Characteristic Form Games and Coalition Formation49

4.1 Characteristic Form Games. . . . . . . . . . . . . . . . . . . . . . . 494.1.1 Solution Concepts. . . . . . . . . . . . . . . . . . . . . . . . 504.1.2 Finding the Optimal Coalition Structure. . . . . . . . . . . . 554.2 Coalition Formation. . . . . . . . . . . . . . . . . . . . . . . . . . . 57Exercises. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 573