2.4 Computability in logic for Complexity of Algorithms Lctn

Complexity of Algorithms

Lecture Notes, Spring 1999

Peter G´acs

Boston Universityand

László Lovász

Yale University1

Contents

0 Introduction and Preliminaries 1

0.1 The subject of complexity theory . . . . . . . . . . . . . . . . . . . . . . . . . . . 10.2 Some notation and deﬁnitions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2

1 Models of Computation 3

1.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31.2 Finite automata . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51.3 The Turing machine . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81.4 The Random Access Machine . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 181.5 Boolean functions and Boolean circuits . . . . . . . . . . . . . . . . . . . . . . . . 24

2 Algorithmic decidability 31

2.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 312.2 Recursive and recursively enumerable languages . . . . . . . . . . . . . . . . . . . 332.3 Other undecidable problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 372.4 Computability in logic . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42

3 Computation with resource bounds 50

3.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 503.2 Time and space . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 503.3 Polynomial time I: Algorithms in arithmetic . . . . . . . . . . . . . . . . . . . . . 523.4 Polynomial time II: Graph algorithms . . . . . . . . . . . . . . . . . . . . . . . . 573.5 Polynomial space . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62

4 General theorems on space and time complexity 65

4.1 Space versus time . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71

5 Non-deterministic algorithms 72

5.1 Non-deterministic Turing machines . . . . . . . . . . . . . . . . . . . . . . . . . . 725.2 Witnesses and the complexity of non-deterministic algorithms . . . . . . . . . . . 745.3 General results on nondeterministic complexity classes . . . . . . . . . . . . . . . 765.4 Examples of languages in NP . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 795.5 NP-completeness . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 855.6 Further NP-complete problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89

6 Randomized algorithms 99

6.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 996.2 Verifying a polynomial identity . . . . . . . . . . . . . . . . . . . . . . . . . . . . 996.3 Prime testing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1036.4 Randomized complexity classes . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1082

7 Information complexity: the complexity-theoretic notion of randomness 112

7.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1127.2 Information complexity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1127.3 The notion of a random sequence . . . . . . . . . . . . . . . . . . . . . . . . . . . 1177.4 Kolmogorov complexity and data compression . . . . . . . . . . . . . . . . . . . . 119

8 Pseudo-random numbers 124

8.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1248.2 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1248.3 Classical methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1258.4 The notion of a psuedorandom number generator . . . . . . . . . . . . . . . . . . 1278.5 One-way functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1308.6 Discrete square roots . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 133

9 Parallel algorithms 135

9.1 Parallel random access machines . . . . . . . . . . . . . . . . . . . . . . . . . . . 1359.2 The class NC . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 138

10 Decision trees 143

10.1 Algorithms using decision trees . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14310.2 The notion of decision trees . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14610.3 Nondeterministic decision trees . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14710.4 Lower bounds on the depth of decision trees . . . . . . . . . . . . . . . . . . . . . 151

11 Communication complexity 155

11.1 Communication matrix and protocol-tree . . . . . . . . . . . . . . . . . . . . . . 15511.2 Some protocols . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15911.3 Non-deterministic communication complexity . . . . . . . . . . . . . . . . . . . . 16011.4 Randomized protocols . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 164

12 The complexity of algebraic computations 16613 Circuit complexity 167

13.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16713.2 Lower bound for the Majority Function . . . . . . . . . . . . . . . . . . . . . . . 16813.3 Monotone circuits . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 170

14 An application of complexity: cryptography 172

14.1 A classical problem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17214.2 A simple complexity-theoretic model . . . . . . . . . . . . . . . . . . . . . . . . . 17214.3 Public-key cryptography . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17314.4 The Rivest-Shamir-Adleman code . . . . . . . . . . . . . . . . . . . . . . . . . . . 1750