10.4 Applications of Encoder-Decoder Networks . . . . . . . . . . . .

200
10.5 Self-Attention and Transformer Networks . . . . . . . . . . . . . 200
10.6 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 201
Bibliographical and Historical Notes . . . . . . . . . . . . . . . . . . . . 201
11 Machine Translation 202
12 Constituency Grammars 203
12.1 Constituency . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 204
12.2 Context-Free Grammars . . . . . . . . . . . . . . . . . . . . . . . 204
12.3 Some Grammar Rules for English . . . . . . . . . . . . . . . . . . 209
12.4 Treebanks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 216
12.5 Grammar Equivalence and Normal Form . . . . . . . . . . . . . . 222
12.6 Lexicalized Grammars . . . . . . . . . . . . . . . . . . . . . . . . 223
12.7 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 228
Bibliographical and Historical Notes . . . . . . . . . . . . . . . . . . . . 229
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 230
13 Constituency Parsing 232
13.1 Ambiguity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 232
13.2 CKY Parsing: A Dynamic Programming Approach . . . . . . . . 234
13.3 Partial Parsing . . . . . . . . . . . . . . . . . . . . . . . . . . . . 240
13.4 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 243
Bibliographical and Historical Notes . . . . . . . . . . . . . . . . . . . . 243
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 244
14 Statistical Constituency Parsing 246
14.1 Probabilistic Context-Free Grammars . . . . . . . . . . . . . . . . 246
14.2 Probabilistic CKY Parsing of PCFGs . . . . . . . . . . . . . . . . 251
14.3 Ways to Learn PCFG Rule Probabilities . . . . . . . . . . . . . . 253
14.4 Problems with PCFGs . . . . . . . . . . . . . . . . . . . . . . . . 253
14.5 Improving PCFGs by Splitting Non-Terminals . . . . . . . . . . . 256
14.6 Probabilistic Lexicalized CFGs . . . . . . . . . . . . . . . . . . . 258
14.7 Probabilistic CCG Parsing . . . . . . . . . . . . . . . . . . . . . . 262
14.8 Evaluating Parsers . . . . . . . . . . . . . . . . . . . . . . . . . . 268
14.9 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 270
Bibliographical and Historical Notes . . . . . . . . . . . . . . . . . . . . 271
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 272
15 Dependency Parsing 273
15.1 Dependency Relations . . . . . . . . . . . . . . . . . . . . . . . . 274
15.2 Dependency Formalisms . . . . . . . . . . . . . . . . . . . . . . . 276
15.3 Dependency Treebanks . . . . . . . . . . . . . . . . . . . . . . . 277
15.4 Transition-Based Dependency Parsing . . . . . . . . . . . . . . . 278
15.5 Graph-Based Dependency Parsing . . . . . . . . . . . . . . . . . 289
15.6 Evaluation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 294
15.7 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 295
Bibliographical and Historical Notes . . . . . . . . . . . . . . . . . . . . 295
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 297
16 Logical Representations of Sentence Meaning 298
6 CONTENTS
16.1 Computational Desiderata for Representations . . . . . . . . . . . 299
16.2 Model-Theoretic Semantics . . . . . . . . . . . . . . . . . . . . . 301
16.3 First-Order Logic . . . . . . . . . . . . . . . . . . . . . . . . . . 304
16.4 Event and State Representations . . . . . . . . . . . . . . . . . . . 311
16.5 Description Logics . . . . . . . . . . . . . . . . . . . . . . . . . . 316
16.6 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 321
Bibliographical and Historical Notes . . . . . . . . . . . . . . . . . . . . 322
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 323
17 Computational Semantics and Semantic Parsing 324
18 Information Extraction 325
18.1 Named Entity Recognition . . . . . . . . . . . . . . . . . . . . . 326
18.2 Relation Extraction . . . . . . . . . . . . . . . . . . . . . . . . . 332
18.3 Extracting Times . . . . . . . . . . . . . . . . . . . . . . . . . . . 342
18.4 Extracting Events and their Times . . . . . . . . . . . . . . . . . . 346
18.5 Template Filling . . . . . . . . . . . . . . . . . . . . . . . . . . . 349
18.6 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 351
Bibliographical and Historical Notes . . . . . . . . . . . . . . . . . . . . 352
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 353
19 Word Senses and WordNet 354
19.1 Word Senses . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 355
19.2 Relations Between Senses . . . . . . . . . . . . . . . . . . . . . . 357
19.3 WordNet: A Database of Lexical Relations . . . . . . . . . . . . . 359
19.4 Word Sense Disambiguation . . . . . . . . . . . . . . . . . . . . . 362
19.5 Alternate WSD algorithms and Tasks . . . . . . . . . . . . . . . . 365
19.6 Using Thesauruses to Improve Embeddings . . . . . . . . . . . . 368
19.7 Word Sense Induction . . . . . . . . . . . . . . . . . . . . . . . . 368
19.8 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 369
Bibliographical and Historical Notes . . . . . . . . . . . . . . . . . . . . 370
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 371
20 Semantic Role Labeling 373
20.1 Semantic Roles . . . . . . . . . . . . . . . . . . . . . . . . . . . 374
20.2 Diathesis Alternations . . . . . . . . . . . . . . . . . . . . . . . . 375
20.3 Semantic Roles: Problems with Thematic Roles . . . . . . . . . . 376
20.4 The Proposition Bank . . . . . . . . . . . . . . . . . . . . . . . . 377
20.5 FrameNet . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 378
20.6 Semantic Role Labeling . . . . . . . . . . . . . . . . . . . . . . . 380
20.7 Selectional Restrictions . . . . . . . . . . . . . . . . . . . . . . . 384
20.8 Primitive Decomposition of Predicates . . . . . . . . . . . . . . . 389
20.9 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 390
Bibliographical and Historical Notes . . . . . . . . . . . . . . . . . . . . 391
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 393
21 Lexicons for Sentiment, Affect, and Connotation 394
21.1 Defining