Professional Documents
Culture Documents
Ricardo Baeza-Yates
Berthier Ribeiro-Neto
Second edition
Addison-Wesley
Harlow, England Reading, Massachusetts
Menlo Park, California New York
Don Mills, Ontario Amsterdam Bonn
Sydney Singapore Tokyo Madrid
San Juan Milan Mexico City Seoul Taipei
To be filled by Pearson
Pablo Neruda
I love books that explore,
books with a forest or snow,
depth or sky
Pablo Neruda
Contents
Preface to the Second Edition
xix
xxi
xxiii
xxv
Publishers Acknowledgements
xxvii
1 Introduction
1.1 Information Retrieval . . . . . . . . . . . . . . . . .
1.1.1 Early Developments . . . . . . . . . . . . . .
1.1.2 Information Retrieval in Libraries and Digital
1.1.3 IR at the Center of the Stage . . . . . . . . .
1.2 The IR Problem . . . . . . . . . . . . . . . . . . . .
1.2.1 The Users Task . . . . . . . . . . . . . . . .
1.2.2 Information versus Data Retrieval . . . . . .
1.3 The IR System . . . . . . . . . . . . . . . . . . . . .
1.3.1 Software Architecture of the IR System . . .
1.3.2 The Retrieval and Ranking Processes . . . .
1.4 The Web . . . . . . . . . . . . . . . . . . . . . . . .
1.4.1 A Brief History . . . . . . . . . . . . . . . . .
1.4.2 The e-Publishing Era . . . . . . . . . . . . .
1.4.3 How the Web Changed Search . . . . . . . .
1.4.4 Practical Issues on the Web . . . . . . . . . .
1.5 Organization of the Book . . . . . . . . . . . . . . .
1.5.1 Focus of the Book . . . . . . . . . . . . . . .
1.5.2 Book Contents . . . . . . . . . . . . . . . . .
1.6 The Book Web Site: A Teaching Resource . . . . . .
1.7 Bibliographic Discussion . . . . . . . . . . . . . . . .
. . . . . .
. . . . . .
Libraries
. . . . . .
. . . . . .
. . . . . .
. . . . . .
. . . . . .
. . . . . .
. . . . . .
. . . . . .
. . . . . .
. . . . . .
. . . . . .
. . . . . .
. . . . . .
. . . . . .
. . . . . .
. . . . . .
. . . . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
1
1
1
3
3
3
4
5
5
5
7
8
9
9
10
12
12
12
13
17
17
21
21
21
viii
CONTENTS
2.3
2.4
2.5
2.6
2.7
3 Modeling
3.1 IR Models . . . . . . . . . . . . . . . . . . .
3.1.1 Modeling and Ranking . . . . . . . .
3.1.2 Characterization of an IR Model . .
3.1.3 A Taxonomy of IR Models . . . . . .
3.2 Classic Information Retrieval . . . . . . . .
3.2.1 Basic Concepts . . . . . . . . . . . .
3.2.2 The Boolean Model . . . . . . . . .
3.2.3 Term Weighting . . . . . . . . . . .
3.2.4 TF-IDF Weights . . . . . . . . . . .
3.2.5 Document Length Normalization . .
3.2.6 The Vector Model . . . . . . . . . .
3.2.7 The Probabilistic Model . . . . . . .
3.2.8 Brief Comparison of Classic Models
3.3 Alternative Set Theoretic Models . . . . . .
3.3.1 Set-Based Model . . . . . . . . . . .
3.3.2 Extended Boolean Model . . . . . .
3.3.3 Fuzzy Set Model . . . . . . . . . . .
3.4 Alternative Algebraic Models . . . . . . . .
3.4.1 Generalized Vector Space Model . .
3.4.2 Latent Semantic Indexing Model . .
3.4.3 Neural Network Model . . . . . . . .
3.5 Alternative Probabilistic Models . . . . . .
3.5.1 BM25 . . . . . . . . . . . . . . . . .
3.5.2 Language Models . . . . . . . . . . .
3.5.3 Divergence from Randomness . . . .
3.5.4 Bayesian Network Models . . . . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
22
23
24
25
25
26
26
27
30
32
35
42
43
44
47
48
50
55
55
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
57
57
57
58
59
61
62
64
66
68
76
77
80
86
87
87
92
95
99
99
101
103
105
105
107
113
116
ix
CONTENTS
3.6
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
124
124
126
126
126
127
127
128
4 Retrieval Evaluation
4.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . .
4.2 The Cranfield Paradigm . . . . . . . . . . . . . . . . .
4.2.1 A Brief History . . . . . . . . . . . . . . . . . .
4.2.2 Reference Collections . . . . . . . . . . . . . . .
4.3 Retrieval Metrics . . . . . . . . . . . . . . . . . . . . .
4.3.1 Precision and Recall . . . . . . . . . . . . . . .
4.3.2 Single Value Summaries: P@n, MAP, MRR, F
4.3.3 User-Oriented Measures . . . . . . . . . . . . .
4.3.4 DCG: Discounted Cumulated Gain . . . . . . .
4.3.5 BPREF: Binary Preferences . . . . . . . . . . .
4.3.6 Rank Correlation Metrics . . . . . . . . . . . .
4.4 Reference Collections . . . . . . . . . . . . . . . . . . .
4.4.1 The TREC Collections . . . . . . . . . . . . . .
4.4.2 Other Reference Collections . . . . . . . . . . .
4.4.3 Other Small Test Collections . . . . . . . . . .
4.5 User-Based Evaluation . . . . . . . . . . . . . . . . . .
4.5.1 Human Experimentation in the Lab . . . . . .
4.5.2 Side-by-Side Panels . . . . . . . . . . . . . . . .
4.5.3 A/B Testing . . . . . . . . . . . . . . . . . . .
4.5.4 Crowdsourcing . . . . . . . . . . . . . . . . . .
4.5.5 Evaluation using Clickthrough Data . . . . . .
4.6 Practical Caveats . . . . . . . . . . . . . . . . . . . . .
4.7 Trends and Research Issues . . . . . . . . . . . . . . .
4.8 Bibliographic Discussion . . . . . . . . . . . . . . . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
131
131
132
132
134
135
135
140
144
145
150
153
158
158
166
167
168
168
168
170
170
171
173
174
175
. . . . .
. . . . .
. . . . .
Method
. . . . .
. . . . .
. . . . .
. . . . .
. . . . .
. . . . .
. . . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
177
177
178
180
181
183
184
185
185
186
187
190
3.7
3.8
Other Models . . . . . . . . . . . . . .
3.6.1 The Hypertext Model . . . . .
3.6.2 Web based Models . . . . . . .
3.6.3 Structured Text Retrieval . . .
3.6.4 Multimedia Retrieval . . . . . .
3.6.5 Enterprise and Vertical Search
Trends and Research Issues . . . . . .
Bibliographic Discussion . . . . . . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
CONTENTS
5.6
5.7
5.8
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
190
193
195
195
198
200
200
203
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
203
205
206
206
207
208
209
209
210
214
217
218
218
219
219
222
224
225
226
226
228
228
231
232
232
233
234
235
235
238
245
247
248
250
251
254
xi
CONTENTS
257
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
8 Text Classification
with Marcos Goncalves
8.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . .
8.2 A Characterization of Text Classification . . . . . . . . . .
8.2.1 Machine Learning . . . . . . . . . . . . . . . . . .
8.2.2 The Text Classification Problem . . . . . . . . . .
8.2.3 Text Classification Algorithms . . . . . . . . . . .
8.3 Unsupervised Algorithms . . . . . . . . . . . . . . . . . .
8.3.1 Clustering . . . . . . . . . . . . . . . . . . . . . . .
8.3.2 Naive Text Classification . . . . . . . . . . . . . .
8.4 Supervised Algorithms . . . . . . . . . . . . . . . . . . . .
8.4.1 Decision Trees . . . . . . . . . . . . . . . . . . . .
8.4.2 The k-NN Classifier . . . . . . . . . . . . . . . . .
8.4.3 The Rocchio Classifier . . . . . . . . . . . . . . . .
8.4.4 Probabilistic Naive Bayes Document Classification
8.4.5 The SVM Classifier . . . . . . . . . . . . . . . . .
8.4.6 Ensemble Classifiers . . . . . . . . . . . . . . . . .
8.4.7 Final Remarks on Supervised Algorithms . . . . .
8.5 Feature Selection or Dimensionality Reduction . . . . . .
8.5.1 TermClass Incidence Table . . . . . . . . . . . . .
8.5.2 Term Document Frequency . . . . . . . . . . . . .
8.5.3 TF-IDF Weights . . . . . . . . . . . . . . . . . . .
8.5.4 Mutual Information . . . . . . . . . . . . . . . . .
8.5.5 Information Gain . . . . . . . . . . . . . . . . . . .
8.5.6 Chi Square . . . . . . . . . . . . . . . . . . . . . .
8.5.7 Impact of Feature Selection . . . . . . . . . . . . .
8.6 Evaluation Metrics . . . . . . . . . . . . . . . . . . . . . .
8.6.1 Contingency Table . . . . . . . . . . . . . . . . . .
8.6.2 Accuracy and Error . . . . . . . . . . . . . . . . .
8.6.3 Precision and Recall . . . . . . . . . . . . . . . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
257
258
261
264
267
269
269
271
272
274
275
276
279
281
283
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
283
284
284
285
286
287
287
292
293
296
301
302
305
309
318
321
322
323
324
324
325
325
326
327
327
327
328
329
xii
CONTENTS
8.7
8.8
8.9
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
329
330
331
332
334
335
339
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
339
342
342
343
347
351
353
356
359
359
362
363
365
366
368
370
374
375
378
382
384
386
387
391
393
395
396
401
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
401
404
406
407
409
411
415
416
xiii
CONTENTS
10.4.1 Introduction . . . . . . . . . . . . .
10.4.2 Parallel IR on MIMD Architectures
10.4.3 Parallel IR on SIMD Architectures .
10.5 Cluster-based IR . . . . . . . . . . . . . . .
10.6 Distributed IR . . . . . . . . . . . . . . . .
10.6.1 Introduction . . . . . . . . . . . . .
10.6.2 Indexing . . . . . . . . . . . . . . . .
10.6.3 Query Processing . . . . . . . . . . .
10.6.4 Web Issues . . . . . . . . . . . . . .
10.7 Federated Search . . . . . . . . . . . . . . .
10.8 Retrieval in Peer-to-Peer Networks . . . . .
10.9 Trends and Research Issues . . . . . . . . .
10.10Bibliographic Discussion . . . . . . . . . . .
11 Web Retrieval
with Yoelle Maarek
11.1 Introduction . . . . . . . . . . . . . . . . .
11.2 A Challenging Problem . . . . . . . . . .
11.3 The Web . . . . . . . . . . . . . . . . . .
11.3.1 Characteristics . . . . . . . . . . .
11.3.2 Structure of the Web Graph . . . .
11.3.3 Modeling the Web . . . . . . . . .
11.3.4 Link Analysis . . . . . . . . . . . .
11.4 Search Engine Architectures . . . . . . . .
11.4.1 Basic Architecture . . . . . . . . .
11.4.2 Cluster-based Architecture . . . .
11.4.3 Caching . . . . . . . . . . . . . . .
11.4.4 Multiple Indexes . . . . . . . . . .
11.4.5 Distributed Architectures . . . . .
11.5 Search Engine Ranking . . . . . . . . . . .
11.5.1 Ranking Signals . . . . . . . . . .
11.5.2 Link-based Ranking . . . . . . . .
11.5.3 Simple Ranking Functions . . . . .
11.5.4 Learning to Rank . . . . . . . . . .
11.5.5 Learning the Ranking Function . .
11.5.6 Quality Evaluation . . . . . . . . .
11.5.7 Web Spam . . . . . . . . . . . . .
11.6 Managing Web Data . . . . . . . . . . . .
11.6.1 Assigning Identifiers to Documents
11.6.2 Metadata . . . . . . . . . . . . . .
11.6.3 Compressing the Web Graph . . .
11.6.4 Handling Duplicated Data . . . . .
11.7 Search Engine User Interaction . . . . . .
11.7.1 The Search Rectangle Paradigm .
11.7.2 The Search Engine Result Page . .
11.7.3 Educating the User . . . . . . . . .
11.8 Browsing . . . . . . . . . . . . . . . . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
416
419
420
425
426
426
431
433
439
440
442
446
447
449
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
449
451
453
453
454
456
458
460
460
462
465
467
468
471
471
472
475
476
477
477
479
480
480
480
481
481
482
483
491
500
501
xiv
CONTENTS
. . . . . . .
Directories
. . . . . . .
. . . . . . .
. . . . . . .
. . . . . . .
. . . . . . .
. . . . . . .
. . . . . . .
. . . . . . .
. . . . . . .
. . . . . . .
. . . . . . .
. . . . . . .
. . . . . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
502
502
504
504
504
506
506
507
507
509
511
512
513
514
516
519
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
519
521
521
522
522
522
523
523
524
525
525
527
530
531
532
535
540
542
543
543
544
545
545
546
547
547
xv
CONTENTS
549
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
549
550
551
551
552
553
553
554
555
555
556
557
558
569
570
571
571
572
574
576
578
578
579
581
586
589
591
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
591
591
592
593
594
594
595
595
596
597
598
600
602
602
603
605
xvi
CONTENTS
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
15 Enterprise Search
by David Hawking
15.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . .
15.1.1 Characteristics and Applications of Enterprise Search
15.1.2 Enterprise Search Software . . . . . . . . . . . . . . .
15.1.3 Workplace Search . . . . . . . . . . . . . . . . . . . .
15.2 Enterprise Search Tasks . . . . . . . . . . . . . . . . . . . . .
15.2.1 Examples of Search-Supported Tasks . . . . . . . . . .
15.2.2 Search Types . . . . . . . . . . . . . . . . . . . . . . .
15.2.3 Studying Enterprise Search . . . . . . . . . . . . . . .
15.3 Architecture of Enterprise Search Systems . . . . . . . . . . .
15.3.1 Gathering . . . . . . . . . . . . . . . . . . . . . . . . .
15.3.2 Extracting . . . . . . . . . . . . . . . . . . . . . . . . .
15.3.3 Indexing . . . . . . . . . . . . . . . . . . . . . . . . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
606
606
610
610
611
613
613
615
617
618
618
618
620
621
621
624
624
625
626
627
628
629
630
630
630
632
633
634
635
636
640
641
645
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
645
646
647
648
648
648
651
651
652
652
654
656
xvii
CONTENTS
15.4
15.5
15.6
15.7
15.8
16 Library Systems
by Edie Rasmussen
16.1 The Information Environment in the Library . . . . . .
16.2 Online Public Access Catalogues . . . . . . . . . . . . .
16.2.1 OPACs and Bibliographic Records . . . . . . . .
16.2.2 Information Retrieval from the ILS . . . . . . . .
16.2.3 Integrating the Hybrid Library . . . . . . . . . .
16.2.4 OPACs and End Users . . . . . . . . . . . . . . .
16.2.5 ILS: Vendors and Products . . . . . . . . . . . .
16.3 IR Systems and Document Databases . . . . . . . . . .
16.3.1 Bibliographic and Full-text Databases . . . . . .
16.3.2 Content of Database Records . . . . . . . . . . .
16.3.3 The Online Industry: Database Vendors . . . . .
16.3.4 Information Retrieval from Document Databases
16.4 Information Retrieval in Organizations . . . . . . . . . .
16.5 Trends and Research Issues . . . . . . . . . . . . . . . .
16.6 Bibliographic Discussion . . . . . . . . . . . . . . . . . .
17 Digital Libraries
by Marcos Goncalves
17.1 Introduction . . . . . . . .
17.2 Defining Digital Libraries
17.3 A General Architecture .
17.4 Fundamentals . . . . . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
657
658
659
661
663
666
666
667
669
670
671
672
675
679
680
680
681
682
683
684
684
685
687
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
687
689
691
693
695
696
697
699
700
700
703
704
708
710
711
713
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
713
714
715
716
xviii
17.5
17.6
17.7
17.8
17.9
CONTENTS
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
716
718
721
725
727
727
728
729
730
730
730
731
731
732
733
733
734
734
735
735
735
736
737
739
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
739
740
740
743
744
745
745
746
746
747
747
751
751
754
755
B Biographies
757
References
765