Textbook Algorithmic Aspects of Machine Learning 1St Edition Ankur Moitra Ebook All Chapter PDF

Algorithmic Aspects of Machine
Learning 1st Edition Ankur Moitra

Visit to download the full and correct content document:
https://textbookfull.com/product/algorithmic-aspects-of-machine-learning-1st-edition-a
nkur-moitra/
More products digital (pdf, epub, mobi) instant
download maybe you interests ...
Machine Learning for Algorithmic Trading 2nd Edition

Stefan Jansen
https://textbookfull.com/product/machine-learning-for-
algorithmic-trading-2nd-edition-stefan-jansen/

Stefan Jansen
algorithmic-trading-2nd-edition-stefan-jansen-2/

Stefan Jansen
algorithmic-trading-2nd-edition-stefan-jansen-3/
Hands On Unsupervised Learning Using Python How to

Build Applied Machine Learning Solutions from Unlabeled
Data 1st Edition Ankur A. Patel
https://textbookfull.com/product/hands-on-unsupervised-learning-
using-python-how-to-build-applied-machine-learning-solutions-
from-unlabeled-data-1st-edition-ankur-a-patel/
Algorithmic Trading Methods: Applications Using
Advanced Statistics, Optimization, and Machine Learning
Techniques 2nd Edition Robert Kissell
https://textbookfull.com/product/algorithmic-trading-methods-
applications-using-advanced-statistics-optimization-and-machine-
learning-techniques-2nd-edition-robert-kissell/
Campus Placements 1st Edition Ankur Malhotra
https://textbookfull.com/product/campus-placements-1st-edition-
ankur-malhotra/
Python Real World Machine Learning: Real World Machine

Learning: Take your Python Machine learning skills to
the next level 1st Edition Joshi
https://textbookfull.com/product/python-real-world-machine-
learning-real-world-machine-learning-take-your-python-machine-
learning-skills-to-the-next-level-1st-edition-joshi/
Fundamentals of Machine Learning 1st Edition Thomas P.

Trappenberg
https://textbookfull.com/product/fundamentals-of-machine-
learning-1st-edition-thomas-p-trappenberg/
Hyperparameter Optimization in Machine Learning: Make

Your Machine Learning and Deep Learning Models More
Efficient 1st Edition Tanay Agrawal
https://textbookfull.com/product/hyperparameter-optimization-in-
machine-learning-make-your-machine-learning-and-deep-learning-
models-more-efficient-1st-edition-tanay-agrawal/
Algorithmic Aspects of Machine Learning
This book bridges theoretical computer science and machine learning by exploring
what the two sides can teach each other. It emphasizes the need for flexible, tractable
models that better capture not what makes machine learning hard but what makes it
easy. Theoretical computer scientists will be introduced to important models in
machine learning and to the main questions within the field. Machine learning
researchers will be introduced to cutting-edge research in an accessible format and
will gain familiarity with a modern algorithmic toolkit, including the method of
moments, tensor decompositions, and convex programming relaxations.
The treatment goes beyond worst-case analysis to build a rigorous understanding
about the approaches used in practice and to facilitate the discovery of exciting new
ways to solve important, long-standing problems.
a n k u r m o i t r a is the Rockwell International Associate Professor of

Mathematics at the Massachusetts Institute of Technology. He is a principal
investigator in the Computer Science and Artificial Intelligence Lab (CSAIL) and a
core member of the Theory of Computation Group, Machine Learning@MIT, and the
Center for Statistics. The aim of his work is to bridge the gap between theoretical
computer science and machine learning by developing algorithms with provable
guarantees and foundations for reasoning about their behavior. He is the recipient of a
Packard Fellowship, a Sloan Fellowship, a National Science Foundation CAREER
Award, an NSF Computing and Innovation Fellowship, and a Hertz Fellowship.
To Diana and Olivia, the sunshine in my life
Algorithmic Aspects of Machine
Learning
ANKUR MOITRA
Massachusetts Institute of Technology
University Printing House, Cambridge CB2 8BS, United Kingdom
One Liberty Plaza, 20th Floor, New York, NY 10006, USA
477 Williamstown Road, Port Melbourne, VIC 3207, Australia
314-321, 3rd Floor, Plot 3, Splendor Forum, Jasola District Centre,
New Delhi – 110025, India
79 Anson Road, #06–04/06, Singapore 079906
Cambridge University Press is part of the University of Cambridge.

It furthers the University’s mission by disseminating knowledge in the pursuit of
education, learning, and research at the highest international levels of excellence.
www.cambridge.org
Information on this title: www.cambridge.org/9781107184589
DOI: 10.1017/9781316882177
© Ankur Moitra 2018
This publication is in copyright. Subject to statutory exception
and to the provisions of relevant collective licensing agreements,
no reproduction of any part may take place without the written
permission of Cambridge University Press.
First published 2018
Printed in the United States of America by Sheridan Books, Inc.
A catalogue record for this publication is available from the British Library.
Library of Congress Cataloging-in-Publication Data
Names: Moitra, Ankur, 1985– author.
Title: Algorithmic aspects of machine learning / Ankur Moitra,
Massachusetts Institute of Technology.
Description: Cambridge, United Kingdom ; New York, NY, USA : Cambridge
University Press, 2018. | Includes bibliographical references.
Identifiers: LCCN 2018005020 | ISBN 9781107184589 (hardback) |
ISBN 9781316636008 (paperback)
Subjects: LCSH: Machine learning–Mathematics. | Computer algorithms.
Classification: LCC Q325.5 .M65 2018 | DDC 006.3/1015181–dc23
LC record available at https://lccn.loc.gov/2018005020
ISBN 978-1-107-18458-9 Hardback
ISBN 978-1-316-63600-8 Paperback
Cambridge University Press has no responsibility for the persistence or accuracy
of URLs for external or third-party internet websites referred to in this publication
and does not guarantee that any content on such websites is, or will remain,
accurate or appropriate.
Contents
Preface page vii
1 Introduction 1
2 Nonnegative Matrix Factorization 4
2.1 Introduction 4
2.2 Algebraic Algorithms 11
2.3 Stability and Separability 16
2.4 Topic Models 22
2.5 Exercises 27
3 Tensor Decompositions: Algorithms 29
3.1 The Rotation Problem 29
3.2 A Primer on Tensors 31
3.3 Jennrich’s Algorithm 35
3.4 Perturbation Bounds 40
3.5 Exercises 46
4 Tensor Decompositions: Applications 48
4.1 Phylogenetic Trees and HMMs 48
4.2 Community Detection 55
4.3 Extensions to Mixed Models 58
4.4 Independent Component Analysis 65
4.5 Exercises 69
5 Sparse Recovery 71
5.1 Introduction 71
5.2 Incoherence and Uncertainty Principles 74
5.3 Pursuit Algorithms 77
v
vi Contents
5.4 Prony’s Method 80

5.5 Compressed Sensing 83
5.6 Exercises 88
6 Sparse Coding 89
6.1 Introduction 89
6.2 The Undercomplete Case 92
6.3 Gradient Descent 96
6.4 The Overcomplete Case 101
6.5 Exercises 106
7 Gaussian Mixture Models 107
7.1 Introduction 107
7.2 Clustering-Based Algorithms 111
7.3 Discussion of Density Estimation 115
7.4 Clustering-Free Algorithms 118
7.5 A Univariate Algorithm 123
7.6 A View from Algebraic Geometry 127
7.7 Exercises 131
8 Matrix Completion 132
8.1 Introduction 132
8.2 Nuclear Norm 135
8.3 Quantum Golfing 139
Bibliography 143
Index 150
Preface
The monograph is based on the class Algorithmic Aspects of Machine

Learning taught at MIT in fall 2013, spring 2015, and fall 2017. Thank you to
all the students and postdocs who participated in this class and made teaching
it a wonderful experience.
vii
1
Introduction
Machine learning is starting to take over decision-making in many aspects of

our life, including:
(a) keeping us safe on our daily commute in self-driving cars,
(b) making accurate diagnoses based on our symptoms and medical history,
(c) pricing and trading complex securities, and
(d) discovering new science, such as the genetic basis for various diseases.
But the startling truth is that these algorithms work without any sort of provable
guarantees on their behavior. When they are faced with an optimization
problem, do they actually find the best solution, or even a pretty good one?
When they posit a probabilistic model, can they incorporate new evidence
and sample from the true posterior distribution? Machine learning works
amazingly well in practice, but that doesn’t mean we understand why it works
so well.
If you’ve taken traditional algorithms courses, the usual way you’ve been
exposed to thinking about algorithms is through worst-case analysis. When you
have a sorting algorithm, you measure its running time based on how many
operations it takes on the worst possible input. That’s a convenient type of
bound to have, because it means you can say meaningful things about how
long your algorithm takes without ever worrying about the types of inputs you
usually give it.
But what makes analyzing machine learning algorithms, especially modern
ones, so challenging is that the types of problems they are trying to solve
really are NP-hard on worst-case inputs. When you cast the problem of finding
the parameters that best fit your data as an optimization problem, there are
instances where it is NP-hard to find a good fit. When you posit a probabilistic
model and want to use it to perform inference, there are instances where that
is NP-hard as well.
1
2 1 Introduction
In this book, we will approach the problem of giving provable guarantees

for machine learning by trying to find more realistic models for our data. In
many applications, there are reasonable assumptions we can make, based on
the context in which the problem came up, that can get us around these worst-
case impediments and allow us to rigorously analyze heuristics that are used
in practice, as well as design fundamentally new ways of solving some of the
central, recurring problems in machine learning.
To take a step back, the idea of moving beyond worst-case analysis is an idea
that is as old1 as theoretical computer science itself [95]. In fact, there are many
different flavors of what it means to understand the behavior of algorithms on
“typical” instances, including:
(a) probabilistic models for your input, or even hybrid models that combine
elements of worst-case and average-case analysis like semi-random
models [38, 71] or smoothed analysis [39, 130];
(b) ways to measure the complexity of your problem and ask for algorithms
that are fast on simple inputs, as in parameterized complexity [66]; and
(c) notions of stability that attempt to articulate what instances of your
problem have meaningful answers and are the ones you actually want to
solve [20, 32].
This is by no means an exhaustive list of topics or references. Regardless, in
this book, we will approach machine learning problems armed with these sorts
of insights about ways to get around intractability.
Ultimately, we hope that theoretical computer science and machine learn-
ing have a lot left to teach each other. Understanding why heuristics like
expectation- maximization or gradient descent on a nonconvex function work
so well in practice is a grand challenge for theoretical computer science. But to
make progress on these questions, we need to understand what types of models
and assumptions make sense in the context of machine learning. On the other
hand, if we make progress on these hard problems and develop new insights
about why heuristics work so well, we can hope to engineer them better. We
can even hope to discover totally new ways to solve some of the important
problems in machine learning, especially by leveraging modern tools in our
algorithmic toolkit.
In this book, we will cover the following topics:
(a) Nonnegative matrix factorization
(b) Topic modeling
1
After all, heuristics performing well on real life inputs are old as well (long predating modern
machine learning), hence so is the need to explain them.
1 Introduction 3
(c) Tensor decompositions

(d) Sparse recovery
(e) Sparse coding
(f) Learning mixtures models
(g) Matrix completion
I hope more chapters will be added in later versions as the field develops and
makes new discoveries.
2
Nonnegative Matrix Factorization
In this chapter, we will explore the nonnegative matrix factorization problem.

It will be helpful to first compare it to the more familiar singular value
decomposition. In the worst case, the nonnegative matrix factorization problem
is NP-hard (seriously, what else did you expect?), but we will make domain-
specific assumptions (called separability) that will allow us to give provable
algorithms for an important special case of it. We then apply our algorithms to
the problem of learning the parameters of a topic model. This will be our first
case study in how to not back down in the face of computational intractability,
and to find ways around it.
2.1 Introduction
In order to better understand the motivations behind the nonnegative matrix
factorization problem and why it is useful in applications, it will be helpful
to first introduce the singular value decomposition and then compare the two.
Eventually, we will apply both of these to text analysis later in this section.
The Singular Value Decomposition

The singular value decomposition (SVD) is one of the most useful tools in
linear algebra. Given an m × n matrix M, its singular value decomposition is
written as
M = UV T
where U and V are orthonormal and is a rectangular matrix with nonzero

entries only along the diagonal, and its entries are nonnegative. Alternatively,
we can write
4
2.1 Introduction 5

r
M= σi ui vTi
i=1
where ui is the ith column of U, vi is the ith column of V, and σi is the ith
diagonal entry of . Throughout this section we will fix the convention that
σ1 ≥ σ2 ≥ . . . ≥ σr > 0. In this case, the rank of M is precisely r.
Throughout this book, we will have occasion to use this decomposition as
well as the (perhaps more familiar) eigendecomposition. If M is an n×n matrix
and is diagonalizable, its eigendecomposition is written as
M = PDP−1
where D is diagonal. For now, the important facts to remember are:
(1) Existence: Every matrix has a singular value decomposition, even

if it is rectangular. In contrast, a matrix must be square to have an
eigendecomposition. Even then, not all square matrices can be
diagonalized, but a sufficient condition under which M can be
diagonalized is that all its eigenvalues are distinct.
(2) Algorithms: Both of these decompositions can be computed efficiently.
The best general algorithms for computing the singular value
decomposition run in time O(mn2 ) if m ≥ n. There are also faster
algorithms for sparse matrices. There are algorithms to compute an
eigendecomposition in O(n3 ) time and there are further improvements
based on fast matrix multiplication, although it is not clear whether such
algorithms are as stable and practical.
(3) Uniqueness: The singular value decomposition is unique if and only if its
singular values are distinct. Similarly, the eigendecomposition is unique if
and only if its eigenvalues are distinct. In some cases, we will only need
that the nonzero singular values/eigenvalues are distinct, because we can
ignore the others.
Two Applications
Two of the most important properties of the singular value decomposition are
that it can be used to find the best rank k approximation and that it can be used
for dimension reduction. We explore these next. First, let’s formalize what we
mean by the best rank k approximation problem. One way to do this is to work
with the Frobenius norm:

Definition 2.1.1 (Frobenius norm) MF = 2
i,j Mi,j
6 2 Nonnegative Matrix Factorization
It is easy to see that the Frobenius norm is invariant under rotations. For
example, this follows by considering each of the columns of M separately
as a vector. The square of the Frobenius norm of a matrix is the sum of
squares of the norms of its columns. Then left-multiplying by an orthogonal
matrix preserves the norm of each of its columns. An identical argument holds
for right-multiplying by an orthogonal matrix (but working with the rows
instead). This invariance allows us to give an alternative characterization of
the Frobenius norm that is quite useful:

MF = U T MVF = F = σi2
The first equality is where all the action is happening and uses the rotational
invariance property we established above.
Then the Eckart–Young theorem asserts that the best rank k approximation
to some matrix M (in terms of Frobenius norm) is given by its truncated
singular value decomposition:

Theorem 2.1.2 (Eckart–Young) argmin M − BF = ki=1 σi ui vTi
rank(B)≤k
Let Mk be the best rank k approximation. Then, from our alternative

definition
r
of the Frobenius norm, it is immediate that M − Mk F = 2
i=k+1 σi .
In fact, the same statement – that the best rank k approximation to M is its
truncated singular value decomposition – holds for any norm that is invariant
under rotations. As another application, consider the operator norm:
Definition 2.1.3 (operator norm) M = maxx≤1 Mx
It is easy to see that the operator norm is also invariant under rotations and,
moreover, M = σ1 , again using the convention that σ1 is the largest singular
value. Then the Eckart–Young theorem with respect to the operator norm
asserts:

Theorem 2.1.4 (Eckart–Young) argmin M − B = ki=1 σi ui vTi
rank(B)≤k
Again, let Mk be the best rank k approximation. Then M − Mk = σk+1 . As

a quick check, if k ≥ r then σk+1 = 0, and the best rank k approximation is
exact and has no error (as it should). You should think of this as something you
can do with any algorithm to compute the singular value decomposition of M –
you can find the best rank k approximation to it with respect to any rotationally
invariant norm. In fact, it is remarkable that the best rank k approximation in
many different norms coincides! Moreover, the best rank k approximation to
2.1 Introduction 7
M can be obtained directly from its best rank k + 1 approximation. This is not
always the case, as we will see in the next chapter when we work with tensors.
Next, we give an entirely different application of the singular value decom-
position in the context of data analysis before we move on to applications of it
in text analysis. Recall that M is an m × n matrix. We can think of it as defining
a distribution on n-dimensional vectors, which we obtain from choosing one
of its columns uniformly at random. Further suppose that E[x] = 0; i.e., the
columns sum to the all-zero vector. Let Pk be the space of all projections onto
a k-dimensional subspace.

Theorem 2.1.5 argmax E[Px2 ] = ki=1 ui uTi
P∈Pk
This is another basic theorem about the singular value decomposition, and
from it we can readily compute the k-dimensional projection that maximizes
the projected variance. This theorem is often invoked in visualization, where
one can visualize high-dimensional vector data by projecting it to a more
manageable lower-dimensional subspace.
Latent Semantic Indexing

Now that we have developed some of the intuition behind the singular value
decomposition, we will see an application of it to text analysis. One of the
central problems in this area (and one that we will return to many times) is this:
given a large collection of documents, we want to extract some hidden thematic
structure. Deerwester et al. [60] invented latent semantic indexing (LSI) for this
purpose, and their approach was to apply the singular value decomposition to
what is usually called the term-by-document matrix:
Definition 2.1.6 The term-by-document matrix M is an m × n matrix where
each row represents a word and each column represents a document where
count of word i in document j
Mi,j = .
total number of words in document j
There are many popular normalization conventions, and here we have chosen
to normalize the matrix so that each of its columns sums to one. In this way,
we can interpret each document as a probability distribution on words. Also,
in constructing the term-by-document matrix, we have ignored the order in
which the words occur. This is called a bag-of-words representation, and the
justification for it comes from a thought experiment. Suppose I were to give
you the words contained in a document, but in a jumbled order. It should still
be possible to determine what the document is about, and hence forgetting all
notions of syntax and grammar and representing a document as a vector loses

some structure, but should preserve enough of the information to make many
basic tasks in text analysis still possible.
Once our data is in vector form, we can make use of tools from linear
algebra. How can we measure the similarities between two documents? The
naive approach is to base our similarity measure on how many words they
have in common. Let’s try
Mi , Mj .
This quantity computes the probability that a randomly chosen word w from
document i and a randomly chosen word w from document j are the same. But
what makes this a bad measure is that when documents are sparse, they may not
have many words in common just by accident because of the particular words
each author chose to use to describe the same types of things. Even worse,
some documents could be deemed to be similar because they contain many of
the same common words, which have little to do with what the documents are
actually about.
Deerwester et al. [60] proposed to use the singular value decomposition of
M to compute a more reasonable measure of similarity, and one that seems
to work better when the term-by-document matrix is sparse (as it usually is).
Let M = UV T and let U1...k and V1...k be the first k columns of U and V,
respectively. The approach is to compute
U1...k
T T
Mi , U1...k Mj
for each pair of documents. The intuition is that there are some topics that occur
over and over again in the collection of documents. And if we could represent
each document Mi on the basis of topics, then their inner product on that basis
would yield a more meaningful measure of similarity. There are some models –
i.e., hypotheses for how the data is stochastically generated – where it can be
shown that this approach provably recovers the true topics [118]. This is the
ideal interaction between theory and practice – we have techniques that work
(somewhat) well, and we can analyze/justify them.
However, there are many failings of latent semantic indexing that have
motivated alternative approaches. If we associate the top singular vectors with
topics, then
(1) topics are orthonormal.
However, topics like politics and finance actually contain many words in
common, so they cannot be orthonormal.
2.1 Introduction 9
(2) topics contain negative values.

Hence, if a document contains such words, their contribution (to the topic)
could cancel out the contributions from other words. Moreover, a pair of
documents can be judged to be similar because of particular topics that they
are both not about.
Nonnegative Matrix Factorization

For exactly the failings we described in the previous section, nonnegative
matrix factorization is a popular alternative to the singular value decomposition
in many applications in text analysis. However, it has its own shortcomings.
Unlike the singular value decomposition, it is NP-hard to compute. And the
prevailing approach in practice is to rely on heuristics, with no provable
guarantees.
Definition 2.1.7 A nonnegative matrix factorization of inner-dimension r is a
decomposition
M = AW
where A is n × r, W is r × n, and both are entrywise nonnegative. Moreover,
let the nonnegative rank of M – denoted by rank+ (M) – be the minimum r so
that such a factorization exists.
As we will see, this factorization, when applied to a term-by-document matrix,
can find more interpretable topics. Beyond text analysis, it has many other
applications in machine learning and statistics, including in collaborative filter-
ing and image segmentation. For now, let’s give an interpretation of a nonneg-
ative matrix factorization specifically in the context of text analysis. Suppose
we apply it to a term-by-document matrix. Then it turns out that we can always
put it in a convenient canonical form: Let D be a diagonal matrix where

m
Dj,j = Ai,j
i=1
and further suppose that each Dj,j > 0. Then

Claim 2.1.8 Set = DW. Then
A = AD−1 and W
(1) are entrywise nonnegative and M =
A, W AW , and
(2) the columns of each sum to one.
A and the columns of W
We leave the proof of this claim as an exercise, but the hint is that property (2)
follows because the columns of M also sum to one.
Hence we can, without loss of generality, assume that our nonnegative

matrix factorization M = AW is such that the columns of A and the columns of
W each sum to one. Then we can interpret this factorization as follows: Each
document is itself a distribution on words, and what we have found is
(1) a collection of r topics – the columns of A – that are themselves

distributions on words, and
(2) for each document i, a representation of it – given by Wi – as a convex
combination of r topics so that we recover its original distribution on
words.
Later on, we will get some insight into why nonnegative matrix factorization
is NP-hard. But what approaches are used in practice to actually compute such
a factorization? The usual approach is alternating minimization:
Alternating Minimization for NMF

Input: M ∈ Rm×n
Output: M ≈ A(N) W (N)
Guess entrywise nonnegative A(0) of dimension m × r

For i = 1 to N
Set W (i) ← argminW M − A(i−1) W2F s.t. W ≥ 0
Set A(i) ← argminA M − AW (i) 2F s.t. A ≥ 0
End
Alternating minimization is quite general, and throughout this book we will

come back to it many times and find that problems we are interested in are
solved in practice using some variant of the basic approach above. However, it
has no provable guarantees in the traditional sense. It can fail by getting stuck
in a locally optimal solution that is much worse than the globally optimal one.
In fact, this is inevitable, because the problem it is attempting to solve really is
NP-hard.
However, in many settings we will be able to make progress by working
with an appropriate stochastic model, where we will be able to show that
it converges to a globally optimal solution provably. A major theme in this
book is to not take for granted heuristics that seem to work in practice “as
immutable,” because the ability to analyze them will itself provide new insights
into when and why they work, and also what can go wrong and how to
improve them.
2.2 Algebraic Algorithms

In the previous section, we introduced the nonnegative matrix factorization
problem and described some of its applications in machine learning and
statistics. In fact, because of the algebraic nature of the problem, it is far
from clear that there is any finite time algorithm for computing it in the
worst case. Here we will explore some of the fundamental results in solving
systems of polynomial equations, and derive algorithms for nonnegative matrix
factorization from these.
Rank vs. Nonnegative Rank

+
Recall that rank (M) is the smallest value r such that M has a nonnegative
matrix factorization M = AW with inner dimension r. It is easy to see that the
following is an equivalent definition:
Claim 2.2.1 rank+ (M) is the smallest r such that there are r entrywise

nonnegative rank one matrices {Mi } that satisfy M = i Mi .
We can now compare the rank and the nonnegative rank. There are, of
course, many equivalent definitions for the rank of a matrix, but the most
convenient definition to compare the two is the following:
Claim 2.2.2 rank(M) is the smallest r such that there are r rank one matrices

{Mi } that satisfy M = i Mi .
The only difference between these two definitions is that the former stipulates
that all of the rank one matrices in the decomposition are entrywise nonnega-
tive, while the latter does not. Thus it follows immediately that
Fact 2.2.3 rank+ (M) ≥ rank(M)
Can the nonnegative rank of a matrix be much larger than its rank? We
encourage the reader to think about this question before proceeding. This is
equivalent to asking whether, for an entrywise nonnegative matrix M, one can,
without loss of generality, require the factors in its rank decomposition to be
entrywise nonnegative too. It is certainly true for a rank one matrix, and turns
out to be true for a rank two matrix too, but. . .
In general, the nonnegative rank cannot be bounded by any function of
the rank alone. In fact, the relationship (or lack thereof) between the rank
and the nonnegative rank is of fundamental importance in a number of areas
in theoretical computer science. Fortunately, there are simple examples that
illustrate that the two parameters can be far apart:
Example: Let M be an n × n matrix where Mij = (i − j)2 .

It is easy to see that the column space of M is spanned by the following three
vectors:
⎡ ⎤ ⎡ ⎤ ⎡ ⎤
1 1 1
⎢1⎥ ⎢2⎥ ⎢ 4 ⎥
⎢ ⎥ ⎢ ⎥ ⎢ ⎥
⎢.⎥ , ⎢.⎥ , ⎢ . ⎥ .
⎣ .. ⎦ ⎣ .. ⎦ ⎣ .. ⎦
1 n n2
Hence rank(M) ≤ 3. (In fact, rank(M) = 3.) However, M has zeros along
the diagonal and nonzeros off the diagonal. Furthermore, for any rank one
entrywise nonnegative matrix Mi , its pattern of zeros and nonzeros is a
combinatorial rectangle – i.e., the intersection of some set of rows and
columns – and it can be shown that one needs at least log n such rectangles
to cover the nonzeros of M without covering any of its zeros. Hence:
Fact 2.2.4 rank+ (M) ≥ log n
A word of caution: For this example, a number of authors have incorrectly
tried to prove a much stronger lower bound (e.g., rank+ (M) = n). In fact (and
somewhat surprisingly), it turns out that rank+ (M) ≤ 2 log n. The usual error
is in thinking that because the rank of a matrix is the largest r such that it has
r linearly independent columns, the nonnegative rank is the largest r such that
there are r columns where no column is a convex combination of the other
r − 1. This is not true!
Systems of Polynomial Inequalities

We can reformulate the problem of deciding whether rank+ (M) ≤ r is a
problem of finding a feasible solution to a particular system of polynomial
inequalities. More specifically, rank+ (M) ≤ r if and only if
⎧
⎨M = AW
A ≥ 0 (2.1)
⎩
W ≥ 0
has a solution. This system consists of quadratic equality constraints (one for
each entry of M) and linear inequalities that require A and W to be entrywise
nonnegative. Before we worry about fast algorithms, we should ask a more
basic question (whose answer is not at all obvious):
Question 4 Is there any finite time algorithm for deciding if rank+ (M) ≤ r?
This is equivalent to deciding if the above linear system has a solution,

but the difficulty is that even if there is one, the entries of A and W could
be irrational. This is quite different than, say, 3-SAT, where there is a simple
brute-force algorithm. In contrast, for nonnegative matrix factorization it is
quite challenging to design algorithms that run in any finite amount of time.
But indeed there are algorithms (that run in some fixed amount of time)
to decide whether a system of polynomial inequalities has a solution or not
in the real RAM model. The first finite time algorithm for solving a system
of polynomial inequalities follows from the seminal work of Tarski, and there
has been a long line of improvements based on successively more powerful
algebraic decompositions. This line of work culminated in the following
algorithm of Renegar:
Theorem 2.2.5 [126] Given a system of m polynomial inequalities in k
variables, whose maximum degree is D and whose bit complexity is L, there
is an algorithm whose running time is
(nDL)O(k)
that decides whether the system has a solution. Moreover, if it does have a
solution, then it outputs a polynomial and an interval (one for each variable)
in which there is only one root, which is the value of the variable in the true
solution.
Notice that this algorithm finds an implicit representation of the solution, since
you can find as many bits of the solution as you would like by performing a
binary search for the root. Moreover, this algorithm is essentially optimal, and
improving it would yield subexponential time algorithms for 3-SAT.
We can use these algorithms to solve nonnegative matrix factorization, and
it immediately implies that there is an algorithm for deciding if rank+ (M) ≤ r
runs in exponential time. However, the number of variables we would need in
the naive representation is nr + mr, one for each entry in A or W. So even if
r = O(1), we would need a linear number of variables and the running time
would still be exponential. It turns that even though the naive representation
uses many variables, there is a more clever representation that uses many fewer
variables.
Variable Reduction
Here we explore the idea of finding a system of polynomial equations that
expresses the nonnegative matrix factorization problem using many fewer
variables. In [13, 112], Arora et al. and Moitra gave a system of polynomial
inequalities with f (r) = 2r2 variables that has a solution if and only if
rank+ (M) ≤ r. This immediately yields a polynomial time algorithm to
compute a nonnegative matrix factorization of inner-dimension r (if it exists)
for any r = O(1). These algorithms turn out to be essentially optimal in a
worst-case sense, and prior to this work the best known algorithms even for
the case r = 4 ran in exponential time.
We will focus on a special case to illustrate the basic idea behind variable
reduction. Suppose that rank(M) = r, and our goal is to decide whether or
not rank+ (M) = r. This is called the simplicial factorization problem. Can
we find an alternate system of polynomial inequalities that expresses this
decision problem but uses many fewer variables? The following simple but
useful observation will pave the way:
Claim 2.2.6 In any solution to the simplicial factorization problem, A and W
must have full column and row rank, respectively.
Proof: If M = AW, then the column span of A must contain the columns
of M, and similarly, the row span of W must contain the rows of M. Since
rank(M) = r, we conclude that A and W must have r linearly independent
columns and rows, respectively. Since A has r columns and W has r rows, this
implies the claim.
Hence we know that A has a left pseudo-inverse A+ and W has a right
pseudo-inverse W + so that A+ A = WW + Ir , where Ir is the r × r identity
matrix. We will make use of these pseudo-inverses to reduce the number of
variables in our system of polynomial inequalities. In particular:
A+ AW = W
so we can recover the columns of W from a linear transformation of the

columns of M. Similarly, we can recover the rows of A from a linear
transformation of the rows of M. This leads to the following alternative system
of polynomial inequalities:
⎧ + +
⎨MW A M = M
MW + ≥0 (2.2)
⎩ +
A M ≥0
A priori, it is not clear that we have made progress, since this system also
has nr + mr variables corresponding to the entries of A+ and W + . However,
consider the matrix MW + . If we represent S+ as an n × r matrix, then we are
describing its action on all vectors, but the crucial observation is that we only
need to know how S+ acts on the rows of M that span an r-dimensional space.
Hence we can apply a change of basis to write
MC = MU
where U is an n × r matrix that has a right pseudo-inverse. Similarly, we can

write
MR = VM
where V is an r × m matrix that has a left pseudo-inverse. Now we get a new

system:
⎧
⎨MC STMR = M
M S ≥0 (2.3)
⎩ C
TMR ≥0
Notice that S and T are both r × r matrices, and hence there are 2r2 variables
in total. Moreover, this formulation is equivalent to the simplicial factorization
problem in the following sense:
Claim 2.2.7 If rank(M) = rank+ (M) = r, then (2.3) has a solution.
Proof: Using the notation above, we can set S = U + W + and T = A+ V + .
Then MC S = MUU + W + = A and similarly TMR = A+ V + VM = W, and this
implies the claim.
This is often called completeness, since if there is a solution to the original
problem, we want there to be a valid solution to our reformulation. We also
need to prove soundness, that any solution to the reformulation yields a valid
solution to the original problem:
Claim 2.2.8 If there is a solution to (2.3), then there is a solution to (2.1).
Proof: For any solution to (2.3), we can set A = MC S and W = TMR , and it
follows that A, W ≥ 0 and M = AW.
It turns out to be quite involved to extend the ideas above to nonnegative
matrix factorization in general. The main idea in [112] is to first establish a
new normal form for nonnegative matrix factorization, and use the observation
that even though A could have exponentially many maximal sets of linearly
independent columns, their psueudo-inverses are algebraically dependent and
can be expressed over a common set of r2 variables using Cramer’s rule.
Additionally, Arora et al. [13] showed that any algorithm that solves even the
simplicial factorization problem in (nm)o(r) time yields a subexponential time
algorithm for 3-SAT, and hence the algorithms above are nearly optimal under
standard complexity assumptions.
Further Remarks
Earlier in this section, we gave a simple example that illustrates a separation
between the rank and the nonnegative rank. In fact, there are more interesting
examples of separations that come up in theoretical computer science, where
a natural question is to express a particular polytope P in n dimensions,
which has exponentially many facets as the projection of a higher dimensional
polytope Q with only polynomially many facets. This is called an extended
formulation, and a deep result of Yannakakis is that the minimum number
of facets of any such Q – called the extension complexity of P – is precisely
equal to the nonnegative rank of some matrix that has to do with the geometric
arrangement between vertices and facets of P [144]. Then the fact that there are
explicit polytopes P whose extension complexity is exponential is intimately
related to finding explicit matrices that exhibit large separations between their
rank and nonnegative rank.
Furthermore, the nonnegative rank also has important applications in com-
munication complexity, where one of the most important open questions – the
log-rank conjecture [108] – can be reformulated by asking: Given a Boolean
matrix M, is log rank+ (M) ≤ (log rank(M))O(1) ? Thus, in the example above,
the fact that the nonnegative rank cannot be bounded by any function of the
rank could be due to the entries of M taking on many distinct values.
2.3 Stability and Separability

Here we will give a geometric (as opposed to algebraic) interpretation of
nonnegative matrix factorization that will offer new insights into why it is hard
in the worst case and what types of features make it easy. In particular, we
will move beyond worst-case analysis and work with a new assumption called
separability that will allow us to give an algorithm that runs in polynomial time
(even for large values of r). This assumption was first introduced to understand
conditions under which the nonnegative matrix factorization problem has a
unique solution [65], and this is a common theme in algorithm design
Theme 1 Looking for cases where the solution is unique and robust will often
point to cases where we can design algorithms with provable guarantees in
spite of worst-case hardness results.
Cones and Intermediate Simplicies

Here we will develop some geometric intuition about nonnegative matrix
factorization – or, rather, an important special case of it called simplicial
factorization that we introduced in the previous section. First, let us introduce
the notion of a cone:
Definition 2.3.1 Let A be an m × r matrix. Then the cone generated by the
columns of A is
CA = {Ax|x ≥ 0}.
We can immediately connect this to nonnegative matrix factorization.
Claim 2.3.2 Given matrix M, A of dimension m × n and m × r, respectively,
there is an entrywise nonnegative matrix W of dimension r × n with M = AW
if and only if CM ⊆ CA .
Proof: In the forward direction, suppose M = AW, where W is entrywise
nonnegative. Then any vector y ∈ CM can be written as y = Mx where x ≥ 0,
and then y = AWx and the vector Wx ≥ 0, and hence y ∈ CA too. In the reverse
direction, suppose CM ⊆ CA . Then any column Mi ∈ CA and we can write
Mi = AWi where Wi ≥ 0. Now we can set W to be the matrix whose columns
are {Wi }i and this completes the proof.
What makes nonnegative matrix factorization difficult is that both A and W
are unknown (if one were known, say A, then we could solve for the other by
setting up an appropriate linear program, which amounts to representing each
column of M in CA ).
Vavasis [139] was the first to introduce the simplicial factorization problem,
and one of his motivations was that it turns out to be connected to a purely
geometric problem about fitting a simplex in between two given polytopes.
This is called the intermediate simplex problem:
Definition 2.3.3 An instance of the intermediate simplex problem consists of P
and Q with P ⊆ Q ⊆ Rr−1 , and P is specified by its vertices and Q is specified
by its facets. The goal is to find a simplex K with P ⊆ K ⊆ Q.
In the next section we will show that the simplicial factorization problem
and the intermediate simplex problem are equivalent.
Reductions
We will prove that the simplicial factorization problem and the intermediate
simplex problem are equivalent in the sense that there is a polynomial time
reduction in both directions. We will do so by way of a few intermediate

problems.
Suppose we are given an instance of the simplicial factorization problem.
Then we can write M = UV, where U and V have inner dimension r but are
not necessarily entrywise nonnegative. If we can find an invertible r × r matrix
T where UT and T −1 V are both entrywise nonnegative, then we have found a
valid nonnegative matrix factorization with inner dimension r.
Claim 2.3.4 If rank(M) = r and M = UV and M = AW are two factorizations
that have inner-dimension r, then
(1) colspan(U) = colspan(A) = colspan(M) and
(2) rowspan(V) = rowspan(W) = rowspan(M).
This follows from basic facts in linear algebra, and implies that any two such
factorizations M = UV and M = AW can be linearly transformed into each
other via some invertible r × r matrix T. Hence the intermediate simplex
problem is equivalent to
Definition 2.3.5 An instance of the problem P1 consists of an m × n entrywise

nonnegative matrix M with rank(M) = r and M = UV with inner dimension
r. The goal is to find an invertible r × r matrix where both UT and T −1 V are
entrywise nonnegative.
Caution: The fact that you can start out with an arbitrary factorization and
ask to rotate it into a nonnegative matrix factorization of minimum inner
dimension but haven’t painted yourself into a corner is particular to the
simplicial factorization problem only! It is generally not true when rank(M) <
rank+ (M).
Now we can give a geometric interoperation of P1:
(1) Let u1 , u2 , . . . , um be the rows of U.
(2) Let t1 , t2 , . . . , tr be the columns of T.
(3) Let v1 , v2 , . . . , vn be the columns of V.
We will first work with an intermediate cone problem, but its connection to
the intermediate simplex problem will be immediate. Toward that end, let P
be the cone generated by u1 , u2 , . . . , um , and let K be the cone generated by
t1 , t2 , . . . , tr . Finally, let Q be the cone given by
Q = {x|ui , x ≥ 0 for all i}.
It is not hard to see that Q is a cone in the sense that it is generated as all
nonnegative combinations of a finite set of vectors (its extreme rays), but we
have instead chosen to represent it by its supporting hyperplanes (through the

origin).
Claim 2.3.6 UT is entrywise nonnegative if and only if {t1 , t2 , . . . , tr } ⊆ Q.
This follows immediately from the definition of Q, because the rows of U are
its supporting hyperplanes (through the origin). Hence we have a geometric
reformulation of the constraint UT that is entrywise nonnegative in P1. Next,
we will interpret the other constraint, that T −1 V is entrywise nonnegative too.
Claim 2.3.7 T −1 V is entrywise nonnegative if and only if {v1 , v2 , . . . , vm } ⊆ K.
Proof: Consider xi = T −1 vi . Then Txi = T(T −1 )vi = vi , and hence xi is a
representation of vi as a linear combination of {t1 , t2 , . . . , tr }. Moreover, it is
the unique representation, and this completes the proof.
Thus P1 is equivalent to the following problem:
Definition 2.3.8 An instance of the intermediate cone problem consists of
cones P and Q with P ⊆ Q ⊆ Rr−1 , and P is specified by its extreme rays
and Q is specified by its supporting hyperplanes (through the origin). The goal
is to find a cone K with r extreme rays and P ⊆ K ⊆ Q.
Furthermore, the intermediate cone problem is easily seen to be equivalent
to the intermediate simplex problem by intersecting the cones in it with a
hyperplane, in which case a cone with extreme rays becomes a convex hull
of the intersection of those rays with the hyperplane.
Geometric Gadgets
Vavasis made use of the equivalences in the previous section to construct
certain geometric gadgets to prove that nonnegative matrix factorization is NP-
hard. The idea was to construct a two-dimensional gadget where there are only
two possible intermediate triangles, which can then be used to represent the
truth assignment for a variable xi . The description of the complete reduction
and the proof of its soundness are involved (see [139]).
Theorem 2.3.9 [139] Nonnegative matrix factorization, simplicial factoriza-
tion, intermediate simplex, intermediate cone, and P1 are all NP-hard.
Arora et al. [13] improved upon this reduction by constructing low-
dimensional gadgets with many more choices. This allows them to reduce from
the d-SUM problem, where we are given a set of n numbers and the goal is to
find a set of d of them that sum to zero. The best known algorithms for this
Another random document with
no related content on Scribd:
noire à l’horizon, et coupée çà et là de ces lames d’argent qui
annoncent une tempête. Gabrielle, se conformant à l’attitude de son
ami, regardait ce spectacle et se taisait. Un seul regard, un de ceux
par lequel les âmes s’appuient l’une sur l’autre, leur suffisait pour se
communiquer leurs pensées. Le dernier abandon n’était pas pour
Gabrielle un sacrifice, ni pour Étienne une exigence. Chacun d’eux
aimait de cet amour si divinement semblable à lui-même dans tous
les instants de son éternité, qu’il ignore le dévouement, qu’il ne
craint ni les déceptions ni les retards. Seulement, Étienne et
Gabrielle étaient dans une ignorance absolue des contentements
dont le désir aiguillonnait leur âme. Quand les faibles teintes du
crépuscule eurent fait un voile à la mer, que le silence ne fut plus
interrompu que par la respiration du flux et du reflux dans la grève,
Étienne se leva, Gabrielle imita ce mouvement par une crainte
vague, car il avait quitté sa main. Étienne prit Gabrielle dans un de
ses bras en la serrant contre lui par un mouvement de tendre
cohésion; aussi, comprenant son désir, lui fit-elle sentir le poids de
son corps assez pour lui donner la certitude qu’elle était à lui, pas
assez pour le fatiguer. L’amant posa sa tête trop lourde sur l’épaule
de son amie, sa bouche s’appuya sur le sein tumultueux, ses
cheveux abondèrent sur le dos blanc et caressèrent le cou de
Gabrielle. La jeune fille ingénument amoureuse pencha la tête afin
de donner plus de place à Étienne en passant son bras autour de
son cou pour se faire un point d’appui. Ils demeurèrent ainsi, sans se
dire une parole, jusqu’à ce que la nuit fut venue. Les grillons
chantèrent alors dans leurs trous, et les deux amants écoutèrent
cette musique comme pour occuper tous leurs sens dans un seul.
Certes ils ne pouvaient alors être comparés qu’à un ange qui, les
pieds posés sur le monde, attend l’heure de revoler vers le ciel. Ils
avaient accompli ce beau rêve du génie mystique de Platon et de
tous ceux qui cherchent un sens à l’humanité: ils ne faisaient qu’une
seule âme, ils étaient bien cette perle mystérieuse destinée à orner
le front de quelque astre inconnu, notre espoir à tous!
—Tu me reconduiras? dit Gabrielle en sortant la première de ce
calme délicieux.
—Pourquoi nous quitter? répondit Étienne.
—Nous devrions être toujours ensemble, dit-elle.
—Reste.
—Oui.
Le pas lourd du vieux Beauvouloir se fit entendre dans la salle
voisine. Le médecin trouva les deux enfants séparés, et il les avait
vus entrelacés à la fenêtre. L’amour le plus pur aime encore le
mystère.
—Ce n’est pas bien, mon enfant, dit-il à Gabrielle. Demeurer si
tard, ici, sans lumière.
—Pourquoi? dit-elle, vous savez bien que nous nous aimons, et
qu’il est le maître au château.
—Mes enfants, reprit Beauvouloir, si vous vous aimez, votre
bonheur exige que vous vous épousiez pour passer votre vie
ensemble; mais votre mariage est soumis à la volonté de
monseigneur le duc...
—Mon père m’a promis de satisfaire tous mes vœux, s’écria
vivement Étienne en interrompant Beauvouloir.
—Écrivez-lui donc, monseigneur, répondit le médecin, exprimez-
lui votre désir, et donnez-moi votre lettre pour que je la joigne à celle
que je viens d’écrire. Bertrand partira sur-le-champ pour remettre
ces dépêches à monseigneur lui-même. Je viens d’apprendre qu’il
est à Rouen; il amène l’héritière de la maison de Grandlieu, et je ne
pense pas que ce soit pour lui... Si j’écoutais mes pressentiments,
j’emmènerais Gabrielle cette nuit même...
—Nous séparer, s’écria Étienne qui défaillit de douleur en
s’appuyant sur son amie.
—Mon père!
—Gabrielle, dit le médecin en lui tendant un flacon qu’il alla
prendre sur une table et qu’elle fit respirer à Étienne, Gabrielle, ma
science m’a dit que la nature vous avait destinés l’un à l’autre... Mais
je voulais préparer monseigneur le duc à un mariage qui froisse
toutes ses idées, et le démon l’a prévenu contre nous.—Il est
monsieur le duc de Nivron, dit le père à Gabrielle, et toi tu es la fille
d’un pauvre médecin.
—Mon père a juré de ne me contrarier en rien, dit Étienne avec
calme.
—Il m’a bien juré aussi, à moi, de consentir à ce que je ferais en
vous cherchant une femme, répondit le médecin; mais s’il ne tient
pas ses promesses?
Étienne s’assit comme foudroyé.
—La mer était sombre ce soir, dit-il après un moment de silence.
—Si vous saviez monter à cheval, monseigneur, dit le médecin,
je vous dirais de vous enfuir avec Gabrielle, ce soir même: je vous
connais l’un et l’autre, et sais que toute autre union vous sera
funeste. Le duc me ferait certes jeter dans un cachot et m’y laisserait
pour le reste de mes jours en apprenant cette fuite; mais je mourrais
joyeusement, si ma mort assurait votre bonheur. Hélas, monter à
cheval, ce serait risquer votre vie et celle de Gabrielle. Il faut
affronter ici la colère du gouverneur.
—Ici, répéta le pauvre Étienne.
—Nous avons été trahis par quelqu’un du château qui a
courroucé votre père, reprit Beauvouloir.
—Allons nous jeter ensemble à la mer, dit Étienne à Gabrielle en
se penchant à l’oreille de la jeune fille qui s’était mise à genoux
auprès de son amant.
Elle inclina la tête en souriant. Beauvouloir devina tout.
—Monseigneur, reprit-il, votre savoir autant que votre esprit vous
a fait éloquent, l’amour doit vous rendre irrésistible; déclarez votre
amour à monseigneur le duc, vous confirmerez ma lettre qui est
assez concluante. Tout n’est pas perdu, je le crois. J’aime autant ma
fille que vous l’aimez, et veux la défendre.
Étienne hocha la tête.
—La mer était bien sombre ce soir, dit-il.
—Elle était comme une lame d’or à nos pieds, répondit Gabrielle
d’une voix mélodieuse.
Étienne fit venir de la lumière, et se mit à sa table pour écrire à
son père. D’un côté de sa chaise était Gabrielle agenouillée,
silencieuse, regardant l’écriture sans la lire, elle lisait tout sur le front
d’Étienne. De l’autre côté se tenait le vieux Beauvouloir dont la figure
joviale était profondément triste, triste comme cette chambre où
mourut la mère d’Étienne. Une voix secrète criait au médecin:—Il
aura la destinée de sa mère!
La lettre finie, Étienne la tendit au vieillard, qui s’empressa d’aller
la donner à Bertrand. Le cheval du vieil écuyer était tout sellé,
l’homme prêt: il partit et rencontra le duc à quatre lieues d’Hérouville.
—Conduis-moi jusqu’à la porte de la tour, dit Gabrielle à son ami
quand ils furent seuls.
Tous deux passèrent par la bibliothèque du cardinal, et
descendirent par la tour où se trouvait la porte dont la clef avait été
donnée à Gabrielle par Étienne. Abasourdi par l’appréhension du
malheur, le pauvre enfant laissa dans la tour le flambeau qui lui
servait à éclairer sa bien-aimée, et la reconduisit vers sa maison. A
quelques pas du petit jardin qui faisait une cour de fleurs à cette
humble habitation, les deux amants s’arrêtèrent. Enhardis par la
crainte vague qui les agitait, ils se donnèrent, dans l’ombre et le
silence, ce premier baiser où les sens et l’âme se réunissent pour
causer un plaisir révélateur. Étienne comprit l’amour dans sa double
expression, et Gabrielle se sauva de peur d’être entraînée par la
volupté, mais à quoi?... Elle n’en savait rien.
Au moment où le duc de Nivron montait les degrés de l’escalier,
après avoir fermé la porte de la tour, un cri de terreur poussé par
Gabrielle retentit à son oreille avec la vivacité d’un éclair qui brûle
les yeux. Étienne traversa les appartements du château, descendit
par le grand escalier, gagna la grève, et courut vers la maison de
Gabrielle où il vit de la lumière. En arrivant dans le petit jardin, et à la
lueur du flambeau qui éclairait le rouet de sa nourrice, Gabrielle avait
aperçu sur la chaise un homme à la place de cette bonne femme. Au
bruit des pas, cet homme s’était avancé vers elle et l’avait effrayée.
L’aspect du baron d’Artagnon justifiait bien la peur qu’il inspirait à
Gabrielle.
—Vous êtes la fille à Beauvouloir, le médecin de Monseigneur, lui
dit le lieutenant de la compagnie d’ordonnance quand Gabrielle fut
remise de sa frayeur.
—Oui, seigneur.
—J’ai des choses de la plus haute importance à vous confier. Je
suis le baron d’Artagnon, le lieutenant de la compagnie
d’ordonnance que monseigneur le duc d’Hérouville commande.
Dans les circonstances où se trouvaient les deux amants,
Gabrielle fut frappée de ces paroles et du ton de franchise avec
lequel le soldat les prononça.
—Votre nourrice est là, elle peut nous entendre, venez, dit le
baron.
Il sortit, Gabrielle le suivit. Tous deux allèrent sur la grève qui
était derrière la maison.
—Ne craignez rien, lui dit le baron.
Ce mot aurait épouvanté une personne qui n’eût pas été
ignorante; mais une jeune fille simple et qui aime ne se croit jamais
en péril.
—Chère enfant, lui dit le baron, en s’efforçant de donner un ton
mielleux à sa voix, vous et votre père vous êtes au bord d’un abîme
où vous allez tomber demain; je ne saurais voir ceci sans vous
avertir. Monseigneur est furieux contre votre père et contre vous, il
vous soupçonne d’avoir séduit son fils, et il aime mieux le voir mort
que le voir votre mari: voilà pour son fils. Quant à votre père, voici la
résolution qu’a prise Monseigneur. Il y a neuf ans, votre père fut
impliqué dans une affaire criminelle; il s’agissait du détournement
d’un enfant noble au moment de l’accouchement de la mère, et
auquel il s’est employé. Monseigneur, sachant l’innocence de votre
père, le garantit alors des poursuites du parlement; mais il va le faire
saisir et le livrer à la justice en demandant qu’on procède contre lui.
Votre père sera rompu vif; mais en faveur des services qu’il a rendus
à son maître, peut-être obtiendra-t-il de n’être que pendu. J’ignore ce
que Monseigneur a décidé de vous; mais je sais que vous pouvez
sauver monseigneur de Nivron de la colère de son père, sauver
Beauvouloir du supplice horrible qui l’attend, et vous sauver vous-
même.
—Que faut-il faire? dit Gabrielle.
—Allez vous jeter aux pieds de Monseigneur, lui avouer que son
fils vous aime malgré vous, et lui dire que vous ne l’aimez pas. En
preuve de ceci, vous lui offrirez d’épouser l’homme qu’il lui plaira de
vous désigner pour mari. Il est généreux, il vous établira richement.
—Je puis tout faire, excepté de renier mon amour.
—Mais s’il le faut pour sauver votre père, vous et monseigneur
de Nivron?
—Étienne, dit-elle, en mourra, et moi aussi!
—Monseigneur de Nivron sera triste de vous perdre, mais il vivra
pour l’honneur de sa maison; vous vous résignerez à n’être que la
femme d’un baron, au lieu d’être duchesse, et votre père vivra,
répondit l’homme positif.
En ce moment, Étienne arrivait à la maison, il n’y vit pas
Gabrielle, et jeta un cri perçant.
—Le voici, s’écria la jeune fille, laissez-moi l’aller rassurer.
—Je viendrai savoir votre réponse demain matin, dit le baron.
—Je consulterai mon père, répondit-elle.
—Vous ne le verrez plus, je viens de recevoir l’ordre de l’arrêter
et de l’envoyer à Rouen, sous escorte et enchaîné, dit-il en quittant
Gabrielle frappée de terreur.
La jeune fille s’élança dans la maison et y trouva Étienne
épouvanté du silence par lequel la nourrice avait répondu à sa
première question:—Où est-elle?
—Me voilà, s’écria la jeune fille dont la voix était glacée, dont les
couleurs avaient disparu, dont la démarche était lourde.
—D’où viens-tu? dit-il, tu as crié.
—Oui, je me suis heurtée contre...
—Non, mon amour, répondit Étienne en l’interrompant, j’ai
entendu les pas d’un homme.
—Étienne, nous avons sans doute offensé Dieu, mettons-nous à
genoux et prions. Je te dirai tout après.
Étienne et Gabrielle s’agenouillèrent au prie-Dieu, la nourrice
récita son rosaire.
—Mon Dieu, dit la jeune fille dans un élan qui lui fit franchir les
espaces terrestres, si nous n’avons pas péché contre vos saints
commandements, si nous n’avons offensé ni l’Église ni le roi, nous
qui ne formons qu’une seule et même personne en qui l’amour reluit
comme la clarté que vous avez mise dans une perle de la mer,
faites-nous la grâce de ne nous séparer ni dans ce monde ni dans
l’autre!
—Chère mère, ajouta Étienne, toi qui es dans les cieux, obtiens
de la Vierge que si nous ne pouvons être heureux, Gabrielle et moi,
nous mourions au moins ensemble, sans souffrir. Appelle-nous,
nous irons à toi!
Puis, ayant récité leurs prières du soir, Gabrielle raconta son
entretien avec le baron d’Artagnon.
—Gabrielle, dit le jeune homme en puisant du courage dans son
désespoir d’amour, je saurai résister à mon père.
Il la baisa au front et non plus sur les lèvres; puis il revint au
château, résolu d’affronter l’homme terrible qui pesait tant sur sa vie.
Il ne savait pas que la maison de Gabrielle allait être gardée par des
soldats aussitôt qu’il l’aurait quittée.
Le lendemain, Étienne fut accablé de douleur quand, en allant
voir Gabrielle, il la trouva prisonnière; mais Gabrielle envoya sa
nourrice pour lui dire qu’elle mourrait plutôt que de le trahir; que
d’ailleurs elle avait trouvé le moyen de tromper la vigilance des
gardes, et qu’elle se réfugierait dans la bibliothèque du cardinal, où
personne ne pourrait soupçonner qu’elle serait; mais elle ignorait
quand elle pourrait accomplir son dessein. Étienne se tint alors dans
sa chambre, où les forces de son cœur s’usèrent dans une pénible
attente.
A trois heures, les équipages du duc et sa suite entrèrent au
château, où il devait venir souper avec sa compagnie. En effet, à la
chute du jour, madame la comtesse de Grandlieu à qui sa fille
donnait le bras, le duc et la marquise de Noirmoutier montaient le
grand escalier dans un profond silence, car le front sévère de leur
maître avait épouvanté tous les serviteurs. Quoique le baron
d’Artagnon eût appris l’évasion de Gabrielle, il avait affirmé qu’elle
était gardée; mais il tremblait d’avoir compromis la réussite de son
plan particulier, au cas où le duc verrait son dessein contrarié par
cette fuite. Ces deux terribles figures avaient une expression
farouche mal déguisée par l’air agréable que leur imposait la
galanterie. Le duc avait commandé à son fils de se trouver au salon.
Quand la compagnie y entra, le baron d’Artagnon reconnut à la
physionomie abattue d’Étienne que l’évasion de Gabrielle lui était
encore inconnue.
—Voici monsieur mon fils, dit le vieux duc en prenant Étienne par
la main et le présentant aux dames.
Étienne les salua sans mot dire. La comtesse et mademoiselle
de Grandlieu échangèrent un regard qui n’échappa point au vieillard.
—Votre fille sera mal partagée, dit-il à voix basse, n’est-ce pas là
votre pensée?
—Je pense tout le contraire, mon cher duc, répondit la mère en
souriant.
La marquise de Noirmoutier qui accompagnait sa sœur se prit à
rire finement. Ce rire perça le cœur d’Étienne, que la vue de la
grande demoiselle avait déjà terrifié.
—Hé! bien, monsieur le duc, lui dit son père à voix basse et d’un
air enjoué, ne vous ai-je pas trouvé là un beau moule? Que dites-
vous de ce brin de fille, mon chérubin?
Le vieux duc ne mettait pas en doute l’obéissance de son fils,
Étienne était pour lui l’enfant de sa mère, la même pâte docile au
doigt.
—Qu’il ait un enfant et qu’il crève! pensait le vieillard, peu m’en
chault.
—Mon père, dit l’enfant d’une voix douce, je ne vous comprends
pas.
—Venez chez vous, j’ai deux mots à vous dire, fit le duc en
passant dans la chambre d’honneur.
Étienne suivit son père. Les trois dames, émues par un
mouvement de curiosité que partagea le baron d’Artagnon, se
promenèrent dans cette grande salle de manière à se trouver
groupées à la porte de la chambre d’honneur que le duc avait
laissée entr’ouverte.
—Cher Benjamin, dit le vieillard en adoucissant d’abord sa voix,
je t’ai choisi pour femme cette grande et belle demoiselle; elle est
l’héritière des domaines d’une branche cadette de la maison de
Grandlieu, bonne et vieille noblesse du duché de Bretagne. Ainsi,
sois gentil compagnon, et rappelle-toi les plus jolies choses de tes
livres pour leur dire des galanteries avant de leur en faire.
—Mon père, le premier devoir d’un gentilhomme n’est-il pas de
tenir sa parole?
—Oui!
—Hé! bien, quand je vous ai pardonné la mort de ma mère,
morte ici par le fait de son mariage avec vous, ne m’avez-vous pas
promis de ne jamais contrarier mes désirs? Moi-même je t’obéirai
comme au Dieu de la famille, avez-vous dit. Je n’entreprends rien
sur vous, je ne demande que d’avoir mon libre arbitre dans une
affaire où il s’en va de ma vie, et qui me regarde seul: mon mariage.
—J’entendais, dit le vieillard en sentant tout son sang lui monter
au visage, que tu ne t’opposerais pas à la continuation de notre
noble race.
—Vous ne m’avez point fait de condition, dit Étienne. Je ne sais
ce que l’amour a de commun avec une race; mais ce que je sais
bien, c’est que j’aime la fille de votre vieil ami Beauvouloir, et petite-
fille de votre amie la Belle Romaine.
—Mais elle est morte, répondit le vieux colosse d’un air à la fois
sombre et railleur qui annonçait l’intention où il était de la faire
disparaître.
Il y eut un moment de profond silence.
Le vieillard aperçut les trois dames et le baron d’Artagnon. En cet
instant suprême, Étienne, dont le sens de l’ouïe était si délicat,
entendit dans la bibliothèque la pauvre Gabrielle qui, voulant faire
savoir à son ami qu’elle s’y était renfermée, chantait ces paroles:
Une hermine
Est moins fine,
Le lis a moins de fraîcheur.
L’enfant maudit, que l’horrible phrase de son père avait plongé

dans les abîmes de la mort, revint à la surface de la vie sur les ailes
de cette poésie. Quoique déjà ce mouvement de terreur, effacé si
rapidement, lui eût brisé le cœur, il rassembla ses forces, releva la
tête, regarda son père en face pour la première fois de sa vie,
échangea mépris pour mépris, et dit avec l’accent de la haine:—Un
gentilhomme ne doit pas mentir! D’un bond il sauta vers la porte
opposée à celle du salon et cria:—Gabrielle!
Tout à coup, la suave créature apparut dans l’ombre comme un
lis dans les feuillages, et trembla devant ce groupe de femmes
moqueuses, instruites des amours d’Étienne. Semblable à ces
nuages qui portent la foudre, le vieux duc, arrivé à un degré de rage
qui ne se décrit point, se détachait sur le front brillant que
produisaient les riches habillements de ces trois dames de cour.
Entre la prolongation de sa race et une mésalliance, tout autre
homme aurait hésité; mais il se rencontra dans ce vieil homme
indompté la férocité qui jusqu’alors avait décidé toutes les difficultés
humaines; il tirait à tout propos l’épée, comme le seul remède qu’il
connût aux nœuds gordiens de la vie. Dans cette circonstance où le
bouleversement de ses idées était au comble, le naturel devait
triompher. Deux fois pris en flagrant délit de mensonge par un être
abhorré, par son enfant maudit mille fois, et plus que jamais maudit
au moment où sa faiblesse méprisée, et pour lui la plus méprisable,
triomphait d’une omnipotence infaillible jusqu’alors, il n’y eut plus en
lui ni père, ni homme: le tigre sortit de l’antre où il se cachait. Le
vieillard, que la vengeance rendit jeune, jeta sur le plus ravissant
couple d’anges qui eût consenti à mettre les pieds sur la terre, un
regard pesant de haine et qui assassinait déjà.
—Eh! bien, crevez tous! Toi, sale avorton, la preuve de ma honte.
Toi, dit-il à Gabrielle, misérable gourgandine à langue de vipère qui
as empoisonné ma maison!
Ces paroles portèrent dans le cœur des deux enfants la terreur
dont elles étaient chargées. Au moment où Étienne vit la large main
de son père armée d’un fer et levée sur Gabrielle, il mourut, et
Gabrielle tomba morte en voulant le retenir.
Le vieillard ferma la porte avec rage, et dit à mademoiselle de
Grandlieu:—Je vous épouserai, moi!
—Et vous êtes assez vert-galant pour avoir une belle lignée, dit
la comtesse à l’oreille de ce vieillard qui avait servi sous sept rois de
France.
Paris, 1831-1836.
LES MARANA.
A MADAME LA COMTESSE MERLIN.
Malgré la discipline que le maréchal Suchet avait introduite dans

son corps d’armée, il ne put empêcher un premier moment de
trouble et de désordre à la prise de Tarragone. Selon quelques
militaires de bonne foi, cette ivresse de la victoire ressembla
singulièrement à un pillage, que le maréchal sut d’ailleurs
promptement réprimer. L’ordre rétabli, chaque régiment parqué dans
son quartier, le commandant de place nommé, vinrent les
administrateurs militaires. La ville prit alors une physionomie
métisse. Si l’on y organisa tout à la française, on laissa les
Espagnols libres de persister, in petto, dans leurs goûts nationaux.
Ce premier moment de pillage qui dura pendant une période de
temps assez difficile à déterminer, eut, comme tous les événements
sublunaires, une cause facile à révéler. Il se trouvait à l’armée du
maréchal un régiment presque entièrement composé d’Italiens, et
commandé par un certain colonel Eugène, homme d’une bravoure
extraordinaire, un second Murat, qui, pour s’être mis trop tard en
guerre, n’eut ni grand-duché de Berg, ni royaume de Naples, ni balle
à Pizzo. S’il n’obtint pas de couronnes, il fut très-bien placé pour
obtenir des balles, et il ne serait pas étonnant qu’il en eût rencontré
quelques-unes. Ce régiment avait eu pour éléments les débris de la
légion italienne. Cette légion était pour l’Italie ce que sont pour la
France les bataillons coloniaux. Son dépôt, établi à l’île d’Elbe, avait
servi à déporter honorablement et les fils de famille qui donnaient
des craintes pour leur avenir, et ces grands hommes manqués, que
la société marque d’avance au fer chaud, en les appelant des
mauvais sujets. Tous gens incompris pour la plupart, dont l’existence
peut devenir, ou belle au gré d’un sourire de femme qui les relève de
leur brillante ornière, ou épouvantable à la fin d’une orgie, sous
l’influence de quelque méchante réflexion échappée à leurs
compagnons d’ivresse. Napoléon avait donc incorporé ces hommes
d’énergie dans le 6e de ligne, en espérant les métamorphoser
presque tous en généraux, sauf les déchets occasionnés par le
boulet; mais les calculs de l’empereur ne furent parfaitement justes
que relativement aux ravages de la mort. Ce régiment, souvent
décimé, toujours le même, acquit une grande réputation de valeur
sur la scène militaire, et la plus détestable de toutes dans la vie
privée. Au siége de Tarragone, les Italiens perdirent leur célèbre
capitaine Bianchi, le même qui, pendant la campagne, avait parié
manger le cœur d’une sentinelle espagnole, et le mangea. Ce
divertissement de bivouac est raconté ailleurs (Scènes de la Vie
parisienne), et il s’y trouve sur le 6e de ligne certains détails qui
confirment tout ce qu’on en dit ici. Quoique Bianchi fût le prince des
démons incarnés auxquels ce régiment devait sa double réputation,
il avait cependant cette espèce d’honneur chevaleresque qui, à
l’armée, fait excuser les plus grands excès. Pour tout dire en un mot,
il eût été, dans l’autre siècle, un admirable flibustier. Quelques jours
auparavant, il s’était distingué par une action d’éclat que le maréchal
avait voulu reconnaître. Bianchi refusa grade, pension, décoration
nouvelle, et réclama pour toute récompense la faveur de monter le
premier à l’assaut de Tarragone. Le maréchal accorda la requête et
oublia sa promesse; mais Bianchi le fit souvenir de Bianchi. L’enragé
capitaine planta, le premier, le drapeau français sur la muraille, et y
fut tué par un moine.
Cette digression historique était nécessaire pour expliquer
comment le 6e de ligne entra le premier dans Tarragone, et pourquoi
le désordre, assez naturel dans une ville emportée de vive force,
dégénéra si promptement en un léger pillage.
Ce régiment comptait deux officiers peu remarquables parmi ces
hommes de fer, mais qui joueront néanmoins dans cette histoire, par
juxta-position, un rôle assez important.
Le premier, capitaine d’habillement, officier moitié militaire, moitié
civil, passait, en style soldatesque, pour faire ses affaires. Il se
prétendait brave, se vantait, dans le monde, d’appartenir au 6e de
ligne, savait relever sa moustache en homme prêt à tout briser, mais
ses camarades ne l’estimaient point. Sa fortune le rendait prudent.
Aussi l’avait-on, pour deux raisons, surnommé le capitaine des
corbeaux. D’abord, il sentait la poudre d’une lieue, et fuyait les coups
de fusil à tire-d’aile; puis ce sobriquet renfermait encore un innocent
calembour militaire, que du reste il méritait, et dont un autre se serait
fait gloire. Le capitaine Montefiore, de l’illustre famille de Montefiore
de Milan, mais à qui les lois du royaume d’Italie interdisaient de
porter son titre, était un des plus jolis garçons de l’armée. Cette
beauté pouvait être une des causes occultes de sa prudence aux
jours de bataille. Une blessure qui lui eût déformé le nez, coupé le
front, ou couturé les joues, aurait détruit l’une des plus belles figures
italiennes de laquelle jamais femme ait rêveusement dessiné les
proportions délicates. Son visage, assez semblable au type qui a
fourni le jeune Turc mourant à Girodet dans son tableau de la
Révolte du Caire, était un de ces visages mélancoliques dont les
femmes sont presque toujours les dupes. Le marquis de Montefiore
possédait des biens substitués, il avait engagé tous les revenus pour
un certain nombre d’années, afin de payer des escapades italiennes
qui ne se concevraient point à Paris. Il s’était ruiné à soutenir un
théâtre de Milan, pour imposer au public une mauvaise cantatrice
qui, disait-il, l’aimait à la folie. Le capitaine Montefiore avait donc un
très-bel avenir, et ne se souciait pas de le jouer contre un méchant
morceau de ruban rouge. Si ce n’était pas un brave, c’était au moins
un philosophe, et il avait des précédents, s’il est permis de parler ici
notre langage parlementaire. Philippe II ne jura-t-il pas, à la bataille
de Saint-Quentin, de ne plus se retrouver au feu, excepté celui des
bûchers de l’inquisition; et le duc d’Albe ne l’approuva-t-il pas de
penser que le plus mauvais commerce du monde était le troc
involontaire d’une couronne contre une balle de plomb? Donc,
Montefiore était philippiste en sa qualité de marquis; philippiste en sa
qualité de joli garçon; et, au demeurant, aussi profond politique que
pouvait l’être Philippe II. Il se consolait de son surnom et de la
mésestime du régiment en pensant que ses camarades étaient des
chenapans, dont l’opinion pourrait bien un jour ne pas obtenir grande
créance, si par hasard ils survivaient à cette guerre d’extermination.
Puis, sa figure était un brevet de valeur; il se voyait forcément
nommé colonel, soit par quelque phénomène de faveur féminine,
soit par une habile métamorphose du capitaine d’habillement en
officier d’ordonnance, et de l’officier d’ordonnance en aide de camp
de quelque complaisant maréchal. Pour lui, la gloire était une simple
question d’habillement. Alors, un jour, je ne sais quel journal dirait en
parlant de lui, le brave colonel Montefiore, etc. Alors il aurait cent
mille scudi de rente, épouserait une fille de haut lieu, et personne
n’oserait ni contester sa bravoure ni vérifier ses blessures. Enfin, le
capitaine Montefiore avait un ami dans la personne du quartier-
maître, Provençal né aux environs de Nice, et nommé Diard.
Un ami, soit au bagne, soit dans une mansarde d’artiste, console
de bien des malheurs. Or, Montefiore et Diard étaient deux
philosophes qui se consolaient de la vie par l’entente du vice,
comme deux artistes endorment les douleurs de leur vie par les
espérances de la gloire. Tous deux voyaient la guerre dans ses
résultats, non dans son action, et ils donnaient tout simplement aux
morts le nom de niais. Le hasard en avait fait des soldats, tandis
qu’ils auraient dû se trouver assis autour des tapis verts d’un
congrès. La nature avait jeté Montefiore dans le moule des Rizzio; et
Diard, dans le creuset des diplomates. Tous deux étaient doués de
cette organisation fébrile, mobile, à demi féminine, également forte
pour le bien et pour le mal; mais dont il peut émaner, suivant le
caprice de ces singuliers tempéraments, un crime aussi bien qu’une
action généreuse, un acte de grandeur d’âme ou une lâcheté. Leur
sort dépend à tout moment de la pression plus ou moins vive
produite sur leur appareil nerveux par des passions violentes et
fugitives. Diard était un assez bon comptable, mais aucun soldat ne
lui aurait confié ni sa bourse ni son testament, peut-être par suite de
l’antipathie qu’ont les militaires contre les bureaucrates. Le quartier-
maître ne manquait ni de bravoure ni d’une sorte de générosité
juvénile, sentiments dont se dépouillent certains hommes en
vieillissant, en raisonnant ou en calculant. Journalier comme peut
l’être la beauté d’une femme blonde, Diard était du reste vantard,
grand parleur, et parlait de tout. Il se disait artiste, et ramassait, à
l’imitation de deux célèbres généraux, les ouvrages d’art,
uniquement, assurait-il, afin de n’en pas priver la postérité. Ses
camarades eussent été fort embarrassés d’asseoir un jugement vrai
sur lui. Beaucoup d’entre eux, habitués à recourir à sa bourse,
suivant l’occurrence, le croyaient riche; mais il était joueur, et les
joueurs n’ont rien en propre. Il était joueur autant que Montefiore, et
tous les officiers jouaient avec eux: parce que, à la honte des
hommes, il n’est pas rare de voir autour d’un tapis vert des gens qui,
la partie finie, ne se saluent pas et ne s’estiment point. Montefiore
avait été l’adversaire de Bianchi dans le pari du cœur espagnol.
Montefiore et Diard se trouvèrent aux derniers rangs lors de
l’assaut, mais les plus avancés au cœur de la ville, dès qu’elle fut
prise. Il arrive de ces hasards dans les mêlées. Seulement, les deux
amis étaient coutumiers du fait. Se soutenant l’un l’autre, ils
s’engagèrent bravement à travers un labyrinthe de petites rues
étroites et sombres, allant tous deux à leurs affaires, l’un cherchant
des madones peintes, l’autre des madones vivantes. En je ne sais
quel endroit de Tarragone, Diard reconnut à l’architecture du porche
un couvent dont la porte était enfoncée, et sauta dans le cloître pour
y arrêter la fureur des soldats. Il y arriva fort à propos, car il
empêcha deux Parisiens de fusiller une Vierge de l’Albane qu’il leur
acheta, malgré les moustaches dont l’avaient décorée les deux
voltigeurs par fanatisme militaire. Montefiore, resté seul, aperçut en
face du couvent la maison d’un marchand de draperies d’où partit un
coup de feu tiré sur lui, au moment où, la regardant de haut en bas,
il y fut arrêté par une foudroyante œillade qu’il échangea vivement
avec une jeune fille curieuse, dont la tête s’était glissée dans le coin
d’une jalousie. Tarragone prise d’assaut, Tarragone en colère,
faisant feu par toutes les croisées; Tarragone violée, les cheveux
épars, à demi nue, ses rues flamboyantes, inondées de soldats
français tués ou tuant, valait bien un regard, le regard d’une
Espagnole intrépide. N’était-ce pas le combat de taureaux agrandi?
Montefiore oublia le pillage, et n’entendit plus, pendant un moment,
ni les cris, ni la mousquetade, ni les grondements de l’artillerie. Le
profil de cette Espagnole était ce qu’il avait vu de plus divinement
délicieux, lui, libertin d’Italie, lui lassé d’Italiennes, lassé de femmes,
et rêvant une femme impossible, parce qu’il était las des femmes. Il
put encore tressaillir, lui, le débauché, qui avait gaspillé sa fortune
pour réaliser les mille folies, les mille passions d’un homme jeune,
blasé; le plus abominable monstre que puisse engendrer notre
société. Il lui passa par la tête une bonne idée que lui inspira sans
doute le coup de fusil du boutiquier patriote; ce fut de mettre le feu à
la maison. Mais il se trouvait seul, sans moyens d’action; le centre
de la bataille était sur la grande place où quelques entêtés se
défendaient encore. D’ailleurs, il lui survint une meilleure idée. Diard
sortit du couvent, Montefiore ne lui dit rien de sa découverte, et alla
faire plusieurs courses avec lui dans la ville. Mais, le lendemain, le
capitaine italien fut militairement logé chez le marchand de
draperies. N’était-ce pas la demeure naturelle d’un capitaine
d’habillement?
La maison de ce bon Espagnol était composée au rez-de-
chaussée d’une vaste boutique sombre, extérieurement armée de
gros barreaux en fer, comme le sont à Paris les vieux magasins de
la rue des Lombards. Cette boutique communiquait avec un parloir
éclairé par une cour intérieure, grande chambre où respirait tout
l’esprit du moyen âge: vieux tableaux enfumés, vieilles tapisseries,
antique brazero, le chapeau à plumes suspendu à un clou, le fusil
des guérillas et le manteau de Bartholo. La cuisine attenait à ce lieu
de réunion, à cette pièce unique où l’on mangeait, où l’on se
réchauffait à la sourde lueur du brasier, en fumant des cigares, en
discourant pour animer les cœurs à la haine contre les Français.
Des brocs d’argent, la vaisselle précieuse, ornaient une crédence, à
la mode ancienne. Mais le jour, parcimonieusement distribué, ne
laissait briller que faiblement les objets éclatants; et, comme dans un
tableau de l’école hollandaise, là tout devenait brun, même les
figures. Entre la boutique et ce salon si beau de couleur et de vie
patriarcale, se trouvait un escalier assez obscur qui conduisait à un
magasin où des jours, habilement pratiqués, permettaient
d’examiner les étoffes. Puis, au-dessus était l’appartement du
marchand et de sa femme. Enfin, le logement de l’apprenti et d’une
servante avait été ménagé dans une mansarde établie sous un toit
en saillie sur la rue, et soutenue par des arcs-boutants qui prêtaient
à ce logis une physionomie bizarre; mais leurs chambres furent
prises par le marchand et par sa femme, qui abandonnèrent à
l’officier leur propre appartement, sans doute afin d’éviter toute
querelle.
Montefiore se donna pour un ancien sujet de l’Espagne,
persécuté par Napoléon et qui le servait contre son gré; ces demi-
mensonges eurent le succès qu’il en attendait. Il fut invité à partager
le repas de la famille, comme le voulaient son nom, sa naissance et
son titre. Montefiore avait ses raisons en cherchant à capter la
bienveillance du marchand; il sentait sa madone, comme l’ogre
sentait la chair fraîche du petit Poucet et de ses frères. Malgré la
confiance qu’il sut inspirer au drapier, celui-ci garda le plus profond
secret sur cette madone; et non-seulement le capitaine n’aperçut
aucune trace de jeune fille durant la première journée qu’il passa
sous le toit de l’honnête Espagnol, mais encore il ne put entendre
aucun bruit ni saisir aucun indice qui lui en révélât la présence dans
cet antique logis. Cependant tout résonnait si bien entre les
planchers de cette construction, presque entièrement bâtie en bois,
que pendant le silence des premières heures de la nuit, Montefiore
espéra deviner en quel lieu se trouvait cachée la jeune inconnue.
Imaginant qu’elle était la fille unique de ces vieilles gens, il la crut
consignée par eux dans les mansardes, où ils avaient établi leur
domicile pour tout le temps de l’occupation. Mais aucune révélation
ne trahit la cachette de ce précieux trésor. L’officier resta bien le
visage collé aux petits carreaux en losange, et retenus par des
branches de plomb, qui donnaient sur la cour intérieure, noire
enceinte de murailles; mais il n’y aperçut aucune lueur, si ce n’est
celle que projetaient les fenêtres de la chambre où étaient les deux
vieux époux, toussant, allant, venant, parlant. De la jeune fille, pas
même l’ombre. Montefiore était trop fin pour risquer l’avenir de sa
passion en se hasardant à sonder nuitamment la maison, ou à
frapper doucement aux portes. Découvert par ce chaud patriote,
soupçonneux comme doit l’être un Espagnol père et marchand de
draperies, c’eût été se perdre infailliblement. Le capitaine résolut
donc d’attendre avec patience, espérant tout du temps et de
l’imperfection des hommes, qui finissent toujours, même les
scélérats, à plus forte raison les honnêtes gens, par oublier quelque
précaution. Le lendemain, il découvrit où couchait la servante, en
voyant une espèce de hamac dans la cuisine. Quant à l’apprenti, il
dormait sur les comptoirs de la boutique. Pendant cette seconde
journée, au souper, Montefiore, en maudissant Napoléon, réussit à
dérider le front soucieux de son hôte, Espagnol grave, noir visage,
semblable à ceux que l’on sculptait jadis sur le manche des rebecs;
et sa femme retrouva un sourire gai de haine dans les plis de sa
vieille figure. La lampe et les reflets du brazero éclairaient
fantastiquement cette noble salle. L’hôtesse venait d’offrir un
cigaretto à leur demi-compatriote. En ce moment, Montefiore
entendit le frôlement d’une robe et la chute d’une chaise, derrière
une tapisserie.

Textbook Algorithmic Aspects of Machine Learning 1St Edition Ankur Moitra Ebook All Chapter PDF

Uploaded by

Document Information

Original Title

Copyright

Available Formats

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Available Formats

Textbook Algorithmic Aspects of Machine Learning 1St Edition Ankur Moitra Ebook All Chapter PDF

Uploaded by

Copyright:

Available Formats

Algorithmic Aspects of Machine

Learning 1st Edition Ankur Moitra

Machine Learning for Algorithmic Trading 2nd Edition

Machine Learning for Algorithmic Trading 2nd Edition

Machine Learning for Algorithmic Trading 2nd Edition

Hands On Unsupervised Learning Using Python How to

Campus Placements 1st Edition Ankur Malhotra

Python Real World Machine Learning: Real World Machine

Fundamentals of Machine Learning 1st Edition Thomas P.

Hyperparameter Optimization in Machine Learning: Make

a n k u r m o i t r a is the Rockwell International Associate Professor of

Cambridge University Press is part of the University of Cambridge.

Preface page vii

5.4 Prony’s Method 80

The monograph is based on the class Algorithmic Aspects of Machine

Machine learning is starting to take over decision-making in many aspects of

In this book, we will approach the problem of giving provable guarantees

(c) Tensor decompositions

In this chapter, we will explore the nonnegative matrix factorization problem.

The Singular Value Decomposition

where U and V are orthonormal and is a rectangular matrix with nonzero

where D is diagonal. For now, the important facts to remember are:

(1) Existence: Every matrix has a singular value decomposition, even

Let Mk be the best rank k approximation. Then, from our alternative

Again, let Mk be the best rank k approximation. Then M − Mk = σk+1 . As

Latent Semantic Indexing

notions of syntax and grammar and representing a document as a vector loses

(1) topics are orthonormal.

(2) topics contain negative values.

Nonnegative Matrix Factorization

and further suppose that each Dj,j > 0. Then

Hence we can, without loss of generality, assume that our nonnegative

(1) a collection of r topics – the columns of A – that are themselves

Alternating Minimization for NMF

Guess entrywise nonnegative A(0) of dimension m × r

Alternating minimization is quite general, and throughout this book we will

2.2 Algebraic Algorithms

Rank vs. Nonnegative Rank

Example: Let M be an n × n matrix where Mij = (i − j)2 .

Systems of Polynomial Inequalities

This is equivalent to deciding if the above linear system has a solution,

so we can recover the columns of W from a linear transformation of the

where U is an n × r matrix that has a right pseudo-inverse. Similarly, we can

where V is an r × m matrix that has a left pseudo-inverse. Now we get a new

2.3 Stability and Separability

Cones and Intermediate Simplicies

reduction in both directions. We will do so by way of a few intermediate

Definition 2.3.5 An instance of the problem P1 consists of an m × n entrywise

have instead chosen to represent it by its supporting hyperplanes (through the

L’enfant maudit, que l’horrible phrase de son père avait plongé

A MADAME LA COMTESSE MERLIN.

Malgré la discipline que le maréchal Suchet avait introduite dans

You might also like