Textbook Splitting Methods in Communication Imaging Science and Engineering Roland Glowinski Ebook All Chapter PDF

Splitting Methods in Communication
Imaging Science and Engineering

Roland Glowinski
Visit to download the full and correct content document:
https://textbookfull.com/product/splitting-methods-in-communication-imaging-science-
and-engineering-roland-glowinski/
More products digital (pdf, epub, mobi) instant
download maybe you interests ...
Approximation Methods in Science and Engineering Reza

N. Jazar
https://textbookfull.com/product/approximation-methods-in-
science-and-engineering-reza-n-jazar/
Computational and Analytic Methods in Science and

Engineering Christian Constanda
https://textbookfull.com/product/computational-and-analytic-
methods-in-science-and-engineering-christian-constanda/
Domain Decomposition Methods in Science and Engineering

XXV Ronald Haynes
https://textbookfull.com/product/domain-decomposition-methods-in-
science-and-engineering-xxv-ronald-haynes/
Computational and Analytic Methods in Science and

Engineering 1st Edition Constanda
https://textbookfull.com/product/computational-and-analytic-
methods-in-science-and-engineering-1st-edition-constanda/
Mathematical Methods in Science and Engineering 2nd
Edition Selçuk S. Bayin
https://textbookfull.com/product/mathematical-methods-in-science-
and-engineering-2nd-edition-selcuk-s-bayin/
Essentials of Mathematical Methods in Science and

Engineering Selçuk ■. Bayin
https://textbookfull.com/product/essentials-of-mathematical-
methods-in-science-and-engineering-selcuk-s-bayin/
Automation Communication and Cybernetics in Science and

Engineering 2015 2016 1st Edition Sabina Jeschke
https://textbookfull.com/product/automation-communication-and-
cybernetics-in-science-and-engineering-2015-2016-1st-edition-
sabina-jeschke/
Domain Decomposition Methods in Science and Engineering

XXIII 1st Edition Chang-Ock Lee
https://textbookfull.com/product/domain-decomposition-methods-in-
science-and-engineering-xxiii-1st-edition-chang-ock-lee/
Essentials of Mathematical Methods in Science and

Engineering 2nd Edition S. Selcuk Bayin
https://textbookfull.com/product/essentials-of-mathematical-
methods-in-science-and-engineering-2nd-edition-s-selcuk-bayin/
Scientific Computation
Roland Glowinski
Stanley J. Osher
Wotao Yin Editors
Splitting Methods
in Communication,
Imaging, Science,
and Engineering
Splitting Methods in Communication, Imaging,
Science, and Engineering
Editorial Board
J.-J. Chattot, Davis, CA, USA
P. Colella, Berkeley, CA, USA
R. Glowinski, Houston, TX, USA
P. Joly, Le Chesnay, France
D.I. Meiron, Pasadena, CA, USA
O. Pironneau, Paris, France
A. Quarteroni, Lausanne, Switzerland
and Politecnico of Milan, Italy
J. Rappaz, Lausanne, Switzerland
R. Rosner, Chicago, IL, USA
P. Sagaut, Paris, France
J.H. Seinfeld, Pasadena, CA, USA
A. Szepessy, Stockholm, Sweden
M.F. Wheeler, Austin, TX, USA
M.Y. Hussaini, Tallahassee, FL, USA
More information about this series at http://www.springer.com/series/718

Roland Glowinski • Stanley J. Osher • Wotao Yin
Editors
Splitting Methods
in Communication, Imaging,
Science, and Engineering
123
Editors
Roland Glowinski Stanley J. Osher
Department of Mathematics Department of Mathematics
University of Houston UCLA
Houston, TX, USA Los Angeles, CA, USA
Wotao Yin
Department of Mathematics
UCLA
Los Angeles, CA, USA
ISSN 1434-8322 ISSN 2198-2589 (electronic)

ISBN 978-3-319-41587-1 ISBN 978-3-319-41589-5 (eBook)
DOI 10.1007/978-3-319-41589-5
Library of Congress Control Number: 2016951957
Mathematics Subject Classification (2010): 49-02, 65-06, 90-06, 68U10, 47N10
© Springer International Publishing Switzerland 2016

This work is subject to copyright. All rights are reserved by the Publisher, whether the whole or part of
the material is concerned, specifically the rights of translation, reprinting, reuse of illustrations, recitation,
broadcasting, reproduction on microfilms or in any other physical way, and transmission or information
storage and retrieval, electronic adaptation, computer software, or by similar or dissimilar methodology
now known or hereafter developed.
The use of general descriptive names, registered names, trademarks, service marks, etc. in this publication
does not imply, even in the absence of a specific statement, that such names are exempt from the relevant
protective laws and regulations and therefore free for general use.
The publisher, the authors and the editors are safe to assume that the advice and information in this book
are believed to be true and accurate at the date of publication. Neither the publisher nor the authors or
the editors give a warranty, express or implied, with respect to the material contained herein or for any
errors or omissions that may have been made. The publisher remains neutral with regard to jurisdictional
claims in published maps and institutional affiliations.
Printed on acid-free paper
This Springer imprint is published by Springer Nature

The registered company is Springer International Publishing AG
The registered company address is: Gewerbestrasse 11, 6330 Cham, Switzerland
Preface
Operator-splitting methods have been around for more than a century, starting with
their common ancestor, the Lie scheme, introduced by Sophus Lie in the mid-1870s.
It seems however that one had to wait after WW2 to see these methods joining the
computational and applied mathematics mainstream, the driving force being their
applicability to the solution of challenging problems from science and engineering
modeled by partial differential equations. The main actors of this renewed inter-
est in operator-splitting methods were mainly Douglas, Peaceman, Rachford, and
Wachpress in the USA with the alternating direction implicit (ADI) methods and
Dyakonov, Marchuk, and Yanenko in the USSR with the fractional step methods.
These basic methodologies have known many variants and improvements and gen-
erated a quite important literature consisting of many articles and few books, of the-
oretical and applied natures, with computational mechanics and physics being the
main sources of applications. In the mid-1970s, tight relationships between the aug-
mented Lagrangian methods of Hestenes and Powell and ADI methods were iden-
tified, leading to the alternating direction methods of multipliers (ADMM). Albeit
originating from problems from continuum mechanics modeled by partial differen-
tial equations and inequalities, it was quickly realized that the ADMM methodology
applies to problems outside the realm of partial differential equations and inequali-
ties, in information sciences in particular, an area where ADMM has enjoyed a very
fast-growing popularity. The main reason of this popularity is that most often large-
scale optimization problems have decomposition properties that ADMM can take
advantage of, leading to modular algorithms, well suited to parallelization. Another
factor explaining ADMM’s growing popularity during the last decade was the dis-
covery around 2007 of its many commonalities with the split-Bregman algorithm
widely used first in image processing and then in compressed sensing, among other
applications.
Late 2012, the three editors of this book were participating in a conference in
Hong Kong, the main conference topics being scientific computing, image pro-
cessing, and optimization. Since most lectures at the conference had some rela-
tions with operator splitting, ADMM, and split-Bregman algorithms, the idea of
a book dedicated to these topics was explored, considering the following facts:
v
vi Preface
(i) The practitioners of the above methods have become quite specialized, form-
ing subcommunities with very few interactions between them. (ii) New applications
of operator-splitting and related algorithms appear on an almost daily basis. (iii)
The diversification of the algorithms and their applications has become so large that
a volume containing the contributions of a relatively large number of experts is nec-
essary in order to interest a large audience; indeed, the last review publications on
the above topics being quite specialized (as shown in Chapter 1), the editors did
their very best to produce a large spectrum volume.
Following a Springer agreement to publish a book on operator splitting, ADMM,
split-Bregman, and related algorithms, covering both theory and applications, ex-
perts were approached to contribute to this volume. We are pleased to say that most
of them enthusiastically agreed to be part of the project.
This book is divided in chapters covering the history, foundations, applications,
as well as recent developments of operator splitting, ADMM, split Bregman, and re-
lated algorithms. Due to size and time constraints, many relevant information could
not be included in the book: the editors apologize to those authors whose contribu-
tions have been partially or totally overlooked.
Many thanks are in order:

• First, to the organizers of the December 2012 Hong Kong conference on Ad-
vances in Scientific Computing, Imaging Sciences and Optimization. Indeed,
the inception of this project took place during this meeting.
• To Springer for accepting to publish this volume. The editors acknowledge in
particular the assistance provided by Achi Dosanjh; she was involved with the
project from day one and never lost her faith in it (and in the editors), despite
the many (unavoidable) delays encountered during its completion.
• To the authors of the various chapters and to those colleagues who accepted to
review them. They are really the ones who brought this book into existence.
• To Hengda Wen and Tsorng-Whay Pan for their assistance on many issues as-
sociated with the preparation of the “manuscript” (some of them LATEXrelated).
Both of them saved the day more than once.
• To the various institutions supporting the authors, the editors, and the reviewers.
• To Indhumathi at SPi Global for her leadership in transforming a complicated
manuscript into a book
We would like to thank also all the scientists who contributed in their own way to
operator-splitting and related methods; they made this book possible. Among them,
we would like to give a special tribute to Ernie Esser and Michèle Schatzman; their
untimely departure was a shock to their friends and colleagues. Both of them had
outstanding contributions to various topics addressed in this book, for which we
thank them and dedicate this book to their memory.
Houston, TX, USA Roland Glowinski

Los Angeles, CA, USA Stanley J. Osher
Los Angeles, CA, USA Wotao Yin
February 2016
Contents
1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
Roland Glowinski, Stanley J. Osher, and Wotao Yin
1 Motivation and Background . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
2 Lie’s Schemes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
3 On the Strang Symmetrized Operator-Splitting Scheme . . . . . . . . . . . . 5
4 On the Solution of the Sub-initial Value Problems . . . . . . . . . . . . . . . . . 6
5 Further Comments on Multiplicative Operator-Splitting Schemes . . . . 7
6 On ADI Methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
7 Operator Splitting in Optimization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
8 Bregman Methods and Operator Splitting . . . . . . . . . . . . . . . . . . . . . . . . 14
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
2 Some Facts About Operator-Splitting and Alternating Direction

Methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
Roland Glowinski, Tsorng-Whay Pan, and Xue-Cheng Tai
1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
2 Operator-Splitting Schemes for the Time Discretization of Initial
Value Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
2.1 Generalities . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
2.2 Time-Discretization of (2.1) by Lie’s Scheme . . . . . . . . . . . . . . . . 22
2.3 Time-Discretization of (2.1) by Strang’s Symmetrized Scheme . . 23
2.4 Time-Discretization of (2.1) by Peaceman-Rachford’s
Alternating Direction Method . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
2.5 Time-Discretization of (2.1) by Douglas-Rachford’s
Alternating Direction Method . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
2.6 Time-Discretization of (2.1) by a Fractional θ -Scheme . . . . . . . . 28
2.7 Two Applications: Smallest Eigenvalue Computation
and Solution of an Anisotropic Eikonal Equation . . . . . . . . . . . . . 30
2.8 Time-Discretization of (2.1) by a Parallel Splitting Scheme . . . . . 33
vii
viii Contents
3 Augmented Lagrangian Algorithms and Alternating Direction

Methods of Multipliers. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
3.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
3.2 Decomposition-Coordination Methods by Augmented
Lagrangians . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
3.3 On the Relationship Between Alternating Direction
Methods and ALG2, ALG3 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
4 Operator-Splitting Methods for the Direct Numerical Simulation
of Particulate Flow . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
4.1 Generalities. Problem Formulation . . . . . . . . . . . . . . . . . . . . . . . . . 41
4.2 A Fictitious Domain Formulation . . . . . . . . . . . . . . . . . . . . . . . . . . 43
4.3 Solving Problem (2.79)–(2.84) by Operator-Splitting . . . . . . . . . . 46
4.4 Numerical Experiments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
5 Operator-Splitting Methods for the Numerical Solution of Nonlinear
Problems from Condensate and Plasma Physics . . . . . . . . . . . . . . . . . . . 52
5.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
5.2 On the Solution of the Gross-Pitaevskii Equation . . . . . . . . . . . . . 52
5.3 On the Solution of Zakharov Systems . . . . . . . . . . . . . . . . . . . . . . . 56
6 Applications of Augmented Lagrangian and ADMM Algorithms
to the Solution of Problems from Imaging . . . . . . . . . . . . . . . . . . . . . . . . 61
6.1 Variational Models for Image Processing . . . . . . . . . . . . . . . . . . . . 61
6.2 Fast Numerical Algorithms for Variational Image Processing
Models Based on Operator- Splitting and Augmented
Lagrangian Methods (ALM) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68
7 Further Comments and Complements . . . . . . . . . . . . . . . . . . . . . . . . . . . 81
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86
3 Operator Splitting . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 95
Shev MacNamara and Gilbert Strang
1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 96
2 Splitting for Ordinary Differential Equations . . . . . . . . . . . . . . . . . . . . . 97
2.1 Gaining an Order of Accuracy by Taking an Average . . . . . . . . . . 100
2.2 Higher Order Methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 100
2.3 Convection and Diffusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101
2.4 A Reaction-Diffusion PDE: Splitting Linear from Nonlinear . . . . 102
2.5 Stability of Splitting Methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103
2.6 Ordinary Splitting Does NOT Preserve the Steady State . . . . . . . 105
3 Balanced Splitting: A Symmetric Strang Splitting That Preserves
the Steady State . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 105
3.1 Balanced Splitting Preserves the Steady State . . . . . . . . . . . . . . . . 106
3.2 Splitting Fast from Slow . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 107
4 A Very Special Toeplitz-Plus-Hankel Splitting . . . . . . . . . . . . . . . . . . . . 107
4.1 All Matrix Functions f (K) Are Toeplitz-Plus-Hankel . . . . . . . . . 109
4.2 The Wave Equation Is Toeplitz-Plus-Hankel . . . . . . . . . . . . . . . . . 111
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112
Contents ix
4 Convergence Rate Analysis of Several Splitting Schemes . . . . . . . . . . . 115

Damek Davis and Wotao Yin
1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 116
1.1 Notation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 118
1.2 Assumptions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 118
1.3 The Algorithms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 119
1.4 Basic Properties of Averaged Operators . . . . . . . . . . . . . . . . . . . . . 120
2 Summable Sequence Lemma . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 120
3 Iterative Fixed-Point Residual Analysis . . . . . . . . . . . . . . . . . . . . . . . . . . 122
3.1 o(1/(k + 1)) FPR of Averaged Operators . . . . . . . . . . . . . . . . . . . . 122
3.2 o(1/(k + 1)) FPR of Relaxed PRS . . . . . . . . . . . . . . . . . . . . . . . . . 125
3.3 O(1/Λk2 ) Ergodic FPR of Fejér Monotone Sequences . . . . . . . . . 126
4 Subgradients and Fundamental Inequalities . . . . . . . . . . . . . . . . . . . . . . . 126
4.1 A Subgradient Representation of Relaxed PRS . . . . . . . . . . . . . . . 127
4.2 Optimality Conditions of Relaxed PRS . . . . . . . . . . . . . . . . . . . . . . 128
4.3 Fundamental Inequalities . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 129
5 Objective Convergence Rates . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 130
5.1 Ergodic Convergence Rates . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 130
5.2 Nonergodic Convergence Rates . . . . . . . . . . . . . . . . . . . . . . . . . . . . 132
6 Optimal FPR Rate and Arbitrarily Slow Convergence . . . . . . . . . . . . . . 134
6.1 Optimal FPR Rates . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 134
6.2 Arbitrarily Slow Convergence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 136
7 Optimal Objective Rates . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 137
7.1 Ergodic Convergence of Minimization Problems . . . . . . . . . . . . . 137
7.2 Optimal Nonergodic Objective Rates . . . . . . . . . . . . . . . . . . . . . . . 139
8 From Relaxed PRS to Relaxed ADMM . . . . . . . . . . . . . . . . . . . . . . . . . . 144
8.1 Primal Objective Convergence Rates in ADMM . . . . . . . . . . . . . . 145
9 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 146
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 146
A Further Applications of the Results of Section 3 . . . . . . . . . . . . . . . . . . . 149
1.1 o(1/(k + 1)2) FPR of FBS and PPA . . . . . . . . . . . . . . . . . . . . . . . . 149
1.2 o(1/(k + 1)2) FPR of One Dimensional DRS . . . . . . . . . . . . . . . . 151
B Further Lower Complexity Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 152
2.1 Ergodic Convergence of Feasibility Problems . . . . . . . . . . . . . . . . 152
2.2 Optimal Objective and FPR Rates with Lipschitz Derivative . . . . 152
C ADMM Convergence Rate Proofs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 153
3.1 Dual Feasibility Convergence Rates . . . . . . . . . . . . . . . . . . . . . . . . 155
3.2 Converting Dual Inequalities to Primal Inequalities . . . . . . . . . . . 156
3.3 Converting Dual Convergence Rates to Primal
Convergence Rates . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 158
D Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 159
4.1 Feasibility Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 159
4.2 Parallelized Model Fitting and Classification . . . . . . . . . . . . . . . . . 160
4.3 Distributed ADMM . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 162
x Contents
5 Self Equivalence of the Alternating Direction Method

of Multipliers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 165
Ming Yan and Wotao Yin
1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 166
1.1 ADM Works in Many Different Ways . . . . . . . . . . . . . . . . . . . . . . . 167
1.2 Contributions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 169
1.3 Organization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 171
2 Notation, Definitions, and Assumptions . . . . . . . . . . . . . . . . . . . . . . . . . . 171
3 Equivalent Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 173
4 Primal-Dual Equivalence of ADM . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 174
4.1 Primal-Dual Equivalence of ADM on (5.1) with Three
Subproblems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 178
4.2 Example: Basis Pursuit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 179
4.3 Example: Basis Pursuit Denoising . . . . . . . . . . . . . . . . . . . . . . . . . . 180
5 ADM as a Primal-Dual Algorithm on the Saddle-Point Problem . . . . . 182
6 Equivalence of ADM for Different Orders . . . . . . . . . . . . . . . . . . . . . . . . 183
7 Equivalence Results of Relaxed PRS . . . . . . . . . . . . . . . . . . . . . . . . . . . . 186
8 Application: Total Variation Image Denoising . . . . . . . . . . . . . . . . . . . . . 191
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 193
6 Application of the Strictly Contractive Peaceman-Rachford
Splitting Method to Multi-Block Separable Convex
Programming . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 195
Bingsheng He, Han Liu, Juwei Lu, and Xiaoming Yuan
1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 196
2 Preliminaries . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 201
2.1 The Variational Inequality Reformulation of (6.5) . . . . . . . . . . . . . 201
2.2 Some Notation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 201
3 Global Convergence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 203
4 Worst-Case Convergence Rate . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 210
4.1 Worse-Case Convergence Rate in a Nonergodic Sense . . . . . . . . . 211
4.2 Worse-Case Convergence Rate in the Ergodic Sense . . . . . . . . . . 213
5 A Divergence Example . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 215
5.1 Divergence of the Direct Application of the SC-PRSM
Algorithm (6.10) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 216
5.2 Divergence of the E-SC-PRSM Algorithm (6.7) . . . . . . . . . . . . . . 218
6 Numerical Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 219
6.1 Image Restoration with Mixed Impulsive and Gaussian Noises . . 220
6.2 Robust Principal Component Analysis with Missing and Noisy
Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 223
6.3 Quadratic Discriminant Analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . 226
7 Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 232
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 233
Contents xi
7 Nonconvex Sparse Regularization and Splitting Algorithms . . . . . . . . 237

Rick Chartrand and Wotao Yin
1 Early History of Nonconvex Regularization for Sparsity . . . . . . . . . . . . 237
2 Forward-Backward Splitting and Thresholdings . . . . . . . . . . . . . . . . . . . 238
3 Coordinate Descent Methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 241
4 Other Methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 245
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 246
8 ADMM and Non-convex Variational Problems . . . . . . . . . . . . . . . . . . . 251
Roland Glowinski
1 Introduction and Synopsis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 251
2 On the ADMM Based Solution of Equilibrium Problems
in Incompressible Finite Elasticity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 265
2.1 Introduction. Problem Formulation . . . . . . . . . . . . . . . . . . . . . . . . . 265
2.2 On the Existence of Solutions to Problem (8.116) . . . . . . . . . . . . . 268
2.3 On the ADMM Solution of Problem (8.116) . . . . . . . . . . . . . . . . . 270
3 On the ADMM Based Solution of the Dirichlet Problem
for the Elliptic Monge-Ampère Equation in Dimension Two . . . . . . . . 273
3.1 Introduction. Synopsis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 273
3.2 Problem Formulation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 275
3.3 An Augmented Lagrangian Approach for the Solution
of Problem (8.149) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 275
4 Application to the Solution of a Non-smooth Eigenvalue Problem
from Visco-plasticity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 283
4.1 Formulation. Motivation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 283
4.2 Some Regularization Procedures . . . . . . . . . . . . . . . . . . . . . . . . . . . 284
4.3 Finite Element Approximation of Problem (8.177) . . . . . . . . . . . . 285
4.4 Applying ALG2 to the Solution of Problem (8.187) . . . . . . . . . . . 287
5 Further Comments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 295
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 296
9 Operator Splitting Methods in Compressive Sensing and Sparse
Approximation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 301
Tom Goldstein and Xiaoqun Zhang
1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 301
2 Preliminaries: Convex Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 304
3 Forward-Backward Splitting . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 306
4 Duality . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 311
5 Method of Multipliers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 317
6 Alternating Direction Methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 322
7 Compressive Sensing Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 328
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 337
xii Contents
10 First Order Algorithms in Variational Image Processing . . . . . . . . . . . 345

M. Burger, A. Sawatzky, and G. Steidl
1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 346
2 Notation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 346
3 Proximal Operator . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 347
3.1 Definition and Basic Properties . . . . . . . . . . . . . . . . . . . . . . . . . . . . 347
3.2 Special Proximal Operators . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 350
4 Fixed Point Algorithms and Averaged Operators . . . . . . . . . . . . . . . . . . 355
5 Proximal Algorithms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 360
5.1 Proximal Point Algorithm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 360
5.2 Proximal Gradient Algorithm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 360
5.3 Accelerated Algorithms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 363
6 Primal-Dual Methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 365
6.1 Basic Relations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 365
6.2 Alternating Direction Method of Multipliers . . . . . . . . . . . . . . . . . 366
6.3 Primal Dual Hybrid Gradient Algorithms . . . . . . . . . . . . . . . . . . . . 372
6.4 Proximal ADMM . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 378
6.5 Bregman Methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 379
7 Iterative Regularization for Ill-Posed Problems . . . . . . . . . . . . . . . . . . . . 381
8 Applications . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 383
8.1 Positron Emission Tomography (PET) . . . . . . . . . . . . . . . . . . . . . . 385
8.2 Spectral X-Ray CT . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 394
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 398
11 A Parameter Free ADI-Like Method for the Numerical Solution
of Large Scale Lyapunov Equations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 409
Danny C. Sorensen
1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 409
2 The Alternating Direction Implicit Method . . . . . . . . . . . . . . . . . . . . . . . 410
3 The Approximate Power Method (APM) . . . . . . . . . . . . . . . . . . . . . . . . . 413
4 A Parameter Free ADI Method . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 414
5 Implementation Details . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 421
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 425
12 Splitting Enables Overcoming the Curse of Dimensionality . . . . . . . . . 427
Jérôme Darbon and Stanley J. Osher
1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 427
2 Split Bregman . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 429
3 Numerical Experiments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 430
4 Summary and Future Work . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 432
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 432
Contents xiii
13 ADMM Algorithmic Regularization Paths for Sparse Statistical

Machine Learning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 433
Yue Hu, Eric C. Chi, and Genevera I. Allen
1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 434
1.1 ADMM in Statistical Machine Learning . . . . . . . . . . . . . . . . . . . . . 436
1.2 Developing an Algorithmic Regularization Path: Sparse
Regression . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 438
2 The Algorithmic Regularization Path . . . . . . . . . . . . . . . . . . . . . . . . . . . . 443
3 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 446
3.1 Sparse Linear Regression . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 446
3.2 Reduced-Rank Multi-Task Learning . . . . . . . . . . . . . . . . . . . . . . . . 449
3.3 Convex Clustering . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 452
4 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 455
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 457
14 Decentralized Learning for Wireless Communications
and Networking . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 461
Georgios B. Giannakis, Qing Ling, Gonzalo Mateos,
Ioannis D. Schizas, and Hao Zhu
1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 462
2 In-Network Learning with ADMM in a Nutshell . . . . . . . . . . . . . . . . . . 464
3 Batch In-Network Estimation and Inference . . . . . . . . . . . . . . . . . . . . . . 466
3.1 Decentralized Signal Parameter Estimation . . . . . . . . . . . . . . . . . . 466
3.2 Decentralized Inference . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 469
4 Decentralized Adaptive Estimation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 475
4.1 Decentralized Least-Mean Squares . . . . . . . . . . . . . . . . . . . . . . . . . 475
4.2 Decentralized Recursive Least-Squares . . . . . . . . . . . . . . . . . . . . . 478
4.3 Decentralized Model-Based Tracking . . . . . . . . . . . . . . . . . . . . . . . 481
5 Decentralized Sparsity-Regularized Rank Minimization . . . . . . . . . . . . 482
5.1 Network Anomaly Detection via Sparsity and Low Rank . . . . . . 482
5.2 In-Network Traffic Anomaly Detection . . . . . . . . . . . . . . . . . . . . . 484
5.3 RF Cartography via Decentralized Sparse Linear Regression . . . 487
6 Convergence Analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 488
6.1 Preliminaries . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 488
6.2 Convergence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 490
6.3 Linear Rate of Convergence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 491
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 493
15 Splitting Methods for SPDEs: From Robustness to Financial
Engineering, Optimal Control, and Nonlinear Filtering . . . . . . . . . . . . 499
Christian Bayer and Harald Oberhauser
1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 499
2 From Robustness to Splitting Schemes . . . . . . . . . . . . . . . . . . . . . . . . . . . 504
3 Rough Path Theory . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 508
4 Strong Splitting Schemes for SPDEs . . . . . . . . . . . . . . . . . . . . . . . . . . . . 512
xiv Contents
5 Applications of Strong Schemes to Nonlinear Filtering and Optimal

Control . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 515
6 Weak Splitting Schemes for SPDEs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 519
6.1 The Ninomiya–Victoir Splitting . . . . . . . . . . . . . . . . . . . . . . . . . . . 522
7 Applications of Weak Schemes in Financial Engineering . . . . . . . . . . . 528
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 536
16 Application of Operator Splitting Methods in Finance . . . . . . . . . . . . . 541
Karel in ’t Hout and Jari Toivanen
1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 542
2 Models for Underlying Assets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 543
2.1 Geometric Brownian Motion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 543
2.2 Stochastic Volatility and Stochastic Interest Rate
Models . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 544
2.3 Jump Models . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 546
3 Linear Complementarity Problem for American Options . . . . . . . . . . . . 547
4 Spatial Discretization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 547
5 Time Discretization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 549
5.1 The θ -Method . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 549
5.2 Operator Splitting Methods Based on Direction . . . . . . . . . . . . . . 550
5.3 Operator Splitting Methods Based on Operator Type . . . . . . . . . . 553
5.4 Operator Splitting Method for Linear Complementarity
Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 555
6 Solvers for Algebraic Systems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 556
6.1 Direct Methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 557
6.2 Iterative Methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 558
6.3 Multigrid Methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 558
7 Numerical Illustrations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 559
7.1 Black–Scholes Model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 559
7.2 Merton Model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 563
7.3 Heston Model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 565
7.4 Bates Model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 569
8 Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 570
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 572
17 A Numerical Method to Solve Multi-Marginal Optimal Transport
Problems with Coulomb Cost . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 577
Jean-David Benamou, Guillaume Carlier, and Luca Nenna
1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 577
1.1 On Density Functional Theory . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 577
1.2 Optimal Transport . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 578
2 From Density Functional Theory to Optimal Transportation . . . . . . . . . 580
2.1 Optimal Transportation with Coulomb Cost . . . . . . . . . . . . . . . . . . 580
2.2 Analytical Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 582
Contents xv
3 Iterative Bregman Projections . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 586

3.1 The Discrete Problem and Its Entropic Regularization . . . . . . . . . 587
3.2 Alternate Projections . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 589
3.3 From the Alternate Projections to the Iterative Proportional
Fitting Procedure . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 590
3.4 A Heuristic Mesh Refinement Strategy . . . . . . . . . . . . . . . . . . . . . . 592
4 Numerical Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 593
4.1 N = 2 Electrons: Comparison Between Numerical
and Analytical Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 593
4.2 N = 2 Electrons in Dimension d = 3: Helium Atom . . . . . . . . . . . 594
4.3 N = 3 Electrons in Dimension d = 1 . . . . . . . . . . . . . . . . . . . . . . . 595
4.4 N = 3 Electrons in Dimension d = 3 Radial Case:
Lithium Atom . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 596
5 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 597
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 600
18 Robust Split-Step Fourier Methods for Simulating the Propagation
of Ultra-Short Pulses in Single- and Two-Mode Optical
Communication Fibers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 603
Ralf Deiterding and Stephen W. Poole
1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 604
2 Governing Equation for Ultra-Fast Pulses in a Single-Mode Fiber . . . . 605
3 Numerical Methods for Ultra-Fast Pulses in Single-Mode Fibers . . . . . 606
3.1 Split-Step Fourier Approach . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 606
3.2 Linear Sub-steps . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 607
3.3 Nonlinear Sub-steps . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 608
3.4 High-Resolution Upwind Scheme . . . . . . . . . . . . . . . . . . . . . . . . . . 610
3.5 Simulation of a Propagating Pulse . . . . . . . . . . . . . . . . . . . . . . . . . . 611
3.6 Spatially Dependent Fiber Parameters . . . . . . . . . . . . . . . . . . . . . . 613
4 Governing Equations for Two Interacting Ultra-Fast Pulses . . . . . . . . . 615
5 Numerical Methods for Two Interacting Ultra-Fast Pulses . . . . . . . . . . 616
5.1 Extended Split-Step Fourier Method . . . . . . . . . . . . . . . . . . . . . . . . 616
5.2 Nonlinear Sub-steps . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 617
5.3 Simulation of Two Interacting Propagating Pulses . . . . . . . . . . . . 620
5.4 Spatially Dependent Fiber Parameters . . . . . . . . . . . . . . . . . . . . . . 622
6 Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 623
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 624
19 Operator Splitting Methods with Error Estimator and Adaptive
Time-Stepping. Application to the Simulation of Combustion
Phenomena . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 627
Stéphane Descombes, Max Duarte, and Marc Massot
1 Context and Motivation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 628
2 Splitting Error Estimator and Adaptive Time-stepping . . . . . . . . . . . . . . 630
3 Dedicated Splitting Solver for Stiff PDEs . . . . . . . . . . . . . . . . . . . . . . . . 632
xvi Contents
4 Operator Splitting for Combustion Problems . . . . . . . . . . . . . . . . . . . . . . 635

5 Numerical Illustration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 636
6 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 638
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 638
20 Splitting Methods for Some Nonlinear Wave Problems . . . . . . . . . . . . . 643
Annalisa Quaini and Roland Glowinski
1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 643
2 Application of the Strang’s Symmetrized Operator-Splitting Scheme
to the Solution of Problems (20.1), (20.3) and (20.1), (20.4) . . . . . . . . . 646
2.1 A Brief Discussion on the Strang’s Operator-Splitting Scheme . . 646
2.2 Application to the Solution of the Nonlinear Wave
Problem (20.1), (20.3) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 648
2.3 Application to the Solution of the Nonlinear Wave
Problem (20.1), (20.4) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 650
3 On the Numerical Solution of the Sub-initial Value Problems (20.19)
and (20.22) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 651
3.1 A Finite Element Method for the Space Discretization
of the Linear Wave Problem (20.23) . . . . . . . . . . . . . . . . . . . . . . . . 652
3.2 A Centered Second Order Finite Difference Scheme
for the Time Discretization of the Initial Value
Problem (20.28) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 653
and (20.20) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 655
4.1 A Centered Scheme for the Time Discretization of Problem
(20.34) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 655
4.2 On the Dynamical Adaptation of the Time Step σ . . . . . . . . . . . . 656
5 Application of the Strang’s Symmetrized Operator-Splitting Scheme
to the Solution of Problem (20.5), (20.3) . . . . . . . . . . . . . . . . . . . . . . . . . 657
and (20.51) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 660
7 Numerical Experiments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 661
7.1 Numerical Experiments for the Nonlinear Wave Problem
(20.1), (20.3) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 662
(20.1), (20.4) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 666
(20.5), (20.3) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 669
8 Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 675
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 675
21 Operator Splitting Algorithms for Free Surface Flows:
Application to Extrusion Processes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 677
Andrea Bonito, Alexandre Caboussat, and Marco Picasso
1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 678
Contents xvii
2 Mathematical Modeling of Newtonian Fluids with Free Surfaces . . . . . 679

2.1 Navier-Stokes System . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 679
2.2 Implicit Representation of the Liquid Domain . . . . . . . . . . . . . . . . 680
3 Operator Splitting Algorithm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 682
3.1 The Lie Scheme . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 682
3.2 Application to Free Surface Flows . . . . . . . . . . . . . . . . . . . . . . . . . 683
4 Numerical Approximation of Free Surface Flows . . . . . . . . . . . . . . . . . . 686
4.1 Time Discretization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 686
4.2 Two-Grid Spatial Discretization . . . . . . . . . . . . . . . . . . . . . . . . . . . 687
4.3 Numerical Results for Newtonian Flows . . . . . . . . . . . . . . . . . . . . 695
5 Visco-Elastic Flows with Free Surfaces . . . . . . . . . . . . . . . . . . . . . . . . . . 699
5.1 Mathematical Modeling of Visco-Elastic Flows with
Free Surfaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 699
5.2 Extension of the Operator Splitting Strategy . . . . . . . . . . . . . . . . . 702
5.3 Numerical Results for Visco-Elastic Flows . . . . . . . . . . . . . . . . . . 704
6 Multiphase Flows with Free Surfaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . 708
6.1 Mathematical Modeling of Multiphase Flows with
Free Surfaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 708
6.2 Extension of the Operator Splitting Strategy . . . . . . . . . . . . . . . . . 712
6.3 Numerical Results for Multiphase Flows . . . . . . . . . . . . . . . . . . . . 721
7 Perspectives: Application to Emulsion in Food Engineering . . . . . . . . . 724
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 727
22 An Operator Splitting Approach to the Solution
of Fluid-Structure Interaction Problems in Hemodynamics . . . . . . . . . 731
Martina Bukač, Sunčica Čanić, Boris Muha, and Roland Glowinski
1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 732
2 Model Description . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 735
2.1 Energy Inequality . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 741
2.2 ALE Formulation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 742
3 The Splitting Scheme . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 744
3.1 Description of the Splitting Scheme . . . . . . . . . . . . . . . . . . . . . . . . 744
3.2 Unconditional Stability of the Splitting Scheme . . . . . . . . . . . . . . 748
4 The Numerical Implementation of the Scheme . . . . . . . . . . . . . . . . . . . . 752
4.1 The Structure Sub-problem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 752
4.2 Calculation of the ALE Mapping and ALE Velocity wn+1 . . . . . . 754
4.3 The Fluid Sub-problem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 755
5 Numerical Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 756
5.1 Example 1: A 2D Benchmark Problem . . . . . . . . . . . . . . . . . . . . . . 756
5.2 Example 2: A 3D Straight Tube Test Case . . . . . . . . . . . . . . . . . . . 761
5.3 Example 3: A 3D Curved Cylinder . . . . . . . . . . . . . . . . . . . . . . . . . 763
5.4 Example 4: Stenosis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 765
6 Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 768
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 769
xviii Contents
23 On Circular Cluster Formation in a Rotating Suspension

of Non-Brownian Settling Particles in a Fully Filled Circular
Cylinder: An Operator Splitting Approach to the Numerical
Simulation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 773
Suchung Hou and Tsorng-Whay Pan
1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 774
2 Governing Equations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 775
3 Time and Space Discretization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 778
3.1 A First Order Operator-Splitting Scheme:
Lie’s Scheme . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 778
3.2 Space Discretization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 780
3.3 On the Solution of Subproblems (23.37), (23.38), (23.39),
(23.40)–(23.42), and (23.43)–(23.44) . . . . . . . . . . . . . . . . . . . . . . . 782
4 Numerical Experiments and Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . 784
4.1 The Interaction of Two Balls Side by Side Initially . . . . . . . . . . . . 784
4.2 The Effect of the Angular Speed and of the Number
of Particles . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 788
4.3 The Cluster Effect on the Fluid Flow Field . . . . . . . . . . . . . . . . . . 793
5 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 798
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 800
Index . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 803
Chapter 1
Introduction
Roland Glowinski, Stanley J. Osher, and Wotao Yin
Abstract The main goal of this chapter is to present a brief overview of operator
splitting methods and algorithms when applied to the solution of initial value prob-
lems and optimization problems, topics to be addressed with many more details
in the following chapters of this book. The various splitting algorithms, methods,
and schemes to be considered and discussed include: the Lie scheme, the Strang
symmetrized scheme, the Douglas-Rachford and Peaceman-Rachford alternating
direction methods, the alternating direction method of multipliers (ADMM), and
the split Bregman method. This chapter also contains a brief description of (most
of) the following chapters of this book.
1 Motivation and Background
In December 2012, the three editors of this volume were together in Hong-Kong,
attending a conference honoring one of them (SO). A most striking fact during this
event was the large number of lectures involving, if not fully dedicated to, operator-
splitting methods, split Bregman and ADMM (for Alternating Direction Methods
of Multipliers) algorithms, and their applications. This was not surprising consider-
ing that the title of the conference was Advances in Scientific Computing, Imaging
Science and Optimization. Indeed, for many years, operator-splitting has provided
efficient methods for the numerical solution of a large variety of problems from
R. Glowinski ()
Department of Mathematics, University of Houston, Houston, TX 77204, USA
e-mail: roland@math.uh.edu
S.J. Osher • W. Yin
Department of Mathematics, UCLA, Los Angeles, CA 90095, USA
e-mail: sjo@math.ucla.edu; wotaoyin@math.ucla.edu
© Springer International Publishing Switzerland 2016 1

R. Glowinski et al. (eds.), Splitting Methods in Communication, Imaging, Science,
and Engineering, Scientific Computation, DOI 10.1007/978-3-319-41589-5_1
2 R. Glowinski et al.
Mechanics, Physics, Finance, etc. modeled by linear and nonlinear partial differen-
tial equations and inequalities, with new applications appearing almost on a daily
basis. Actually, there are situations where the only working solution methods are
based on operator-splitting (a dramatic example being provided by the numerical
simulation of super-novae explosions). Similarly, split Bregman and ADMM algo-
rithms enjoy now a very high popularity as efficient tools for the fast solution of
problems from the information sciences. Finally, ADMM algorithms have found
applications to the solution of large-scale optimization problems, due to their ability
at taking advantage of those special structures and associated decomposition prop-
erties, which are common in large-scale optimization.
What the three editors observed also was the lack of communications between
the communities and cultures, associated with the ‘vertices’ of the ‘triangle’ PDE
oriented scientific computing - information sciences - optimization (some bridges
do exist fortunately, but it is our opinion that more are needed).
From the various facts above, the three editors came to the conclusion that time
has come to have a multi-author book, with chapters dedicated to the theory, prac-
tice, and applications of operator-splitting, ADMM, and Bregman algorithms and
methods, one of the many goals of this book being also to show the existing com-
monalities between these methods. Another justification of the present volume is
that the number of publications on the above topics with a review flavor are scarce,
the most visible ones being, by chronological order:
1. The 1990 article by G.I. Marchuk in the Volume I of the Handbook of Numerical
Analysis [23]. This book size article (266 pages) is dedicated, mostly, to the
numerical solution of linear and nonlinear time dependent partial differential
equations from Mechanics and Physics, by operator-splitting and alternating
direction methods, making it thus quite focused.
2. The (94 pages) article by R.I. McLachlan, G. Reinout W. Quispel in Acta
Numerica 2002 [24]. Despite the broad appeal of its title, namely Splitting
methods, this long article is mostly focused on the time-discretization of dy-
namical systems, modeled by ordinary differential equations, by (symplectic)
operator-splitting schemes. It ignores for example the contributions of Dou-
glas, Marchuk, Peaceman, Rachford (and of many other contributors to splitting
methods).
3. Distributed optimization and statistical learning via the alternating direction
method of multipliers [1]. This large article (122 pages) appeared in Founda-
tions and Trends’ in Machine Learning; since its publication in 2011 it has been
the most cited article on ADMM methods (2, 678 citations as of November
26, 2015), an evidence of both the popularity of ADMM and of the impor-
tance of this publication. Actually, this article is mostly concerned with finite
dimensional convex problems and ignores applications involving differential
equations and inequalities.
It seemed to us, at the time of the above Hong-Kong conference (and also now),
that a book (necessarily multi-authors), less focused than the above publications,
1 Introduction 3
and blending as much as possible the methods and points of view of the various
splitting sub-communities, will be a useful and welcome tool for the splitting com-
munity at large. It will be useful also for those in search of efficient, modular, and
relatively easy to implement solution methods for complex problems. We are glad
that Springer shared this point of view and that outstanding contributors to this type
of methods accepted contributing to this volume.
In the following sections of this chapter we will give a relatively short com-
mented description of operator-splitting methods and related algorithms, and pro-
vide the historical facts we are aware of. As expected, references will be made to
the following chapters and to many related publications.
2 Lie’s Schemes
According to [5] it is Sophus Lie himself who introduced (in 1875) the first operator-
splitting scheme recorded in history ([21], a reprint of the 1888 edition), in or-
der to solve the following initial value problem (flow in the Dynamical System
community):

dt + (A + B)X = 0, in (0, T ),
dX
(1.1)
X(0) = X0
where in (1.1): A and B are two d × d time-independent matrices, X0 ∈ Rd (or Cd )
and 0 < T ≤ +∞. The solution of problem (1.1) reads as:
X(t) = e−(A+B)t X0 . (1.2)
t t
n
From the relation limn→+∞ e−B n e−A n = e−(A+B)t , Lie suggested the follow-
ing scheme for the approximate solution of problem (1.1) (with Δ t > 0,t n = nΔ t,
and X n an approximation of X(t n )):

X 0 = X0 ,
(1.3)
X n+1 = e−BΔ t e−AΔ t X n , ∀n ≥ 0.
Since computing the exponential of a matrix is a nontrivial operation, particu-
larly for large values of d, splitting practitioners prefer to use the following (matrix
exponential free) equivalent formulation of scheme (1.3):
X 0 = X0 . (1.4)
1
For n ≥ 0, Xn → X n+ 2 → X n+1 via:
• Solve

dX1
dt + AX1 = 0, in (t n ,t n+1 ),
(1.5)
X1 (t n ) = X n ,
• and set
1
X n+ 2 = X1 (t n+1 ). (1.6)
• Similarly, solve

dX2
dt + BX2 = 0, in (t n ,t n+1 ),
1 (1.7)
X2 (t n ) = X n+ 2 ,
• and set
X n+1 = X2 (t n+1 ). (1.8)
From its equivalent formulation (1.4)–(1.8), one understands better now why the
Lie scheme (1.3) is known as a fractional-step time discretization scheme. It is in
fact the common ancestor to all the fractional-step and operator-splitting schemes.
One can easily show that the Lie scheme (1.3), (1.4)–(1.8) is generically first order
accurate, that is, X n − X(t n) = O(Δ t). If A and B commute the above scheme is
obviously exact. Its generalization to splitting with more than two operators is dis-
cussed in Chapter 2. The generalization to nonlinear and/or non-autonomous initial
value problems is very simple (formally at least). Indeed, let us consider the follow-
ing initial value problem:

dt + A(X,t) = 0, in (0, T ),
dX
(1.9)
X(0) = X0 ,
with A(X,t) = A1 (X,t) + A2 (X,t), A1 and A2 being possibly nonlinear. Introducing

α1 , α2 such that 0 ≤ α1 , α2 ≤ 1, α1 + α2 = 1, we can generalize scheme (1.4)–(1.8)
as follows:
X 0 = X0 . (1.10)
1
For n ≥ 0, X n → X n+ 2 → X n+1 via:
For j = 1, 2, solve:
dX
j−1
dt + A j (X j ,t + (∑k=1 αk )Δ t + α j (t − t )) = 0, in (t ,t ),
j n n n n+1
j−1 (1.11)
X j (t n ) = X n+ 2 ,
and set
j
X n+ 2 = X j (t n+1 ). (1.12)
Assuming that the operator A j are smooth enough, the generalized Lie scheme
(1.10)–(1.12) is generically first order accurate at best. As shown in the follow-
ing chapters, problem (1.9) is, despite its simplicity, a model for a large number of
important applications: For example, it models the flow (in the dynamical system
sense) associated with the optimality conditions of an optimization problem (= 0
being possibly replaced by 0).
1 Introduction 5
3 On the Strang Symmetrized Operator-Splitting Scheme
Motivated by the accurate solution of hyperbolic problems, G. Strang introduced in

[30] a second order variant of the Lie scheme, based on a symmetrization principle.
Let Δ t(> 0) be a time-discretization step. We can easily show that
Δt Δt
e−(A+B)Δ t − e−A 2 e−BΔ t e−A 2 = O(Δ t 3 ),
implying that the (symmetrized) scheme

X 0 = X0 ,
Δt Δt (1.13)
X n+1 = e−A 2 e−BΔ t e−A 2 X n , ∀n ≥ 0,
is second order accurate (and exact if AB = BA). Scheme (1.13) can be generalized
1
as follows in order to solve the initial value problem (1.9) (with t n+ 2 = (n + 12 )Δ t):
X 0 = X0 . (1.14)
1 1
For n ≥ 0, X n → X n+ 2 → X̂ n+ 2 → X n+1 via
• Solve
1
dX1
dt + A1 (X1 ,t) = 0, in (t n ,t n+ 2 ),
(1.15)
X1 (t n ) = X n ,
• and set
1 1
X n+ 2 = X1 (t n+ 2 ). (1.16)
• Similarly, solve
1
dX2
dt + A2 (X2 ,t n+ 2 ) = 0, in (0, Δ t),
1 (1.17)
X2 (0) = X n+ 2 ,
• and set
1
X̂ n+ 2 = X2 (Δ t). (1.18)
• Finally, solve
1
dX1
dt+ A1 (X1 ,t) = 0, in (t n+ 2 ,t n+1 ),
1 1 (1.19)
X1 (t n+ 2 ) = X̂ n+ 2 ,
• and set
X n+1 = X1 (t n+1 ). (1.20)

Generalizing scheme (1.14)–(1.20) to decompositions of A involving more than

two operators is easy: Indeed, suppose that A = A1 + A2 + A3 ; we can trivially
return to two operator situations by observing that we have the choice between
A = A1 + (A2 + A3 ), A = (A1 + A2 ) + A3 and A = (A1 + 12 A2 ) + ( 12 A2 + A3 ), other
decompositions being possible. The same idea applies for more than three oper-
ators. If the operators in (1.14)–(1.20) have the right regularity and monotonicity
properties, the above symmetrized scheme is second order accurate and uncondi-
tionally stable (it is even A - stable), making it very popular in the computational
partial differential equations community. For those situations requiring an order of
accuracy higher than two, several options do exist, the best known being:
1. The 4th order Strang-Richardson scheme discussed in [8, 6, 7].
2. The exponential operator-splitting schemes. Actually, the Lie and Strang split-
ting schemes belong to this family of time discretization methods, whose origin
(concerning schemes of order higher than two) is not easy to track back, early
significant publications being [28, 29] (see also the references therein and those
in [31], and Google Scholar). Arbitrary high accuracy can be obtained with
these methods, the price to pay being their reduced stability and robustness
(compared to the Strang scheme, for example).
We will return to these higher order schemes in Chapter 2.
4 On the Solution of the Sub-initial Value Problems
The various splitting schemes we encountered so far are generically known (for
obvious reasons) as multiplicative splitting schemes. Actually, these schemes are
only semi-constructive, in the sense that one still has to specify how to solve in
practice the various sub-initial value problems they produce. For a low order scheme
like the Lie scheme a very popular way to proceed is to solve the sub-initial value
problems using just one step of the backward Euler scheme; applying this strategy
to problem (1.9), with A(X,t) = ∑Jj=1 A j (X,t), one obtains the following scheme
X 0 = X0 . (1.21)
1 j J−1
For n ≥ 0, X n → X n+ J → . . . → X n+ J → . . . → X n+ J → X n+1 via:
∀ j = 1, . . . , J, solve
j j−1
X n+ J − X n+ J j
+ A j (X n+ J ,t n+1 ) = 0. (1.22)
Δt
Scheme (1.21)–(1.22) (known by some practitioners as the Marchuk-Yanenko
operator-splitting scheme) is first order accurate, at most, however, its robustness
and simplicity make it popular for the solution of complicated problems with
poorly differentiable solutions involving a large number of operators. Actually,
scheme (1.21)–(1.22) can accommodate easily non-smooth, possibly multi-valued,
operators.
1 Introduction 7
The practical implementation of the Strang symmetrized scheme will be dis-

cussed in Chapter 2.
5 Further Comments on Multiplicative Operator-Splitting

Schemes
We will conclude these generalities on multiplicative operator-splitting methods by

mentioning their following drawback: Due to splitting errors, these methods are
asymptotically inconsistent. What we mean by that is that when applied to the com-
putation of steady state solutions (assuming that such solutions exist), they converge
to limits, which are not steady state solutions, but just approximations of them.
Typically, if the operator-splitting scheme one employs is k-order accurate, the dis-
tance of the computed steady state solutions to the exact ones is O(|Δ t|k ). One can
reduce this splitting-error, via an appropriate averaging for example. Actually, in
Chapter 3 of this book, S. MacNamara and G. Strang show how to modify the Strang
symmetrized operator-splitting scheme in order to recover exact steady state solu-
tions. Another way to combine exact steady state solutions and the operator-splitting
paradigm is to use schemes such as Peaceman-Rachford’s and Douglas-Rachford’s,
that is ADI (for Alternating Direction Implicit) type methods. These schemes will
be discussed in Section 6, below.
6 On ADI Methods
To the best of our knowledge, J. Douglas, D. Peaceman and H. Rachford introduced

ADI methods about 60 years ago (to know more about their inception, see the 2006
SIAM News article by A. Usadi and C. Dawson [33] on the Celebration at Rice
University of 50 Years of ADI Methods). The founding publications, namely [27]
and [9], concern the numerical solution of elliptic and parabolic equations such as
the time dependent and stationary heat equations. However, one quickly realized
that these schemes apply also to situations that are more general. Taking advan-
tage of these generalizations, our starting point will be the following initial value
problem:

dt + A1 (X,t) + A2 (X,t) = 0, in (0, T ),
dX
(1.23)
X(0) = X0 ,
where A1 and A2 operate, possibly, on an infinite dimensional space, and 0 < T ≤

+∞. With Δ t(> 0) a time-discretization step, we denote (n + α )Δ t by t n+α , and
by X n+α an approximation of X(t n+α ). The idea behind the Peaceman-Rachford
scheme is quite simple: An approximation X n of X(t n ) being known, one computes
X n+1 using a scheme of the backward (resp., forward) Euler type with respect to
1
A1 (resp., A2 ) on the time interval [t n ,t n+ 2 ]. Then, one switches the roles of A1
and A2 on the time interval [t n+1/2 ,t ]. The following scheme realizes this pro-
n+1
gram:
X 0 = X0 . (1.24)
1
For n ≥ 0, X n → X n+ 2 → X n+1 as follows:
Solve
1
X n+ 2 − X n 1 1
+ A1 (X n+ 2 ,t n+ 2 ) + A2(X n ,t n ) = 0, (1.25)
Δ t/2
and
1
X n+1 − X n+ 2 1 1
+ A1 (X n+ 2 ,t n+ 2 ) + A2 (X n+1 ,t n+1 ) = 0. (1.26)
Δ t/2
In the particular case where A1 and A2 are linear and time independent linear opera-
tors which commute, the Peaceman-Rachford scheme (1.24)–(1.26) is second order
accurate; it is at best first order accurate in general. The convergence of the above
scheme has been proved in [22] and [18] under quite general monotonicity hypothe-
ses concerning the operators A1 and A2 (see also [10, 11], and [20]); indeed, A1 and
A2 can be nonlinear, unbounded, and even multivalued (if this is the case 0 has to
replace = 0 in (1.25) and/or (1.26)).
Remark 1. For those fairly common situations where A2 is a smooth univalued op-
erator, but operator A1 is a ‘nasty’ one (discontinuous and/or multivalued, etc.), one
should use the equivalent formulation of the Peaceman-Rachford scheme obtained
by replacing (1.26) by
1
X n+1 − 2X n+ 2 + X n
+ A2(X n+1 ,t n+1 ) = A2 (X n ,t n ). (1.27)
Δ t/2
Further comments and remarks concerning scheme (1.24)–(1.26) may be found

in [14, 16] (see also the references therein and various chapters of this book,
Chapter 2 in particular). Actually, several of these comments concern the frac-
tional θ -scheme, a scheme introduced in the mid-eighties for the numerical solu-
tion of the Navier-Stokes equations modeling incompressible viscous flow [13, 14].
This scheme, which is a three sub-interval variant of the Peaceman-Rachford
scheme (1.24)–(1.26) will be discussed in Chapter 2.
A classical alternative to the Peaceman-Rachford scheme (1.24)–(1.26) is the
Douglas-Rachford scheme introduced in [9]. Applied to the solution of the initial
value problem (1.23), the Douglas-Rachford scheme reads as follows:
X 0 = X0 . (1.28)
1 Introduction 9
For n ≥ 0, X n → X̂ n+1 → X n+1 as follows:

Solve
X̂ n+1 − X n
+ A1 (X̂ n+1 ,t n+1 ) + A2 (X n ,t n ) = 0, (1.29)
Δt
and
X n+1 − X n
+ A1 (X̂ n+1 ,t n+1 ) + A2(X n+1 ,t n+1 ) = 0. (1.30)
Δt
The convergence of the above scheme has been proved in [22] and [18] under
quite general monotonicity hypotheses concerning the operators A1 and A2 (see
also [10, 11], and [20]); indeed, A1 and A2 can be nonlinear, unbounded, and even
multivalued (if this is the case 0 has to replace = 0 in (1.28) and/or (1.30)). As
shown in, e.g., Chapter 2 the Douglas-Rachford scheme (1.28)–(1.30) is generi-
cally first order accurate at best, a prediction supported by the results of various
numerical experiments. In order to improve the accuracy of the Douglas-Rachford
scheme (1.28)–(1.30), J. Douglas & S. Kim introduced in the late 90s–early 2000s
[33], a Crank-Nicolson based variant of the above scheme; we will briefly discuss
the Douglas-Kim scheme in Chapter 2 (the price to pay for the improved accuracy
is a loss of robustness).
Remark 2. For obvious reasons the Douglas-Rachford scheme (1.28)–(1.30) is

known as an additive operator-splitting scheme. The same terminology applies also
to the Peaceman-Rachford scheme (1.24)–(1.26).
Remark 3. Unlike the Peaceman-Rachford scheme (1.24)–(1.26), the Douglas-

Rachford scheme (1.28)–(1.30) can be generalized to decompositions A = ∑Jj=1 A j
involving more than two operators (see Section 2.5 of Chapter 2 for details and re-
lated references). Actually, the above observation applies also to the Douglas-Kim
scheme.
Remark 4. This is the Douglas-Rachford analogue of Remark 1: For those situations

where A1 is a ‘bad’ operator (in the sense of Remark 1), we should use (assuming
that A2 is univalued) the equivalent formulation of the Douglas-Rachford scheme
obtained by replacing (1.26) by
X n+1 − X̂ n+1
+ A2 (X n+1 ,t n+1 ) = A2 (X n ,t n ). (1.31)
Δt
Remark 5. At those wondering how to choose between Peaceman-Rachford and
Douglas-Rachford schemes we will say that on the basis of many numerical experi-
ments, it seems that the second scheme is more robust and faster for those situations
where one of the operators is non-smooth (multivalued or singular, for example),
particularly if one is interested at capturing steady state solutions. We will give a
(kind of) justification in Chapter 2, based on the inspection of some simple particu-
lar cases.
Remark 6. Optimization algorithms and ADI methods did not interact that much
for many years. The situation started changing when in the mid-1970s unex-
pected relationships between some augmented Lagrangian algorithms and the
Douglas-Rachford scheme (1.28)–(1.30) were identified (they have been reported in
Chapter 2, Section 3, and Chapter 8, Section 1, of this volume). This discovery lead
to what is called now the Alternating Direction Methods of Multipliers (ADMM),
and was known as ALG2 at the time. Although the problems leading to ADMM
were partial differential equations or inequalities related, this family of algorithms
has found applications outside the realm of differential operators, as shown by [1]
and several chapters of this book. Further details on the ‘birth’ of ADMM can be
found in [15] and the Chapter 4 of [16].
The above remark is a natural introduction to the more detailed discussion, below,
on the role of operator-splitting methods in Optimization.
7 Operator Splitting in Optimization
Several chapters of this book study operator splitting methods for solving optimiza-
tion problems in (non-PDE related) signal processing, imaging, statistical and ma-
chine learning, as well as those defined on a network that require decentralized com-
puting. They cover a large variety of problems and applications. The optimization
problems considered in these chapters include both constrained and unconstrained
problems, smooth and nonsmooth functionals, as well as convex and nonconvex
functionals.
Operator splitting methods are remarkably powerful since they break numeri-
cally inconvenient combinations, such as smooth + nonsmooth functionals, smooth
functionals + constraints, functionals of local variables + functionals of the shared
global variable, and convex + nonconvex functionals, in a problem and place them
in separate subproblems. It also breaks a sum of functionals that involve different
parts of the input data into subproblems so that they can be solved with less amounts
of memory. These features are especially important to the modern applications that
routinely process a large amount of data.
Operator splitting methods appear in optimization in a variety of different spe-
cial forms, and thus under different names, such as gradient-projection, proximal-
gradient, alternating-direction, split Bregman [19], and primal-dual splitting meth-
ods. All of them have strong connections (often as special cases) of the forward-
backward, Douglas-Rachford, and Peaceman-Rachford splitting methods. Recently,
their applications in optimization have significantly increased because of the emerg-
ing need to analyze massive amounts of data in a fast, distributed, and even stream-
ing manner.
A common technique in data analysis is sparse optimization, a new subfield of
optimization. Sparse here means simple structures in the solutions — a generaliza-
tion from its literal meaning of having very few nonzero elements. Owing much
Another random document with
no related content on Scribd:
kanssa! Hänen tunteensa ovat kuin lähteen kumpuamista, aavistaa,
että noiden ilmausten takana on todellinen suuri tunne. Itse
olemuksellaan, sillä tuskallisen kauniilla runoudella, joka säteilee
hänen persoonallisuudestaan, hän kirkasti koko kappaleen. Tämä
ilta oli huomattavin ja kaunein kaikista hänen näytäntöilloistaan.» —
*****
Alkujaan vuosien 1904—1905 kiertue oli suunniteltu laajemmaksi

kuin miksi se lopullisesti muodostui. Haastattelijoilleen Ida Aalberg
kertoi käyvänsä seurueineen m.m. Wienissä, Budapestissä,
Bukarestissa, ehkäpä Konstantinopolissakin. Matka Wieniin tuntuikin
varsin luonnolliselta; hänen seurueensa oli sieltä ja koko matkan
käytännöllisenä järjestäjänä toimi wieniläinen Ignaz Kugel. Tuosta
suunnitelmasta ei kuitenkaan tullut mitään, mutta sensijaan Ida
Aalberg antoi suuren joukon näytäntöjä Riiassa, Pietarissa ja
Moskovassa. Kiertueen ohjelmiston ytimenä olivat luonnollisesti
Ibsenin kappaleet ja Sudermannin »Koti», Suomessa oli esitetty
myöskin Strindbergin »Rikoksia», toisin paikoin taas Bernard Shaw'n
»Candidaa», »Kotia», »Eno Vanjaa», tai, kiertueen loppuaikoina
Venäjällä, Dumas'n »Kamelianaista» ja Zolan »Thérèse Raquin'ia».
Näytännöt Pietarissa ja Moskovassa menestyivät erinomaisesti.

Ida Aalberg näytteli Pietarissa useimmiten aivan täysille huoneille, ja
arvostelu oli erittäin kiittävää. Siellä hänellä olikin entuudestaan suuri
kannattajajoukko, mutta Moskovassa häntä ei aikaisemmin tunnettu.
Arvosteluista, joista lienee syytä ottaa tähän pari kohtaa, näkee kyllä,
että hänen kykynsä sielläkin saavutti täyttä tunnustusta.
»Ruskija Vjedomosti» kirjoitti hänestä:

»Rouva Ida Aalberg, joka nykyjään antaa vierailunäytäntöjä
Moskovassa, on suuri ilmiö taiteellisessa maailmassa. Tähän saakka
taiteilija on esiintynyt Moskovan yleisölle kolmessa niin erilaisessa
osassa, että niiden täydellistä suorittamista varten vaaditaan hyvin
monipuolista lahjakkuutta. Sudermannin »Kodin» ja
»Kamelianaisen» esittävät monet näyttämötaiteilijat, mutta Ibsenin
»Rosmersholmiin» puututaan verraten harvoin. Tämä johtuu ehkä
siitä, että kolmesta mainitusta näytelmästä »Rosmersholm» vaatii
katsojalta mitä suurinta ajatuskyvyn, ei tunnekyvyn, jännitystä, ja
senvuoksi asettaa suorittajalleen erittäin vaikeita velvollisuuksia.
Seuratessanne rouva Aalbergin esitystä unohdatte nämä vaikeudet,
ja eteenne avautuu itsestään näytelmän aate. Taiteilijalla oli tässä
osassa suuri menestys. Eilen, »Kamelianaisen» esityksessä,
menestys oli yhtä ansaittu, kuten sen läsnäoleva yleisökin
yksimielisesti jälleen vakuutti. Jo tämän liiaksi näytellyn ja
vanhentuneen kappaleen ensi kohtauksesta katsoja tunsi taiteilijan,
joka osaa antaa elävyyttä ja todennäköisyyttä osan mitä
melodraamallisimmille momenteille. Onnettoman Margueriten
kärsimysten vaihteluun rouva Aalberg sulkee niin paljon vilpitöntä
tunnetta, naisellisuutta ja jotakin erityistä, hänelle ominaista
viehättävyyttä, että vanhaa juttua särjetystä sydämestä kuulee
pakostakin liikutettuna ja mielenkiinnoin. Joka näytöksen lopussa
huudettiin taiteilijatarta äänekkäästi esille.»
Arthur Luther arvosteli »Hedda Gableria» »Moskauer deutsche

Zeitungissa»;
»Kuinka on mahdollista, että niin suuren taiteilijan täytyy esiintyä

niin kurjassa huoneistossa! Tässä salissa [n.s. Romanovin
teatterisalissa], jossa toinen puoli ei kuule mitään, toinen puoli ei näe
mitään! Tällä näyttämöllä, missä dekoratsionit huojuvat, kun niihin
koskee! Vain meidän paras teatterimme olisi Ida Aalbergille kyllin
hyvä. Minä näin hänet eilen ensi kerran, mutta en tule tästä lähtien
laiminlyömään ainoatakaan hänen esiintymistään, sillä varmaankaan
hänen esiintymisensä ei tule supistumaan viiteen ilmoitettuun
vierailunäytäntöön.
Ida Aalberg on kauniin viivan taiteilija (ei kauniin pose'n). Jokaisen

yksityisen momentin tahtoisi saada ikuistetuksi. Tämä Hedda Gabler
todellakin kuolee kauneudessa. Naispaholainen hän kyllä on; hänen
pitää se olla, ja unohtumattomana tulee mielessäni säilymään kuva,
kuinka hän polvistuu uunin eteen ja palavat paperipalaset liekehtivät
hänen päänsä ympärillä. Mutta ei se, mikä on villin-saatanallista,
anna hänelle perussävyä (kuten Dumontille, jonka näimme viime
vuonna), vaan se, mikä on kissamaisen-mephistomaista. Kaunis
Mephistopheles? Niin, miksikäs ei? — kuten eräässä Heinen mitä
laajimmalle piireille tuntemattomassa tanssirunoelmassa. Kohtausta
oikeusneuvoksen kanssa toisessa näytöksessä ja loppua, missä hän
vetää sormiaan läpi alinomaa uurastavan Tean suortuvain, en ole
nähnyt vielä kenenkään niin esittävän. Tosin en tunne Dusea tässä
osassa,[29] mutta jo se, että täytyy mennä niin korkealle, kun yrittää
luonnehtia Ida Aalbergia, osoittaa riittävästi, mitä hän meille on.» —
Saksankielinenkään kritiikki ei Venäjällä ollut Ida Aalbergin

kielenääntämistä kohtaan niin ankara kuin vielä 1903 oli oltu
Berlinissä. Ibsenin runous ei ollut tuntematonta Pietarissa ja
Moskovassa, mutta siellä ei tehty sellaisia huomautuksia
käsitysvirheistä kuin Kööpenhaminassa, missä eräs arvostelija oli
sanonut:
»Vi bilder os dog ind at forstaa os paa Ibsen her hjemme —

kuvittelemme täällä kotonakin sentään ymmärtävämme Ibseniä.»
XVIII.
VIIMMEISIEN VUOSIEN TAITEELLISESTA TOIMINNASTA.
Ida Aalbergin kuolemasta on kulunut siksi lyhyt aika, että varsinkin

hänen elämänsä loppuvaiheista on liian vaikea laatia vähänkään
tyhjentävää ja samalla objektiivista kuvausta. Vuoden 1911 suuret
ristiriitaisuudet saivat aikaan, että hän kulutti kolmatta vuotta melkein
toimettomuudessa ja katkerassa ja tuskallisessa yksinäisyydessä,
mutta kuitenkin on hänen elämänsä viimmeinen vuosikymmen mitä
rikassisältöisin. Toistaiseksi on mahdollista käsitellä vuosien 1905—
1915 välistä aikaa vain perin suppeassa muodossa.
*****
Ida Aalberg oli kerran toisensa jälkeen yrittänyt näytellä vierailla

kielillä, mutta ei ole mikään ihme, että näin saavutetut voitot jäivät
puolinaisiksi ja ettei hän sitä tietä voinut saavuttaa pysyvää
eurooppalaista ja yleismaailmallista mainetta. Ainoa toinen todellinen
näyttelijä-suuruus, joka 1800-luvulla on yrittänyt samaa, näytellyt
vierailla kielillä, lienee Ristori. Ernest Legouvén puolittain
pakottamana italialainen näyttelijätär esiintyi Parisissa ranskan
kielellä, ja tästä kokeesta ei ainakaan hänellä itsellään ole huonoa
muistoa. Mutta kun Ristori myöhemmin mitä tarmokkaimpien
opiskelujen jälkeen näytteli Lady Macbethia englanniksi, havaittiin
hänen kielensä puutteelliseksi, ja kun hän Amerikassa uskalsi
eräässä saksankielisessä teatterissa tulkita englannin kielellä
pääosaa »Maria Stuartissa», onnittelivat yankeet häntä siitä, että
hän osasi niin hyvin saksaa! »Tuo viimeinen ponnistukseni
valtameren toisella puolella on antanut minulle sangen terveellisen
opetuksen taiteellisesta leikittelystä», kirjoitti Ristori, joka sen jälkeen
tyytyi näyttelemään vain italian kielellä.
Vuosien 1904—1905 suuri kiertue ei epäonnistunut taloudellisesti,

mutta ei myöskään siinä suhteessa antanut tulosta, joka olisi
houkutellut jatkamaan.
Kaikkialla, missä Ida Aalberg esiintyi saksan kielellä, hänet

kuitenkin saatiin tietää suomalaiseksi taiteilijaksi. »Suuri
suomalainen näyttelijätär» on hänen ainaisena nimityksenään,
esiintyipä hän missä tahansa ja minkälaisessa ympäristössä
tahansa. Ida Aalberg tunsi itsensä aina syvimmässä mielessä
suomalaiseksi, ja kun häntä monien Suomalaisen teatterin kanssa
sattuneiden ristiriitaisuuksien aikana syytettiin isänmaallisuuden
puutteesta, ei hän milloinkaan tahtonut myöntää tuota syytöstä
oikeutetuksi. Kaarlo Bergbomin teatteri ei hänestä vain ollut ainoa,
jossa suomalaista näyttämötaidetta voitiin palvella.
On joskus sanottu, että Kaarlo Bergbom oli joka kerta, kun Ida
Aalberg tuli Suomalaiseen teatteriin, äärettömän iloinen ja että hän
huokasi helpotuksesta joka kerta, kun näyttelijätär taas lähti pois.
Heidän kirjeenvaihtonsa antaa sangen paljon tukea tämmöiselle
väitteelle. Aina 1880-luvun alusta lähtien Suomalaisen teatterin
johtaja kirjoittaa niin nöyriä ja pyytäviä kirjeitä, että toisinaan tuntuu
melkein pahalta, kun näkee, miten kopeasti ja vaateliaasti Ida
Aalberg niihin vastaa. Kaarlo Bergbomia kohtaan Ida Aalberg esiintyi
loppuun asti kuin hemmoteltu lapsi, joka äksyilee ja niskottelee ja
kokeilee, kuinka pitkälle vanhempien rakkaus ulottuu. Suhde ei tosin
tullut milloinkaan myöhemmin niin huonoksi, kuin se oli ollut 1890-
luvun alkuvuosina, mutta liiankin selvää on, että Ida Aalbergin
käyttäytyminen vanhaa suosijaansa kohtaan myöhemminkin jätti
toivomisen varaa.
Vuonna 1902 Suomalainen teatteri muutti uuteen asumukseen ja

sai nimekseen Suomen Kansallisteatteri. Ida Aalberg oli antamassa
loistoa avajaisjuhlallisuuksille, mutta sai tuosta käynnistään
Helsingissä tyytymättömyydenaiheen Bergbomia vastaan.
Vuoden 1903:n alussa Kaarlo Bergbom kirjoittaa Ida Aalbergille:
»Arvoisa rouva Paroonitar!
Olen kolme viikkoa ollut vuoteen omana, sairastanut pahaa

keuhkokuumetta. Siinä syy, miksi en käynyt luonanne Helsingissä
ollessanne. Mutta hyvälle ystävälle Thérèse Hahlille olitte silloin
sanonut sanan, joka kovin kipeästi koski minuun. Syynä siihen,
ettette esiinny Helsingissä on muka »Bergboms bry sig icke om att
hafva mig» [Bergbomit eivät välitä minun tulostani sinne.]
Jos niin sanotte päästäksenne kysyjästä, jolle ette tahtonut antaa

vastausta, olkoon menneeksi. Mutta jos tosiaan sitä ajattelittekin,
erehdytte suuresti. Sekä minulle että sisarelleni on käyntinne
näyttämöllämme juhla. Tulkaa niin usein kuin tahdotte — aina olette
tervetullut. Meille iloksi, — teatterille kunniaksi. Muutamat
epäkohdat ovat Teitä suututtaneet ja Te laskette ne meidän
niskoillemme muistamatta, että me niistä saamme kärsiä paljon
enemmän kuin Te. Ne ovat Teille vastuksina muutamia viikkoja,
meille vuosien läpi.
Siis — jos tulette Maaliskuulla, tervetullut. Jos mieluummin tulette

Pääsiäisen perästä, tervetullut. Jos lykkäätte käyntinne syksyksi,
tervetullut silloinkin. Mainitkaa missä osissa tahdotte esiintyä, että
saamme valmistaa käännökset hyvän sään aikana. Jos tahdotte
suullisesti keskustella siitä, tulen Pietariin — mutta en nyt kohta,
olen vielä liian heikko. Mutta myöhemmin.
Kunnioittaen
Kaarlo Bergbom.»
Ida Aalberg kirjoitti vastaukseksi:
»Arvoisa Herra Tohtori!
Teidän kirjeenne 18 p:ltä olen vastaanottanut.
Te olette kummastunut kuinka minä olen uskaltanut sanoa

uskovani, ettei minua Kansallisteatterissa tarvita. — Minä olen sen
uskaltanut syystä, että olin saanut sen vakuutuksen ja iloitsen
suuresti nähdessäni, että siis se ei ole niin. Syytä tähän
vakaumukseen on minulle kylliksi teatterin avausjuhla-asiassa
annettu.
Tänä keväänä en enää tule.
Sitäpaitsi sanoitte syksyllä, ettei löydy minulle repertoiria. — Mitä

myöhempään tulee siitä voimme myöhemmin päättää. Iloitsen että
terveytenne on parempi ja toivon sydämellisesti pikaista
voimistumistanne voidaksenne edelleen kehittää ja nostaa
suomalaista taidetta.
Kunnioituksella
Ida Aalberg-Uexküll.»
Vaikka nämä kaksi kirjettä antavat verraten tyypillisen näytteen

heidän kirjeittensä yleisestä sävystä, on kuitenkin varmaa, että Ida
Aalbergin sydämen pohjalla oli mitä suurin hellyys Kaarlo Bergbomia
kohtaan. Kun tohtori kesällä 1903 on sairaana ulkomailla, tiedustelee
Ida Aalberg hätääntyneenä hänen osoitettaan saadakseen lähettää
hänelle sydämellisen osanottonsa ilmauksen. Ja saatuaan kuulla,
että Bergbom alkoi toipua, Ida Aalberg kirjoittaa Augusta af
Heurlinille: »Ole hyvä purista lämpimästi Tohtorin kättä ja sano
hänelle kuinka hartaasti toivon että hän meille takaisin annettaisiin,
suurta työtänsä ainakin suurella hengellänsä ohjaamaan.»
Kerrotaan, että Ida Aalberg itki kokonaisen vuorokauden saatuaan

tiedon Kaarlo Bergbomin kuolemasta. Varmaa on, että hän
jälkeenpäin tohtori Bergbomista puhuessaan ilmaisi mitä syvintä
kunnioitusta ja ihailua. Tämä myöhäinen kiitollisuus ja tunnustus on
vanha tarina hyvästä teatterinjohtajasta ja hyvästä näyttelijästä, Ida
Aalberg ei menetellyt paremmin eikä huonommin kuin hänen
ammattialallaan yleensä menetellään. Jos Ida Aalberg alusta lähtien
olisi mukautunut kaikkiin Kaarlo Bergbomin toivomuksiin, ei ole
lainkaan sanottu, että hän olisi näyttelijänä kasvanut niin suureksi
kuin kasvot. Esiintyessään vain vierailijana hän saattoi valita
mieleisensä ohjelmiston, sai välillä tarpeellisia lepoaikoja, säästyi
yleisön kyllästymiseltä enemmän kuin teatteriin vakinaisesti kuuluvan
näyttelijän on mahdollista. Ida Aalbergin henkilökohtainen suhde
Kaarlo Bergbomiin ei ole kuvaavaa vain yleiselle teatteripsyykelle
vaan sen takaa näkyy — jos nimittäin katsoo vain tämän suhteen
nurjaa puolta — itsesäilytysvaisto, jota ei voi muitta mutkitta tuomita.
Ristiriidat heidän välillään lienevät, niin näkyviä kuin ovatkin,
kuitenkin olleet verraten pinnallisia. On uskottavaa, että
kumpaisenkin suurimpana riemuna oli työskentely yhdessä, vaikka
Ida Aalberg ei ollut sitä aina kovin halukas tunnustamaan.
Kaarlo Bergbomin kuoltua Ida Aalbergista katosi halu

»eurooppalaistua». Tämän jälkeen hän esiintyi vain suomenkielisenä
näyttämötaiteilijana. Lukuunottamatta muutamia
hyväntekeväisyysnäytäntöjä Pietarissa, joissa hän suomenkielellä
tulkitsi Hugo von Hoffmansthalin »Elektraa», ja lyhyttä
suomenkielistä vierailumatkaa Unkariin ja Pietariin vuonna 1907
hänen koko taiteellinen toimintansa tapahtuu kotimaassa. Tuntuu
melkein siltä, että Bergbom vasta kuolemallaan kirkasti Ida
Aalbergille elämäntyönsä arvon.
*****
On joskus sanottu, että onnellisessa avioliitossa on vaikeata

määritellä, mikä osuus kummallakin puolisolla on yhteisessä
saavutuksessa.
Ida Aalbergin ja vapaaherra Uexküll-Gyllenbandin avioliitossa

tuntuu
erääseen aikaan olleen verraten varmasti määritelty työnjako.
Vapaaherra edusti yhteisessä taiteellisessa työssä teoreettista älyä,
Ida Aalberg oli toimeenpaneva voima.
Ida Aalberg oli erinomaisen henkevä ja älykäs nainen. Vapaaherra

Uexküll-Gyllenbandin suuresta vaatimattomuudesta johtui, että eräät
aikalaiset pitivät Ida Aalbergia perusluonteeltaan älyllisenä.
Tämmöinen erehdys on kyllä ymmärrettävää: on ollut suuri elämys
kuulla tuon henkevän naisen toistavan miehensä teoreettisia oppeja,
jotka koko luonteeltaan olivat erikoisia ja rohkeasti yksilöllisiä.
Ida Aalberg oli älykäs, mutta ei älyllinen. Kaikenlainen

teoretisoiminen oli hänen luonteelleen tuiki vierasta, hän oli nainen ja
hänellä oli — kaiken opiskelun ja lueskelun jälkeenkin — liian vähän
varsinaista älyllistä kouluutusta pystyäkseen ominpäin
muodostamaan teoriaa.
Ida Aalbergilla on kuitenkin ollut oma osuutensa miehensä

teoreettiseen ajatteluun. Hän on määrännyt sen suuntaa. Ida
Aalberg oli ollut aiheena siihen, että vapaaherra Uexküll-
Gyllenbandin filosofia kohdistui 1890-luvun lopulla
näyttämötaiteeseen. Hänellä on täytynyt olla määräävä osuus siinä,
että vapaaherra Uexküll-Gyllenbandin teoreettisessa kannassa
Kaarlo Bergbomin kuoleman jälkeen tapahtui eräs oleellinen muutos.
Vuonna 1908 julkaistiin »Ajassa» eräs kirjoitus Ida Aalbergin

nimissä. Artikkelin otsikkona oli: »Kansa ja teatteri». Se on pitkä
kirjoitus ja luonteeltaan sangen teoreettinen, vaikka lupaakin alussa
pysyä käytännön kannalla. Se saarnaa kosmopolitismia vastaan
taiteen alalla, se väittää, että hyvän taiteen tulee olla kansallista. Se
puhuu Kaarlo Bergbomin jättämästä perinnöstä, kansallisesta
teatterista, jota olisi kohotettava ja vaalittava.
Vapaaherra Uexküll-Gyllenband oli perusluonteeltaan

kosmopoliitti. Taide, ei kansallinen ja suomalainen taide, vaan
yleisinhimillinen taide, oli ollut hänen johtotähtenään. Asettuiko siis
Ida Aalberg miestään vastaan tuossa kirjoituksessa? Se ei ole
luultavaa, päinvastoin näyttää siltä, että koko kirjoitus on vapaaherra
Uexküll-Gyllenbandin laatima. Tyyli »Kansa ja teatteri» artikkelissa ei
ole Ida Aalbergin yksinkertaista ja havainnollista, vaan vapaaherra
Uexküll-Gyllenbandin filosofian ja juridiikan kyllästyttämää tyyliä.[30]
Mutta itse perusajatuksen muodostamisessa Ida Aalberg lienee ollut
»primus motor», aloitteen tekijä ja määräävä voima.
Ida Aalberg kirjoitti elämänsä lopulla eräitä erittäin kauniita

tunnelmakuvauksia, semmoisia kuin aikaisemmin mainittu
»Kotiseudun lumous» tai muistelma Oulunkoskien laskusta erään
kiertueen aikana. Kuitenkaan hän ei tunnu kernaasti tarttuneen
kynään, jos oli kysymys julkisuudesta. Esim. vuoden 1908 alussa
Kansallisteatterin »Elinan surman» esityksestä kirjoitettu ja hänen
nimissään julkaistu arvostelu saattaa kyllä sisältää hänen omat
mielipiteensä, mutta on alusta loppuun vapaaherra Uexküll-
Gyllenbandin laatima: on tallella vapaaherran saksalainen konsepti,
jota ei mitenkään voi selittää suomalaisen alkutekstin käännökseksi.
Jalmari Hahlin ollessa Suomen Kansallisteatterin johtajana Ida

Aalberg kevätkaudella 1907 vieraili kahdessa osassa:
tuntemattoman kotimaisen tekijän »Luvatussa maassa» ja Victor
Hugon »Lucrezia Borgiassa». »Valvojassa» Eino Leino merkitsi
edellisen kappaleen perin heikoksi, jälkimmäisen vanhentuneeksi ja
kirjoitti Ida Aalbergin osalle:
»Mitään erikoisen uutta eivät nämä Ida Aalbergin vierailut tällä

kertaa esityksen puolesta tarjonneet. Mutta luonnollisesti on hänen
oma taiteensa aina omiaan aateloimaan Kansallisteatterin
näyttämön siksi tunteiden ja väkevien mielikuvien kentäksi, joka sen
oikeastaan tulisi olla ja joksi ainoastaan Ida Aalberg sen vielä voi
tehdä. Mielestäni on näin ollen arvostelijan tehtävä vain merkitä
omansa ja epäilemättä myös koko teatteriyleisömme syvin
kiitollisuus.» —
Vuoden 1907:n vierailut Kansallisteatterissa päättyivät kesken,
sillä Ida Aalberg suunnitteli siihen aikaan kiihkeästi vierailuretkeä
Unkariin. Saman vuoden syksyllä hän omine seurueineen esiintyi
sekä Helsingissä että useissa maaseutukaupungeissa näytellen
»Rosmersholmia», »Hedda Gableria», »Elinan surmaa» ja »Kotia».
Kotimaisen arvostelun voi ehkä lyhyimpänä lukea »Vasabladetista»,
joka kirjoitti:
»Ida Aalbergin näytteleminen ei kaipaa monia sanoja. Ei tarvitse

lisätä mitään siihen, minkä jokainen jo tietää, sillä hän on yhä sama
täydellinen näyttelijätär kuin ennenkin. Hänen näyttelemisensä on
viimeistä yksityiskohtaakin myöten viimeisteltyä, siinä on huippuunsa
kehitettyä tekniikkaa, eloa ja suloa kaikissa liikkeissä ja kaiken yllä
sitä sielukkuutta, jonka Ida Aalberg yksin voi luomilleen antaa.
Voimme siis, kuten aina ennenkin, vain tunnustaa, että meidät on
voitettu ja vallattu ja että olemme täynnä ihailua ja ihmettelyä.»
Helsinkiläisessä arvostelussa sentään oli havaittavissa jokunen

soraäänikin. Varsinkin Volter Kilpi suhtautui Ida Aalbergin ja hänen
seurueensa taiteeseen epäillen ja kielteisesti. Pitkän, kotimaassa
tehdyn kiertueen tarkoituksena oli valmistautuminen esiintymistä
varten Unkarissa, missä annettiin muutamia vierailunäytäntöjä
vuoden lopussa. Magyarien kritiikki Ida Aalbergin taiteesta oli
melkein yhtä innostunut ja ritarillinen kuin vuonna 1880. Puhuttiin
»Pohjantähdestä», otettiin vertauskohdiksi Duse ja Bernhardt ja
lisäksi etevä unkarilainen näyttelijätär Emilia Markus. Suomenkielen
sanottiin olevan yhtä kaunista kuin unkarin kieli, jopa joskus
muistuttavan kreikankieltä. »Neues Pester Journalissa» kirjoitettiin:
»Rouva Aalberg on suuri taiteilijatar, lahjakkaisuudessa aivan

kuuluisinten ammattisisartensa vertainen. Ihana, notkea vartalo,
suuret, puhuvat silmät, mieltäkiinnittävät kasvot, joissa kaikki
mielenliikunnot elävästi ja tarkasti kuvastuvat. Hänen koko olentonsa
muistuttaa Dusea, jonka kanssa hänellä on yhteistä tuo melodinen
persoonallisuus, ja Ida Aalberg kuuluu ehdottomasti niihin
näyttelijättäriin, joissa taiteen suuruus ja syvyys yhtyy hempeään
naisellisuuteen ja runolliseen suloon. Hänen puhelunsa, hänen
tapansa esittää inhimillisten tunteiden asteikkoa, on täynnä
intuitsionia ja hienoa taidetta; on yhdentekevää, näytteleekö hän
intohimoisesti liikkeillä vai ilmaiseeko hän mielensä kasvojensa ja
silmiensä ilmeillä.»
Parhaiten menestyi Unkarissa »Elinan surma». Yleisömenestys ei

muodostunut erikoisemmaksi, mutta unkarilaiset ylioppilaat juhlivat
Ida Aalbergia laulamalla hänelle teatterissa, riisumalla hevoset
hänen vaunujensa edestä ja vetämällä hänet loistohotellin eteen,
missä taiteilija Pestissä ollessaan majaili. Vähäinen reservatsioni
siitä, miten Ibseniä oikeastaan olisi näyteltävä, ilmestyi »Pester
Lloyd» lehdessä, mutta ei pahasti himmennä näiden Unkarin
näytäntöjen yleistä tunnelmaa. — Budapestista palattuaan Ida
Aalberg näytteli seurueineen vielä Pietarissa.
Vuonna 1909 Ida Aalberg saavutti huomattavan taiteellisen voiton

esiintymällä Helsingissä »Iphigeneia Tauriissa» draaman
nimiosassa. Hänen lausuntansa ilmehikkyys ja hänen käyttämiensä
asenteiden viivakauneus esiintyi edukseen tässä Goethen
kaihoisassa ja viileässä runoelmassa. Goethen draamassa ei ole
draamallista voimaa, ja Ida Aalberg esiintyi hänkin varsin vieraalla
alalla, mutta kuitenkin oli draaman tulkinta silloisissa oloissa jotakin
varsin poikkeuksellista. Ida Aalbergin oma innostus tarttui muihinkin
näyttelijöihin ja riitti aateloimaan esityksen, joka kuitenkaan ei
saavuttanut suuren yleisön suosiota.
*****
Jalmari Finne on kertonut sanoneensa kerran Kaarlo Bergbomille:

»Teidän varjonne lyö kumoon viisi seuraavaa Kansallisteatterin
johtajaa.» Näitä sanoja ei oltu sanottu ainoastaan vakaumuksesta ja
todellisesta syvästä ihailusta Kaarlo Bergbomia ja hänen
elämäntyötään kohtaan, vaan myöskin lohdutukseksi Suomalaisen
teatterin perustajalle, joka elämänsä lopulla huokaili suurten
vastuksien ja surujen alla.
Yhtä vähän kuin Aleksanteri Suuri tai Bismarck kasvatti Kaarlo

Bergbom itselleen valtansa perijää ja työnsä jatkajaa. Koko kysymys
tuntuu olleen hänelle vastenmielinen. Aatteen miehenä hänen olisi
pitänyt valita itselleen seuraaja, mutta on hyvin anteeksiannettavaa,
ettei hän sitä tehnyt. Kaarlo Bergbom tiesi persoonallisesta
kokemuksestaan, että teatterinjohtajan vähäinen kunnia maksetaan
nöyryytyksillä ja kieltäymyksillä, joilla on vaikeata yrittää
onnellistuttaa toista ihmistä.
Kaarlo Bergbomin suurimmissa voitoissa oli ollut määräävänä

tekijänä Ida Aalberg. Ei ollut mitään suuruudenhulluutta, jos Ida
Aalberg katsoi itsensä Bergbomin lähimmäksi perijäksi ja Bergbomin
traditsionien suojelijaksi.
Vuonna 1909 Ida Aalberg valittiin Kansallisteatterin taiteelliseen

johtoon.
Jo 1904—1905:n kiertueen aikana Ida Aalberg lienee seisonut

tasavertaisena vapaaherra Uexküll-Gyllenbandin rinnalla —
vapaaherran itsensäkin mielestä. Ainakin jo sinä vuonna Ida Aalberg
ohjailee, kuten kirjeet osoittavat, saksalaisten näyttelijäin
roolianalyysiä. Tämän jälkeen hän yhä enemmän alkaa puuttua
ohjaukseen, ja esim. Kansallisteatterin ottaessa esitettäväksi
»Iphigeneia Tauriissa» Ida Aalbergin neuvot tuntuvat olleen sekä
määrääviä että hedelmällisiä. Vaikka vapaaherra Uexküll-Gyllenband
olikin Ida Aalbergin neuvonantajana ja mitä läheisimpänä
työtoverina, sisältyy Ida Aalbergin ohjaajatoimintaan vuosina 1909—
1911 paljon itsenäisyyttä ja omintakeista toimintaa.
Ida Aalberg saapui 1909 Helsinkiin täynnä innostusta ja uskoa ja

harrastusta, joka ei koskenut vain suomalaista näyttämötaidetta,
vaan suomalaista kulttuuria yleensä. Hän tahtoi koota ympärilleen
kansallisen sivistyksen suurimmat edustajat, hän tahtoi perustaa
oman »salongin», hän tahtoi suomalaista näyttämötaidetta
mitattavan vain kaikkein korkeimmilla mitoilla. Nämä optimistiset
toiveet pettyivät täydellisesti: emännän loistavasta seurustelutaidosta
huolimatta »salonki» ei ottanut oikein menestyäkseen, ja taiteellinen
toiminta teatterissa johti mitä surkeimpaan ristiriitaan, Ida Aalbergiin
nähden suorastaan katastroofiin.
*****
Ida Aalberg käsitti itsensä Bergbomin traditsionien suojelijaksi.

Hänen Kansallisteatterin kanssa tekemäänsä sopimukseen kuului,
että hän vuosittain ohjaisi neljä kappaletta, joissa myöskin itse
esiintyisi näyttelijänä.
Kaarlo Bergbomin johdon suurin saavutus lienee siinä, että hän loi
kotimaisen ohjelmiston, vaikutti itseensä draamatuotantoon. Siinä
suhteessa Ida Aalberg koetti olla ehdottomasti uskollinen
traditsioneille. Ottamalla näyttämölle Linnankosken »Ikuisen
taistelun», Maila Talvion »Anna Sarkoilan» ja Eino Leinon
»Alkibiades» näytelmän hän ei noudattanut vain omia mielitekojaan
ja primadonna-vaatimuksiaan, vaan myöskin, ja lähinnä, Kaarlo
Bergbomin traditsioneja. Onni ei kruunannut hänen rohkeita
pyrkimyksiään. Kritiikki ei tosin sivuuttanut hänen innostuneen
työnsä tuloksia kylmästi, vaan tunnusti, että ohjaustoiminnan takana
oli voimakas tahto ja rikas mielikuvitus, mutta sittenkin jäi menestys
puolinaiseksi. Ibsenin »John Gabriel Borkmanin» esityksestä
suomalainen kritiikki sanoi tuomionsanoja ja paljon jyrkemmässä
muodossa kuin aikaisempi ulkomainen kritiikki »Hedda Gablerista»
ja »Rosmersholmista». Vapaaherra Uexküll-Gyllenband avusti
parhaansa mukaan Ida Aalbergia tässä ohjaustoiminnassa, mutta
hänen »uusi tekniikkansa» tai »psykologinen» suhtautumisensa
tehtäviin ei tullut ainakaan yleiseksi tietoisuudeksi Helsingin
arvostelijain kesken, kun he arvostelivat Ida Aalbergin ohjausta ja
näyttelemistä. »John Gabriel Borkmanin» esitys oli Ibseniin
kohdistuvaa väkivaltaa, sen voi lukea suopeidenkin arvostelujen
rivien välistä, Anna Sarkoilaa Ida Aalberg ainakin toisten mielestä
tulkitsi liiaksi suureen tyyliin.
Suurisuuntaisin ja rohkein teko, minkä Ida Aalberg ohjaajana

suoritti, lienee ollut Linnankosken »Ikuisen taistelun» esittäminen.
Elämänsä lopulla taiteilija, joka niin usein oli näyttämöltä tulkinnut
rikollisia tyyppejä, otti esittääkseen itsensä pahuuden alkuvoiman,
Luciferin. Hän ei kuitenkaan valinnut kappaletta tuon osan vuoksi,
hän selitti nimenomaan, että hänen päätarkoituksensa oli kirjailijan
kannustaminen ja kotimaisen draaman vaaliminen. Ida Aalberg ja
vapaaherra Uexküll-Gyllenband eivät säästäneet vaivojaan,
ohjauskirjoista näkee, että työtä on tehty hellittämättömällä innolla.
Mutta niin epäitsekäs kuin Ida Aalbergin yritys olikin, »Ikuinen
taistelu» muodostui ehkä pahimmaksi kompastuskiveksi hänen
ohjaajatoiminnassaan. Suuret kustannukset, jotka kappale aiheutti
teatterille, herättivät pahaa verta. Taiteellinen tulos muodostui
mielenkiintoiseksi, mutta ei vakuuttavaksi. Draamaahan ei oltu
tehtykään näyttämön vaatimuksia silmälläpitäen.
V.A. Koskenniemi kirjoitti »Ikuisen taistelun» johdosta m.m.:
‒ ‒ ‒ »Ensimmäinen näytös, Luciferin öinen kokous, on

draamallisesti verraten heikko. Pimeyden ruhtinas on koonnut
ympärilleen oman seurakuntansa, Repokorvat, Vihreäsilmät, Täti
Lierot, Herjakielet, Satasormet j.n.e., ja suunnittelee heidän
kanssaan ihmissuvun viettelemistä Jehovan pelvosta. Taikka
oikeammin: koko näytös on Luciferin varsin epädraamallista
yksinpuhelua, jonka keskeyttävät siellä täällä henkien ulvahdukset
tai muut mielenosoitukset verraten merkityksettömine
vuorosanoineen. Näytelmän heikoimpia puolia on mielestäni se, että
Luciferin kuva kirjailijan ponnistuksista huolimatta jää varsin
vaaleaksi. Byronin Lucifer, Goethen Mefistofeles ja Andrejevinkin
Anatema — kirjallisuuden uusin viettelijätyyppi — ovat kuvatut
samalla kertaa sekä verevämmällä että hienommalla taiteella. Mikä
on Linnankosken Luciferin toiminnan ja tekojen sisin vaikutin? Jos
hän todella tietää alottaneensa »ikuisen taistelun» Jehovaa ja hänen
vaikutustaan vastaan, tuntuu hän tässä ensimmäisessä öisessä
kohtauksessa tuhlailevan yhdellä kertaa liiaksi sydämensä raivoa.
Samalla tekee hän liian kaunopuheliaan vaikutuksen. Hänestä
puuttuu jotain siitä tyynestä sisällisestä auktoriteetista, jonka
mielellään runoilisimme tähän Jehovan väsymättömään, ylpeään
vastustajaan. En tiedä onko runoilija ajatellut tätä tyyppiä luodessaan
paratiisin käärmettä, mutta ainakin tuli se usein Ida Aalbergin
esityksessä mieleen. Joka tapauksessa on »Ikuisen taistelun»
Lucifer mittasuhteiltaan vähäpätöisempi ja inhimillisesti
merkityksettömämpi kuin se ihmislapsi, Kain, johon hän pyrkii
vaikuttamaan. — — —
*****
Esitys? Siinä pistää kenties ensimmäisenä silmään se ulkonainen

loisto, jolla tämä draama oli asetettu näyttämölle. Dekoratsionien
tyylikäs hienous ja komeus voittaa kaiken, mitä meillä
Kansallisteatterissa on nähty. Jo ensimmäinen kuvaelma idyllisine
maisemineen antoi rikkaan tunnelman. Hauskasti oli keksitty
uneksiva valmurivi rampin luona samoinkuin suuret, koristeelliset
sienet. Toisessa kuvaelmassa oli Luciferin luola niinikään pantu
näyttämölle komealla taiteellisella mielikuvituksella. Aivan yhtä
onnellista vaikutusta eivät tehneet ne henget, jotka tässä luolassa
pitivät kokoustaan. Heidän joukkohuudahduksissaan,
naurunrähäköissään ja koko yleisesityksessä tuntui kyllä huolellinen
ja harkittu johto, mutta koko kuvaelma on itsessään mahdoton
esitettäväksi. Ei voi kernaasti uskoa, että tuo päätön lauma pystyisi
ihmiskuntaa tuhoamaan. Ida Aalbergin komeasti, hillityllä energialla
lausumat vuorosanat antoivat tälle kohtaukselle kuitenkin
eräänlaisen loiston, joka osittain korvasi sen, mitä itse kuvaelmasta
sinänsä puuttuu. Kaiuin näyt toisessa näytöksessä olivat myöskin
huomattavia näyttämöteknillisiä saavutuksia, ehkä kuitenkin
lukuunottamatta muutamia taikalyhtykuvia, jotka olisivat voineet olla
parempia. Uhrikohtauksen stilisoitu maisema sekä viimeisen
kuvaelman syysmetsä olivat harvinaisen tunnelmallisia ja auttoivat
kaiketi osaltaan näytelmää sen taiteelliseen voittoon.
Osien esityksessä kiinnittää mieltä ensi sijassa Ida Aalbergin

Lucifer. On erinomaisen rohkeata naiselle käydä tulkitsemaan
tällaista osaa, jonka luonteeseen kaiken traditsionin mukaan kuuluu
juuri tärkeänä puolena maskuliininen uhma. Kukaan muu kuin Ida
Aalberg olisi tuskin tähän voimankoetteluun antautunut. Hänen
Luciferinsa oli enemmän käärmeellinen kuin uhmaileva, enemmän
raivokas kuin maltillisesti ja tyynesti harkitseva. Se oli eräänlainen
sukupuoleton Mefistofeles, kenties hiukan hermostunut ja
agitatoorinen, mutta monin paikoin, esim. kuiskatessaan Kainille
tämän maatessa maassa tai uhritoimituksen aikana, häikäisevän
demoninen.» — —
Se, että Ida Aalberg sekä ohjaajana että näyttelijänä saavutti

yhden suuren ja ehdottoman menestyksen, nimittäin Ostrovskin
»Ukkosilmassa», ei riittänyt vakiinnuttamaan hänen asemaansa
silloisen johdon silmissä. Ida Aalberg ei, kuten tavallisesti aina
ennen, ollut pystynyt täyttämään taiteensa voimalla katsomoa ja
kassaa, ja senvuoksi Kansallis-teatterin johtokunta kevätkaudella
1911 sanoi hänet irti vakinaisesta toimesta ja toivoi palattavan
entiselle kannalle, t.s. vierailunäytäntöihin, joilla Ida Aalberg
kahdenkymmenen vuoden aikana oli avustanut teatteria.
Sanottakoon Ida Aalbergin ohjausajasta 1909—1911 mitä muuta

tahansa, tämä ainakin on varmaa: hän oli työssään osoittanut niin
valtavaa innostusta ja antaumusta, että tuomio kohtasi häntä
ruhjovalla voimalla. Saamansa ero, jos mikään, muuttui hänelle
tunnekysymykseksi. Hän tunsi ansionsa teatteria kohtaan liian
elävästi kestääkseen näin saamaansa tuomiota, ja oli myöskin liian
vilpitön ja kuumaverinen kyetäkseen suhtautumaan siihen
ylimielisesti ja kylmästi.
Maila Talvio on kertonut, kuinka Ida Aalberg koetti, saatuaan

tiedon erostaan, tulla hänen luokseen. Ida Aalberg pääsi taloon ja
ovesta sisään, mutta lyyhistyi kokoon alimmille sisäportaille, tuijotti
siinä murtunein katsein eteensä ja toisteli raukealla yksitoikkoisella
äänellä: »Niin sitä vaan potkitaan — — pois!»
Hän oli kuolemaan asti väsynyt, ja koko kohtaus oli kaamea ja
vilpitön kuin kuolema itse. Seuraavina päivinä ennen niin elegantti
Ida Aalberg pakkasi tavaroitaan puku ja tukka epäjärjestyksessä.
1911 Ida Aalberg pani toimeen viimeisen suuren kiertuensa

Suomessa. Lukuunottamatta Hämeenlinnassa sattuneita poliittisia
rettelöitä hän sai osakseen jakamatonta ja lämmintä innostusta.
Kuitenkin täytyy sanoa, että Ida Aalbergin taide alkoi loppuaikoina
olla epäilyksenalaista. Kun hän esitelmöi maaseutukaupungeissa
taiteellisen teatterin tarpeellisuudesta ja kulttuuriarvosta, sai hän
kritiikkejä, jotka olivat vastustavalla kannalla syyttäen Ida Aalbergin
puhuvan toista kuin hän taiteilijana esitti: maaseudullakin uusi aika
alkoi esittää »hillityn suunnan» vaatimuksia täysin tarmoin ja
kiivaasti. Kiivailu »hillityn taiteen» puolesta on naurettavaa, ja
varsinkin muutamassa maaseutulehdessä se esiintyy perin
koomillisessa valossa Ida Aalbergin esitelmämatkan aikana.
Vuosina 1912—1913 Ida Aalberg eli ylpeässä eristyneisyydessä

Viipurissa. Hän ei tahtonut puuttua mihinkään taidetta koskevaan,
hän kieltäytyi näyttelemisestä, lausumisesta, kirjoittamisesta.
Varmaa on, ettei hän tätä kaikkea tehnyt yksin omasta halustaan ja
voimastaan. Vapaaherra Uexküll-Gyllenband sai hänet muistamaan
vuoden 1911:n riitautumista kauemmin kuin hän itse olisi kyennyt
sitä muistamaan. Se oli epätoivon aikaa Ida Aalbergille. Hän
suunnitteli elämäkerran kirjoittamista, hän kävi keittokoulua, hän
lueskeli, hän koetti opiskella venäjän kielen alkeita — mistään ei
tullut vähintäkään tyydytystä.
Tarvittiin vain pieni kirje Juhani Aholta, kun Ida Aalberg unohti
ylpeytensä ja saapui vuoden 1914:n alussa Kansallisteatterin hänen
kunniakseen toimeenpanemiin suuriin juhliin.

Textbook Splitting Methods in Communication Imaging Science and Engineering Roland Glowinski Ebook All Chapter PDF

Uploaded by

Document Information

Original Title

Copyright

Available Formats

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Available Formats

Textbook Splitting Methods in Communication Imaging Science and Engineering Roland Glowinski Ebook All Chapter PDF

Uploaded by

Copyright:

Available Formats

Splitting Methods in Communication

Imaging Science and Engineering

Approximation Methods in Science and Engineering Reza

Computational and Analytic Methods in Science and

Domain Decomposition Methods in Science and Engineering

Computational and Analytic Methods in Science and

Essentials of Mathematical Methods in Science and

Automation Communication and Cybernetics in Science and

Domain Decomposition Methods in Science and Engineering

Essentials of Mathematical Methods in Science and

More information about this series at http://www.springer.com/series/718

ISSN 1434-8322 ISSN 2198-2589 (electronic)

Library of Congress Control Number: 2016951957

Mathematics Subject Classification (2010): 49-02, 65-06, 90-06, 68U10, 47N10

© Springer International Publishing Switzerland 2016

Printed on acid-free paper

This Springer imprint is published by Springer Nature

Many thanks are in order:

Houston, TX, USA Roland Glowinski

2 Some Facts About Operator-Splitting and Alternating Direction

3 Augmented Lagrangian Algorithms and Alternating Direction

4 Convergence Rate Analysis of Several Splitting Schemes . . . . . . . . . . . 115

5 Self Equivalence of the Alternating Direction Method

7 Nonconvex Sparse Regularization and Splitting Algorithms . . . . . . . . 237

10 First Order Algorithms in Variational Image Processing . . . . . . . . . . . 345

13 ADMM Algorithmic Regularization Paths for Sparse Statistical

5 Applications of Strong Schemes to Nonlinear Filtering and Optimal

3 Iterative Bregman Projections . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 586

4 Operator Splitting for Combustion Problems . . . . . . . . . . . . . . . . . . . . . . 635

2 Mathematical Modeling of Newtonian Fluids with Free Surfaces . . . . . 679

23 On Circular Cluster Formation in a Rotating Suspension

Roland Glowinski, Stanley J. Osher, and Wotao Yin

1 Motivation and Background

© Springer International Publishing Switzerland 2016 1

X n+1 = X2 (t n+1 ). (1.8)

with A(X,t) = A1 (X,t) + A2 (X,t), A1 and A2 being possibly nonlinear. Introducing

3 On the Strang Symmetrized Operator-Splitting Scheme

Motivated by the accurate solution of hyperbolic problems, G. Strang introduced in

implying that the (symmetrized) scheme

X n+1 = X1 (t n+1 ). (1.20)

Generalizing scheme (1.14)–(1.20) to decompositions of A involving more than

4 On the Solution of the Sub-initial Value Problems

The practical implementation of the Strang symmetrized scheme will be dis-

5 Further Comments on Multiplicative Operator-Splitting

We will conclude these generalities on multiplicative operator-splitting methods by

To the best of our knowledge, J. Douglas, D. Peaceman and H. Rachford introduced

where A1 and A2 operate, possibly, on an infinite dimensional space, and 0 < T ≤

Further comments and remarks concerning scheme (1.24)–(1.26) may be found

For n ≥ 0, X n → X̂ n+1 → X n+1 as follows:

Remark 2. For obvious reasons the Douglas-Rachford scheme (1.28)–(1.30) is

Remark 3. Unlike the Peaceman-Rachford scheme (1.24)–(1.26), the Douglas-

Remark 4. This is the Douglas-Rachford analogue of Remark 1: For those situations

7 Operator Splitting in Optimization

Alkujaan vuosien 1904—1905 kiertue oli suunniteltu laajemmaksi

Näytännöt Pietarissa ja Moskovassa menestyivät erinomaisesti.

»Ruskija Vjedomosti» kirjoitti hänestä:

Arthur Luther arvosteli »Hedda Gableria» »Moskauer deutsche

»Kuinka on mahdollista, että niin suuren taiteilijan täytyy esiintyä

Ida Aalberg on kauniin viivan taiteilija (ei kauniin pose'n). Jokaisen

Saksankielinenkään kritiikki ei Venäjällä ollut Ida Aalbergin

»Vi bilder os dog ind at forstaa os paa Ibsen her hjemme —

VIIMMEISIEN VUOSIEN TAITEELLISESTA TOIMINNASTA.

Ida Aalbergin kuolemasta on kulunut siksi lyhyt aika, että varsinkin