You are on page 1of 1

D

I

A

APPLICAZIONE DI PRECONDIZIONATORI PARALLELI
ALGEBRICI MULTILIVELLO ALLA SIMULAZIONE LES
DI UN FLUSSO TURBOLENTO CONFINATO

M

Seconda Università
degli Studi di Napoli
Dipartimento di Ingegneria
Aerospaziale e Meccanica

Andrea Aprovitola (1), Pasqua D’ambra (2), Filippo Maria Denaro (1), Daniela di Serafino (3), Salvatore Filippone (4)
(1) (Dipartimento

di Ingegneria. Aerospaziale e Meccanica, Seconda Università degli Studi di Napoli, Via Roma 29, I-81031 Aversa andrea.aprovitola@unina2.it, denaro@unina.it )
(2) (Istituto di Calcolo e Reti ad Alte Prestazioni, CNR, Via Pietro Castellino 111, I-80131 Napoli, pasqua.dambra@na.icar.cnr.it )
(3) (Dipartimento di Matematica, Seconda Università degli Studi di Napoli, Via Vivaldi 43, I-81100 Caserta, daniela.diserafino@unina2.it )
(4) (Dipartimento di Ingegneria Meccanica, Università di Roma “Tor Vergata”, Viale del Politecnico 1, I-00133, Roma, salvatore.filippone@uniroma2.it )

Obiettivo e focal points del lavoro

Modello LES con schema ai Volumi Finiti
Filtraggio di ordine elevato mediante

Risoluzione efficiente di sistemi lineari sparsi provenienti dall’applicazione di
metodi di proiezione alla simulazione LES di flussi turbolenti confinati su calcolatori paralleli a memoria distribuita
1

4

1) integrazione delle librerie di software numerico PSBLAS (Parallel Sparse
Basic Linear Algebra Subprograms) e MLD2P4 (Multi-Level Domain Decomposition Parallel Preconditioners Package based on PSBLAS) in un codice
LES ai volumi finiti
2) Analisi delle caratteristiche del sistema lineare algebrico derivante dall’applicazione di un metodo di proiezione alle equazioni di Navier-Stokes
3) Scelta del precondizionatore/metodo di risoluzione più opportuno del sistema algebrico
4) Analisi della scalabilità ed efficienza del precondizionatore in termini del
numero d’iterazioni e tempo medio di risoluzione.
Precondizionatori algebrici basati sulla Domain Decomposition (DD)
Si decompone la matrice del sistema lineare in blocchi di righe corrispondenti a sottodomini del dominio di partenza del problema
Si definisce un precondizionatore locale per ciascuna delle sottomatrici
Si costruisce il precondizionatore globale utilizzando quelli locali

⎡ (m ) ⎤
⎢⎣ Ax ⎥⎦

2

−1

Campo di predizione

∂ v ≅ ∂ v
∂t ∂t

(1)

Continuità

v ⋅ ndS = 0

(2)

∂Ω ( x )
−1

∂ v = − 1
F ⋅ ndS

∂t
Ω ( x ) ∂Ω ( x )

(3)

Campo di correzione

n +1

v = v − Δt ∇φ

Il vicolo imposto dalla equazione di conservazione della massa (2) è imposto risolvendo ad ogni time step l’equazione di Poisson:

Quantità di moto

⎡ (m) ⎤
⎢⎣ Ax ⎥⎦

1
Ω ( x)

(4)

n ⋅∇φ dS =

∂Ω ( x )

1

n

v
dS

Ω ( x ) Δt ∂Ω( x )

Caratteristiche del sistema derivante dalla discretizzazione dell’equazione (4)
Sistema singolare (condizioni al contorno alla Neumann) ma compatibile
Matrice dei coefficientii sparsa con un pattern di sparsità simmetrico
Coefficienti della matrice indipendenti dal passo temporale
5

Soluzione del sistema lineare ottenuta con metodo RGMRES
Precondizionatori utilizzati:
(one level) Restricted Additive Schwarz preconditioner (RAS)
(two level/three level) hybrid Schwarz preconditioner utilizzati con RAS/ILU(0) come
precondizionatore di primo livello

Precondizionatori multilivello algebrici di tipo DD
Il numero d’iterazioni del sistema precondizionato cresce con il numero di
sottomini. Per ottenere un precondizionatore ottimale è necessario utilizzare un’approssimazione del problema di partenza in uno spazio coarse
(coarse level correction)
La correzione è costruita con un approccio algebrico (indipendente dalla
geometria del problema) basato su un algoritmo di aggregazione
(smoothed aggregation)

Il costo computazionale di un solver per l’equazione di Poisson (4) in un metodo di
proiezione basato sulla decomposizione di Hodge è pari al 70% del costo necessario per
un time step dell’intera procedura

La risoluzione delle (2), (3) è effettuata
sfruttando la decomposizione di Hodge

Tempi medi d’esecuzione relativo alla soluzione delle (2), (3) :
media su 10 passi temporali

3

Il modello LES FV riduce il costo computazionale delle NS ma le simulazioni di flussi turbolenti in presenza di pareti solide a Reynolds O(106) richiedono l’utilizzo di algoritmi di
soluzione dei sistemi lineari ad elevate prestazioni e l’utilizzo di macchine a memoria distribuita, a causa dei passi d’integrazione spazio/temporali molto ridotti
Per la risoluzione dei sistemi lineari derivanti dalla discretizzazione di problemi di CFD è
diffusa l’applicazione di metodi di risoluzione di tipo Krylov. Per l’efficienza di tali metodi è cruciale l’uso di precondizionatori che ne accelerino la velocità convergenza. In questo lavoro è analizzato il comportamento di differenti precondizionatori multilivello implementati nel package MLD2P4.
Interfacciamento del Codice LES con PSBLAS (strutture dati e solver di tipo Krylov) e
MLD2P4 (precondizionatori
1) Inizializzazione ed allocazione delle strutture dati di PSBLAS (contengono le informazioni relative alla matrice del sistema e agli elementi da scambiare tra i processi)
2) Assegnazione strutture dati e distribuzione delle stesse tra i singoli processi
3) Calcolo del campo di predizione, tale campo è utilizzato per il calcolo del termine noto
della (4)
4) Risoluzione del sistema lineare derivante dalla discretizzazione della (4) con un metodo
di Krylov associato a differenti precondizionatori multilivello disponibili in ML2DP4

Tempo d’esecuzione relativo alla soluzione del sistema lineare
derivante dalla (4) su 1 time units (S.O.R. su 1 proc.. t=9 sec)

Mean Velocity Profile Near the Wall
20

LES
DNS
18
16

Simulazione LES di un caso test di turbolenza confinata: flusso in un canale

14

Dimensioni del Dominio di calcolo:

2πδ × 2δ × 2πδ

Reτ =1050

x (streamwise), z (spanwise) : omogeneità del flusso, ovvero grandezze statistiche della turbolenza invarianti per traslazione
6

u+

4πδ × 2δ × π 4 3 δ

Reτ = 180

12
10
8
6
4

7

2

Condizioni al contorno lungo x e z

0

Condizioni di non slittamento sulle pareti del canale
Condizione iniziale : Flusso alla Poiseuille su u + Perturbazione su u,v,w
u , v, w = 0

Speedup medio relativo alla soluzione delle (2 (3), media su 10 passi temporali

0.1

Tempo d’esecuzione relativo alla soluzione del sistema lineare derivante dalla (4) su 1 time units (S.O.R. su 1 proc.. t=8580 sec)

1

10

100

y+

Referenze
[1] A. Aprovitola, P. D’Ambra, F. M. Denaro, D. di Serafino, S. Filippone, Application of Parallel Algebraic Multilevel Domain Decomposition Preconditioners in Large-Eddy Simulations of Wall-bounded Turbulent Flows: First Experiments, (ICAR-CNR Technical Report, RT-ICAR-NA-2007-02, 2007).
[2] A. Aprovitola, F.M. Denaro, On the application of congruent upwind discretizations for large eddy simulations
(Journal of Computational Physics, 194, 2004).

Ly

[3] A. Aprovitola, F.M. Denaro, A non diffusive, divergence free, finite volume-based double projection method on
non staggered grids (International Journal for Numerical Methods in Fluids, 53, 2007).
[4] A. Buttari, P. D'Ambra, D. di Serafino, S. Filippone, Extending PSBLAS to Build Parallel Schwarz Preconditioners, in ,J. Dongarra, K. Madsen, J. Wasniewski, editors, Proceedings of PARA 04 Workshop on State of the Art in
Scientific Computing (Lecture Notes in Computer Science, 3732, 2005).

Lz

[5] A.Buttari, P.D'Ambra, D. di Serafino, S.Filippone, 2LEV-D2P4: a package of high-performance preconditioners
for scientific and engineering applications, (Applicable Algebra for Engineering, Communication and Computing, 18,
2007).
[6] P. D'Ambra, D. di Serafino, S. Filippone, On the development of PSBLAS-based parallel two-level Schwarz preconditioners (Applied Numerical Mathematics, 57, 2007).

u , v, w = 0