You are on page 1of 6

Originalien

Chirurg 2016 · 87:56–61
DOI 10.1007/s00104-015-0012-1
Online publiziert: 14. Mai 2015
© Springer-Verlag Berlin Heidelberg 2015

E. Hanisch1 · T.F. Weigel2 · A. Buia1 · H.-P. Bruch3
1 Asklepios Klinik Langen, Langen, Deutschland
2 Heilig-Geist-Hospital Bingen, Bingen, Deutschland
3 Berufsverband der Deutschen Chirurgen, Langenbeck-Virchow-Haus, Berlin, Deutschland

Die Validität von Routinedaten
zur Qualitätssicherung
Eine qualitative systematische
Übersichtsarbeit
Im Jahr 2000 publizierte das Institute of Medicine „To Err is Human –
Building a Safer Health System“ [8].
Ein Jahr später folgte der Bericht:
Crossing the Quality Chasm – A new
Health System for the 21th Century
[9]. Diese beiden Reports kennzeichneten den Beginn einer neuen Ära sowohl in den USA wie auch international [13]. Oberstes Ziel ist die Verbesserung der Qualität des Gesundheitswesens. Dies setzte natürlich die Bewertung von Qualität voraus. Bereits
1966 hatte Donabedian die Grundlagen dafür geschaffen – er schlug
vor, dass Qualität aus drei Kategorien besteht – Struktur, Prozess, Outcome [10].
Iezzoni [15], unterstützt durch die Agency for Health care and Quality Research
(AHRQ), erforschte als erster bereits in
den frühen 1990ern das Potenzial administrativer (Abrechnungs-)Daten (Routinedaten) zur Qualitätsmessung. Daraus
resultierend führte die AHRQ 2002 Patient Safety Indicators (PSIs) basierend auf
Routinedaten ein.
In Deutschland haben der AOK Bun­
desverband und HELIOS zusammen mit
dem wissenschaftlichen Instituten WidO
und FEISA die Qualitätssicherung der sta­
tionären Versorgung mit Abrechnungsda­
ten (QSR) umgesetzt [38]. Dabei werden
nach dem Indikatorenhandbuch 2014 des
WidO alle Indikatoren nach dem Elixhauser-Komorbiditätsscore riskoadjus­
tiert, wobei auf der Homepage QSR ei­
ne Risikoadjustierung nach Huber und

56 |  Der Chirurg 1 · 2016

White genannt wird. Auf der Basis dieser Daten werden dann Noten vergeben
(Krankenhausnavigator – Lebensbäumchen). Die Bewertung mit einem Lebensbäumchen entspricht unterdurchschnittlicher, mit zweien durchschnittlicher und
die Bewertung mit drei Lebensbäumchen
bedeutet überdurchschnittliche Qualität.

Ziel der Arbeit
Die vorliegende Arbeit adressiert zwei
Fragen:
1. Wie wird das AOK/WidO/HELIOSVerfahren der „Lebensbäumchen“Klassifikation durch Chirurgen eingeschätzt?
2. Wie sind ICD (International Statistical Classification of Diseases and Related Health Problems) -Codes, Indikatoren und die Komorbiditätsrisikoscores nach Elixhauser/Charlson
validiert, d. h. wie valide sind Abrechnungsdaten, wenn sie mit dem Goldstandard Analyse der Patientenakte/
klinische Registerdatenbank verglichen werden?

Material und Methodik
1. Der BDC (Berufsverband der Deutschen Chirurgen) führte zwei Umfragen bei 2000 Chefärzten durch.
In der ersten wurden folgende Fragen gestellt:
55Misst das AOK-Verfahren objektiv
Qualität?

55Kann man die AOK-Bewertungen
korrigieren?
55Wird von der AOK eine Risikoadjustierung durchgeführt?
55Klagt Ihre Klinik gegen die AOK wegen der Bewertung?
In der zweiten Umfrage wurde die Frage
gestellt:
55Wurden Sie konkret durch das AOKVerfahren falsch beurteilt?
2. Die Literaturrecherche richtet sich
nach den Empfehlungen des PRISMA-Statements [24]. Über den PubMed advanced search builder wurde folgende Abfrage (angelehnt an
das PICO-Format; http://www.cebm.
net/finding-the-evidence-1-usingpico-to-formulate-a-search-question/) vorgenommen: „quality indicators, health care“ [MeSH Major Topic] OR „administrative data“ [other
term] OR „claims data“ [other term]
OR „Routinedaten“ [other term]
AND „patient safety indicators“
[other term] OR „performance indicators“ [other term] AND „validation
studies as topic“ [MeSH Major Topic]
OR „sensitivity and specifity“ [MeSH
Major Topic] OR „positive predictive value“ [other term] OR „negative predictive value“ [other term] OR
„audit“ [other term] OR kappa [other
term].
3. Eine weitere Literaturrecherche wur­
de mit folgenden Schlagwörtern vorgenommen [title]: quality measures,
quality metrics, quality indicators, cli-

Literatursuche
Datenbanken: PubMed, MedPilot,
Google Scholar (siehe auch
Methodik)

Kombinierte Suchergebnisse
(n = 233)

Screening der Artikel auf der
Basis von Titel und Abstrakt

Ausgeschlossen (n = 77):
Keine Validitätskriterien (n = 21)
Duplikate (n = 56)
Eingeschlossen
(n = 156)

Volltextanalyse
Eingangskriterien angewendet

Ausgeschlossen (n = 115):
Keine Validitätskriterien (n= 101)
Keine chirurgischen Patienten
(n = 14)

Eingeschlossen
(n = 41)

Abb. 1 8 Strukturierte Literatursuche

nical performance measures, comorbidity scores, outcome based monitoring, risk-adjusted procedures, star
rating, risk-adjusted mortality.
Voreinstellungen für den Zeitraum der
Abfrage oder die Sprache wurden nicht
vorgenommen.
Das Screening der Literatur wurde
nach Titel und Abstrakt durch zwei Autoren unabhängig voneinander vorgenommen.
Einschlusskriterien:
55Vergleich von Abrechnungsdaten mit
einer Krankenblattanalyse oder klinischen Registerdatenbank,
55chirurgische Patienten,
55mindestens ein Validitätskriterium
musste berichtet sein (Sensitivität, po­
sitiver prädiktiver Wert, Spezifität, ne­
gativer prädiktiver Wert, c-Statistik,
kappa-Wert).

Folgende Webseiten/Datenbanken wurden kontaktiert: AOK, WidO, QSR,
AQUA, WHO, OECD, Research Gate,
Orcid, Google Scholar, CSP (Complication Screening Program), AHRQ (Agency for Health care Research and Quality),
CMS (Centers for Medicare and Medicaid
Services), The Health Foundation, BMJ
Quality & Safety, NICE, Canadian Institute for Health Information, Aktionsbündnis Patientensicherheit, MedPilot (Virtuelle Fachbibliothek Medizin): Suchportal
über eine Vielzahl von Datenbanken wie
z. B. Medline, Cochrane-Reviews, Pressedienste Gesundheitswesen, EMBASE,
IHTA International Health Technology,
Proceedings (MEDITEC, SCISEARCH).
Das WidO-Institut wurde direkt nach
der Validität ihrer Indikatoren gefragt
(Dokumentation der E-Mail-Anfrage unter https://de.scribd.com/doc/245180221/
Anfrage-beim-wissenschaftlichen-Institut-der-AOK-WIDO-zum-Thema-Datenvalidierung).
Die .   Abb.  1 bildet das Schema der
strukturierten Literatursuche ab.
Einen Überblick über die in dieser Ar­
beit verwendeten Begrifflichkeiten gibt
. Tab. 1.

Ergebnisse
Umfrage
Teil 1

Auf die Frage „Sind Sie der Meinung, dass
die AOK mit ihren Bewertungen objektiv Qualität misst?“ antworteten 520 von
2000 Kollegen, mit Ja stimmten 4,42 %,
mit Nein 95,58 %.
Auf die Frage „Konnten Sie nach Ihrer
Intervention erreichen, dass die AOK ihre Bewertungen korrigiert hat“ antworteten 425 von 2000 Kollegen, mit Ja 1,18 %,
mit Nein 98,82 %.
Auf die Frage „Sind Sie der Meinung,
dass die AOK Risikoadjustierungen in
ihren Bewertungen berücksichtigt“ antworteten 506 von 2000 Kollegen, mit Ja
4,94 %, mit Nein 95,06 %.
Auf die Frage „Klagt Ihre Klinik gegen
die AOK wegen deren Bewertung“ antworteten 505 von 2000 Kollegen, mit Ja
1,78 %, mit Nein 98,22 %.

Teil 2

Auf die Frage „Ist Ihre Abteilung konkret
durch die AOK falsch beurteilt worden“
antworteten 345 von 2000 Kollegen, mit
Ja 34,2 %, mit Nein 65,8 %.
Die kompletten Umfrageergebnisse
mit der Responserate und ausführlichen
Freitextkommentaren sind unter den folgenden Adressen einsehbar:
https://de.scribd.com/doc/245027774/
BDC-Umfrage-AOK-LebensbaumchenTeil-1 DOI: 10.13140/2.1.1182.8160
https://de.scribd.com/doc/245028501/
BDC-Umfrage-AOK-LebensbaumchenTeil-2 DOI: 10.13140/2.1.2755.6804

Literaturrecherche
Die Validität von Routinedaten, gemessen an der Sensitivität, liegt in den meisten Fällen in einem niedrigen Bereich
(. Tab. 2). Das gleiche gilt für die Validi­
tät von ICD-10-Diagnosen, die im Elixhauser-Komorbiditätsrisikoscore verwendet werden (.  Tab.  3). Die Validität
des Charlson-Komorbiditätsrisikoscores
ist ebenfalls eingeschränkt (. Tab. 4).
Die Validität der AOK-Indikatoren
konnte nicht ermittelt werden, eine Publikation zu diesem Thema konnte nicht
gefunden werden. Im Abschlussbericht
zum QSR-Verfahren [1] wird lediglich
ein Hinweis auf eine Studie der AOK im
Jahre 2003 gegeben, in der Routinedaten
mit klinischen Daten von HELIOS-Kliniken verglichen wurden. Die Übereinstimmung der Datenquellen wird dabei als gut
bezeichnet (keine Indikatoren überprüft,
keine Validitätskriterien genannt). Eine
direkte Anfrage bei der AOK/WidO (siehe https://de.scribd.com/doc/245180221/
Anfrage-beim-wissenschaftlichen-Insti­
tut-der-AOK-WidO-zum-Thema-Da­
tenvalidierung) wurde nicht beantwortet.

Diskussion
In der Einleitung zu seinem Editorial
„Measuring hospital clinical outcomes“
schreibt Harlan M Krumholz:
The proliferation of information about hospital performance is a cause of consternation. We are drawn to data about performance, yet we are wary of their accuracy
and reliability. We want information about
Der Chirurg 1 · 2016 

| 57

Zusammenfassung · Abstract
the results that our acute care organizations
achieve, yet we are often skeptical about
whether what is important in medicine can
be measured well. [21]
Diese Aussage wird durch das Umfrageergebnis des BDC in beeindruckender Weise bestätigt: 95 % der antwortenden leitenden Chirurgen glauben nicht, dass die
von der AOK verwendete Methode objektiv Qualität misst. Dies ist ein Meinungsbild, das jedoch nicht durch eigene wissenschaftliche Arbeiten untermauert ist.
Eine entscheidende Frage ist natürlich,
wie Qualität des ärztlichen Handelns zu
definieren ist und wie sich diese quantifizieren lässt.
Eine Qualität, von lat. qualitas, Beschaffenheit, bezeichnet eine Eigenschaft von Gegenständen, die eine Angabe wie (griech.
poion) der jeweilige Gegenstand der Rede oder das Ding ist. […] Manchmal gebraucht man das Wort „Qualität“ auch in
einer engeren, wertenden Bedeutung, nämlich im Sinne von „positiver Eigenschaft“,
etwa wenn man von den Qualitäten einer
Person oder einer Institution, eines Gesetztes, einer Erfindung oder eines Geräts, eines Kunstwerks oder Künstlers spricht. [36]

Chirurg 2016 · 87:56–61  DOI 10.1007/s00104-015-0012-1
© Springer-Verlag Berlin Heidelberg 2015
E. Hanisch · T.F. Weigel · A. Buia · H.-P. Bruch

Die Validität von Routinedaten zur Qualitätssicherung.
Eine qualitative systematische Übersichtsarbeit
Zusammenfassung
Hintergrund.  Die Bewertung der Qualität
ärztlichen Handelns ist eine legitime gesellschaftliche Forderung. Dabei wird weltweit
nach verlässlichen Methoden der Qualitätsmessung gesucht. Häufig wird dabei die Qualität aus Abrechnungsdaten (sog. Routinedaten) ermittelt. In Deutschland hat die AOK
dieses Verfahren umgesetzt.
Fragestellungen.  1) Wie wird das AOK-Qualitätssystem von chirurgischen Chefärzten
eingeschätzt? 2) Wie ist die Validität von Qualitätsaussagen, die aus Abrechnungsdaten
hergeleitet werden?
Material und Methoden.  Die vorliegende Arbeit wird in Anlehnung an das PRISMA-Statement für eine qualitative systematische Übersichtsarbeit erstellt. Zur Beantwortung der 1) Fragestellung führte der Berufsverband der Deutschen Chirurgen zwei Umfragen durch. Zur Beantwortung der 2) Frage
erfolgte eine strukturierte Literaturrecherche

Die Verwandlung von qualitativen Urteilen in quantitative ist immer prekär und
bedeutet häufig eine Vergröberung unserer
Unterscheidungen, wenn auch oft mit dem
Vorzug der schneller schematischen Informationsübertragung. Dies gilt insbesondere
für quantitative Bewertungen von Leistungen, wie z. B. durch Wertungspunkte auf einer Skala, auch von Kennziffern und Notengebungen. [36]
Dies führt unweigerlich zur Frage, wie
valide die Instrumente zur Qualitätsmes­
sung sind. Grundsätzlich fordert die evidenzbasierte Medizin schon lange, dass
klinische Entscheidungsregeln (wie das

bereits erwähnte Outcome-Ranking der
AOK nach Auswertung von Abrechnungsdaten) validiert werden müssen, bevor sie Verwendung finden [26]. In die-

58 |  Der Chirurg 1 · 2016

Schlüsselwörter
Ärztliches Handeln · AOK-Qualitätssystem ·
Qualitätsicherung · Routinedaten · Validität

The validity of routine data on quality assurance.
A qualitative systematic review
Abstract
Background.  The assessment of the quality of medical practice is a legitimate requirement by society. Reliable methods for measurement of the quality of performance are
sought worldwide. Quality is often quantified
by using administrative data and in Germany
this method has been implemented by the
health insurance company AOK.
Objectives.  (1) How is the AOK quality system rated by senior consultant surgeons?
(2) How valid are quality statements derived
from administrative data?
Methods.  This article was compiled following the PRISMA (i.e. preferred reporting items
for systematic reviews and meta-analyses)
statement for qualitative systematic reviews.
In order to answer the first question the Professional Association of German Surgeons
(Berufsverband der Deutschen Chirurgen) initiated two surveys and to answer the second
question a structured literature search following the PICO (i.e. patient problem or population, intervention, comparison control or

Eine gute „Qualität“ zu fordern, insbesondere wenn es um unsere Gesundheit
geht, ist naturgemäß legitim. Dabei ist
zu beachten, dass Qualität und Quantität
grundsätzlich zwei verschiedene Dinge
sind. Um Qualitäten zu beurteilen, werden diese heutzutage bemessen und in
Zahlen ausgedrückt.

in Anlehnung an das PICO-Format. Zusätzlich
wurden zahlreiche Webseiten kontaktiert.
Ergebnisse.  Insgesamt 95 % der antwortenden chirurgischen Chefärzte sind der
Meinung, dass die AOK-Methodik, aus Abrechnungsdaten Qualitätsaussagen zu treffen, nicht objektiv ist. Ein Drittel wurde konkret falsch beurteilt. Aus der Literaturrecherche geht hervor, dass für AOK-Indikatoren
inklusive des Elixhauser-Risikoscores, keine Validierung vorliegt. Insgesamt ist die
Sensitivität von Indikatoren in der Literatur
schlecht, wenn man eine gute Sensitivität als
≥ 80 < 90 % definiert (AQUA-Institut).
Schlussfolgerung.  Qualitätsaussagen basierend allein auf Abrechnungsdaten sind nicht
verlässlich.

comparator and outcomes) format was initiated. In addition numerous websites were
contacted.
Results.  Of the responding senior consultant surgeons 95 % considered that the AOK
method of quality measurement by administrative data is not objective. One third was
definitely wrongly classified. The literature
search revealed that no validation data exist
for the AOK indicators, including the Elixhauser comorbidity risk score. Altogether, the sensitivity of indicators is poor when good sensitivity is defined by the Institute for Applied
Quality Improvement and Research in Health
Care (AQUA Institute) as ≥ 80 < 90 %.
Conclusions.  Quality statements resulting
from administrative data alone are unreliable.
Keywords
Medical performance · AOK quality system ·
Quality assurance · Administrative data ·
Validity

sem Zusammenhang ist auch die Feststellung von Romano et al. [33] zu werten,
dass Routinedaten sich einem Vergleich

Tab. 1 Glossar
Sensitivität

Spezifität

Positiver prädiktiver Wert

Negativer prädiktiver Wert

Konfidenzintervall
Cohens kappa
c-Statistik
Sekundärdaten

Risikoscore nach Elixhauser [11]
Risikoscore nach Charlson [7]
Abrechnungsdaten

Maß der Genauigkeit für die richtige Präsenz des Indikators in
Abrechnungsdaten verglichen mit dem Goldstandard Patientenakte/klinische Registerdatenbank
Maß der Genauigkeit für die richtige Abwesenheit des Indikators in Abrechnungsdaten verglichen mit dem Goldstandard
Patientenakte/klinische Registerdatenbank
Maß, mit dem der in den Abrechnungsdaten vorkommende
Indikator auch in der Referenzdatenbank (Patientenakte/klinische Registerdatenbank) vorkommt
Maß, mit dem der in den Abrechnungsdaten nicht vorkommende Indikator auch nicht in der Referenzdatenbank (Patientenakte/klinische Registerdatenbank) vorkommt
z. B. 95 %-Konfidenzintervall(-KI) bedeutet, dass 95 % der
Messwerte/Parameter im angegebenen Bereich liegen
Maß für die Übereinstimmung, kappa = 1 bedeutet 100 %ige
Übereinstimmung
Fläche unter der ROC („receiver operating characteristic“)Kurve
Daten, die einer Auswertung über ihren originären, vorrangigen Verwendungszweck hinaus zugeführt werden (z. B.
Abrechnungsdaten werden für Qualitätsaussagen verwendet)
[14]
Komorbiditätsrisikoscore
Komorbiditätsrisikoscore
Synonyme – Routinedaten, administrative Daten, „claims data“,
„administrative billing data“

Tab. 2  Validität chirurgisch relevanter Indikatoren
Indikator
Postoperative Lungenembolie/
tiefe Beinvenenthrombose

Sensitivität
(%)
56 (50–63) [32]

Positiver prädiktiver Wert (%)
22 (19–25) [32]

65 (63–67) [27]

43 (34–53) [17]
89,5 (66,9–98,7)
[30]
31 (30–33) [27]
46 (36–55) [34]
62,5 (35,4–84,8)
[30]
72 (63–80) [32]
87 (79–92) [34]
72 (68–76) [27]
75 (66–83) [6]
44 (39–49) [27]
20 [5]
8 (6–9) [32]
73 (64–81) [34]

Belassener
Fremdkörper
Platzbauch

29 (24–34) [32]
31 (29–34) [27]

Postoperative Blutung/Hämatom
Sepsis
Septischer Schock
Iatrogener Pneumothorax

42 (23–64) [37]
31 (27–35) [27]
1,2 [5]
17 (14–20) [32]

Oberflächlicher Wundinfekt
Tiefer/Organinfekt
Versehentliche Punktion/Verletzung

27 [22]
34,4 [22]

Pneumonie
Prolongierter Ileus/Obstruktion
Blutung, 4/+ Konserven

19,3 [5]
10,5 [5]
13,4 [5]

Kappa

0,14 (0,03–0,25) [19]
0,07 (0,009–0,12) [19]

0,25 [22]
0,27 [22]
Klinisch relevant
68 (62–74) [37]
85 (77–91) [34]
86,4 (75–94) [30]
30,4 [5]
23,3 [5]
10,2 [5]

In Klammern 95 %-Konfidenzintervall; Definition gute Sensitivität (AQUA): ≥ 80 < 90

mit dem Goldstandard Krankenblattanalyse unterziehen müssen.
Bei der Sichtung der Literatur fällt auf,
dass es zu den Qualitätsindikatoren der
AOK keine Validierungsparameter (z. B.
Sensitivität) gibt. Eine Nachfrage beim
wissenschaftlichen Institut der AOK (WidO) diesbezüglich wurde nicht beantwortet.
Dabei formuliert die AOK in der Einleitung zum QSR-Klinikbericht (Qualitätssicherung mit Routinedaten) für das
Berichtsjahr 2011 mit Nachbeobachtung
2012: Routinedaten sind mit Einschränkungen geeignet, Qualitätsindikatoren
für die Krankenhausbehandlung zu bilden. Näheres dazu wird jedoch nicht ausgeführt.
Insgesamt muss festgehalten werden,
dass Routinedaten, verglichen mit dem
Goldstandard Patientenakte/klinische
Registerdatenbank, bezüglich ihrer Sensitivität nicht gut abschneiden (.  Tab.  2,
3 und 4). Als Gründe werden vor allem
die Dokumentationsqualität von Abrechnungsdaten und die Ungenauigkeit bzw.
die Grobkörnigkeit der ICD-Codes angeführt.
Obwohl es Mitteilungen gibt, dass
z. B. durch eine repetitive interne Mahnung die Vollständigkeit der Dokumentation von Komplikationen gesteigert werden kann [16], kommen andere Autoren
zum Schluss, dass eine qualitativ gute Dokumentation die Sensitivität von Routinedaten nicht wesentlich steigern kann [35].
Kostuj und Smektala [20] weisen in
diesem Zusammenhang darauf hin, dass
Unterschiede in der Kodierqualität und
der z. T. erhebliche Interpretationsspielraum der Abrechnungsdaten es fast unmöglich machen, ohne weitere Kontrolle
zu entscheiden, ob eine schlechte Darstellung der Qualität in den Abrechnungsdaten wirklich mit einer schlechten Ergebnisqualität vergesellschaftet ist oder möglicherweise „nur“ Folge einer suboptimalen Kodierqualität.
Ein wichtiges Element bei den AOKBerechnungen ist die Risikoadjustierung
mithilfe des Elixhauser-Komorbiditätsrisikoscores [11]. Unabhängig davon, dass
keine AOK-Validitätsdaten zu diesem
Score vorliegen, ist auch die Sensitivität
von Diagnosen, die in diesem Score verwendet werden, niedrig (siehe .  Tab.  3).
Der Chirurg 1 · 2016 

| 59

Originalien
Tab. 3  Validität (Vergleich Routinedaten mit Patientenakten) von ICD-10-Codes, die im Elixhauser-Risikoscore verwendet werden. [5, 31]
Diagnosen

Sensitivität (%)

Herzrhythmusstörungen
Pulmonale Zirkulationsstörungen
Herzklappenerkrankung
Hypertension
Hypothyroidismus
Solider Tumor ohne Metastasen
Niereninsuffizienz
Blutungsanämie
Fe-/Folat-/B12-Mangelanämie
Koagulopathie
Flüssigkeits- und Elektolytstörung
Gewichtsverlust
Obesitas
Alkoholabusus
Drogenabusus
Psychosen
Lymphome

39,0
37,0
40,9
68,3
39,3
45,9
78,8
17,8
30,3
13,9
36,3
12,7
18,6
52,2
46,7
56,9
63,4

Positiver prädiktiver Wert (%)
93,4
61,5
80,3
93,1
93,3
58,7
64,3
32,0
40,4
59,7
71,6
55,9
83,8
83,7
81,4
90,4
78,8

Kappa
0,48
0,45
0,52
0,72
0,53
0,47
0,69
0,22
0,34
0,20
0,44
0,20
0,28
0,62
0,58
0,69
0,70

Definition gute Sensitivität (AQUA): ≥ 80 < 90

Tab. 4  Validität des Charlson-Risikoscores [23]
Outcome Variable
Krankenhausmortalität
Krankenhausmortalität
Einjahresmortalität nach Aufnahme
Patientensterblichkeit
Mortalität innerhalb von 63 Monaten
Grobe Übereinstimmung von Krankenblatt und Routinedaten

So liegt die Übereinstimmung von administrativen Daten mit der Patientenakte beim Charlson-Score (ebenfalls ein
Komorbiditätsrisikoscore) bei 53 % (siehe . Tab. 4).
Ein weiteres Element bei der Gesamtbeurteilung durch die AOK ist die Mitberücksichtigung der Krankenhaussterblichkeit sowie die 30-Tage-, 90-Tage- und
Einjahresmortalität. Dabei wird auf zwei
Arbeiten verwiesen, die für den Indikator
Mortalität in administrativen und klinischen Daten ähnliche Ergebnisse finden
[3, 29].
Dass standardisierte Mortalitätsraten
ein schlechtes Maß sind, um die Qualität von Krankenhäusern zu beurteilen,
hat schon der klinische Epidemiologe Ri­
chard Lilford [25] eindrücklich dargelegt,
darüber hinaus ist auch die Validität dieses Indikators in anderen Studien schlecht
(. Tab. 4). In diesem Kontext sei erwähnt,

60 |  Der Chirurg 1 · 2016

Kappa (95 %-KI)
0,30 (0,26–034)
0,56 (0,53–0,60
0,35
0,47
0,362
53 %

dass die AOK die Ursachen für die Mortalität aus Datenschutzgründen den Kliniken nicht mitteilen kann (z. B. 30-Tage-,
90-Tage- und Einjahresmortalität), eine
wesentliche Erkenntnis für eine Qualitätsverbesserung ist also nicht vorhanden.
Jedes Instrument der Qualitätsmes­
sung muss nachweisen, wie effektiv es
ist. Diese Forderung wurde bereits 2004
von Arah et al. [2] aufgestellt. Diese Au­
toren stellen fest, dass die Unsicherheiten
in diesem Bereich selbst zur Unsicherheit führen. Jedenfalls kommt eine Cochrane-Analyse [18] zu dem Schluss, dass
die Veröffentlichung von PerformanceDaten von Krankenhäusern keinen Einfluss auf das Verhalten potenzielle Patienten hat. Eine Verbesserung von Qualität konnte ebenfalls nicht nachgewiesen
werden.
Zwei jüngst veröffentliche Arbeiten
kommen ebenfalls zum Schluss, dass das

Feedback über Outcomes nicht genügend
ist, um eine Qualitätsverbesserung zu er­
reichen [12, 28]. Ein Begleiteditorial zitiert in diesem Zusammenhang ein afri­
kanisches Sprichwort: „Weighing a pig
does not make the pig fatter“ [4].

Fazit für die Praxis
55Eine Literaturrecherche belegt, dass
die Validität von Qualitätsindikatoren,
abgeleitet aus Abrechnungsdaten (=
Routinedaten), im internationalen
Kontext in der Regel schlecht ist.
55Die Validität von Risikoscores, berechnet mittels Abrechnungsdaten, ist
ebenfalls nicht gut.
55Für Deutschland liegen zu sämtlichen
von der AOK verwendeten Qualitätsindikatoren keine Daten zur Validität vor, d. h. ein Vergleich von Abrechnungsdaten mit dem Goldstandard
Patientenakte gibt es nicht.
55Mit Abrechnungsdaten alleine lassen
sich keine verlässlichen Qualitätsaussagen treffen.
55„Public reporting“ hat keinen Einfluss
auf die Qualität von Krankenhäusern
und auf das Verhalten von Patienten.

Korrespondenzadresse
Prof. Dr. Dr. E. Hanisch
Asklepios Klinik Langen
Röntgenstr 20, 63225 Langen
e.hanisch@asklepios.com

Einhaltung ethischer Richtlinien
Interessenkonflikt.  E. Hanisch, T.F. Weigel, A. Buia
und H.-P. Bruch geben an, dass kein Interessenkonflikt besteht.
Dieser Beitrag beinhaltet keine Studien an Menschen
oder Tieren.

Literatur
  1. AOK-Bundesverband, FEISA, HELIOS Kliniken, WIDO: Qualitätssicherung der stationären Versorgung mit Routinedaten (QSR). Abschlussbericht.
Bonn 2007 http://www.qualitaetssicherung-mitroutinedaten.de/imperia/md/qsr/publikationen/
wido_kra_qsr-abschlussbericht_0407.pdf. Zugegriffen: 30. Nov. 2014
  2. Arah OA, Klazinga NS (2004) How safe is the safety
paradigm? Qual Saf Health Care 3:226–232
  3. Aylin P, Bottle A, Majeed A (2007) Use of administrative data or clinical databases as predictors of
risk of death in hospital: comparison of models.
BMJ. doi:10.1136/bmj.39168.496366.55

Lesetipp
  4. Berwick D (2015) Measuring surgical outcomes
for improvement. Was Codman wrong?. JAMA
313:469–470
  5. Best WR, Khuri SF, Phelan M, Hur K, Henderson
WG, Demakis JG, Daley J (2002) Identifying patient
preoperative risk factors and postoperative adverse events in administrative databases: results from
the Department of Veterans Affairs National Surgical Quality Improvement Program. J Am Coll Surg
3:257–266
  6. Borzecki AM, Kaafarani H, Cevasco M (2011) How
valid is the AHRQ Patient Safety Indicator „postoperative hemorrhage or hematoma“? J Am Coll
Surg 6:946–953.e1–2
  7. Charlson M, Szatrowsk T, Peterson J, Gold J (1994)
Validation of a comorbidity index. J Clin Epidemiol
47:1245–1251
  8. Committee on quality of health care in America
(2000) To err is human. In: Kohn L, Corrigan M, Donaldson M (Hrsg) Building a safer health system.
National Academy Press, Washington DC
  9. Committee on quality of health care in America
(2001) Crossing the quality chasm. A new health
system for the 21st century. National Academy
Press, Washington DC
10. Donabedian A (1966) Evaluating the quality of medical care. Milbank Mem Fund 3(Suppl):166–206
11. Elixhauser A, Steiner C, Harris DR, Coffey RM (1998)
Comorbidity measures for use with administrative
data. Med Care 1:8–27
12. Etzioni D, Wasif N, Dueck AC, Cima RR, Hohmann
SF, Naessens JM, Mathur AK, Habermann E (2015)
Association of hospital participation in a surgical outcomes monitoring program with inpatient
complications and mortality. JAMA 313:505–511
13. Groene O, Skau, Jutta KH, Frolich A (2008) An international review of projects on hospital performance assessment. Int J Qual Health Care 3:162–
171
14. Gute Praxis Sekundäranalyse (GPS) – Leitlinien
und Empfehlungen 3. Fassung 2012 http://www.
gesundheitsforschung-bmbf.de/_media/GPS.pdf.
Zugegriffen: 30. Nov. 2014
15. Iezzoni LI, Foley SM, Heeren T, Daley J, Duncan CC,
Fisher ES, Hughes J (1992) A method for screening
the quality of hospital care using administrative
data: preliminary validation results. QRB Qual Review Bull 11:361–371
16. Jakob J, Marenda D, Sold M, Schluter M, Post S,
Kienle P (2014) Quality of documentation of intraoperative and postoperative complications. Chirurg 8:705–710
17. Kaafarani MA, Borzecki AM, Itani K (2011) Validity
of selected patient safety indicators: opportunities
and concerns. J Am Coll Surg 6:924–934
18. Ketelaar A, Faber MJ, Flottorp S, Rygh LH, Deane HO, Eccles MP (2011) Public release of performance data in changing the behaviour of healthcare consumers, professionals or organisations.
Cochrane Database Syst Rev 11:CD004538
19. Koch CG, Li L, Hixson E, Tang A, Phillips S, Henderson JM (2012) What are the real rates of postoperative complications: elucidating inconsistencies
between administrative and clinical data sources. J
Am Coll Surg 5:798–805
20. Kostuj T, Smektala R (2010) Quality assurance
using routine data. Is outcome quality now measu­
rable? Unfallchirurg 113(12):1047–1048, 1050–
1052
21. Krumholz HM, Lin Z, Normand S-LT (2013) Measuring hospital clinical outcomes. BMJ 346:f620

22. Lawson E, Louie R, Zingmond D, Brook R, Hall B,
Han L, Rapp M, Ko C (2012) A comparison of clinical registry versus administrative claims data for
reporting of 30-day surgical complications. Ann
Surg 6:973–981
23. Leal JR, Laupland KB (2010) Validity of ascertainment of co-morbid illness using administrative
databases: a systematic review. Eur J Clin Microbiol
Infect Dis 6:715–721
24. Liberati A, Altman D, Tetzlaff J et al (2009) The
PRISMA statement for reporting systematic reviews and meta-analysis of studies that evaluate
healthcare interventions: explanations and elaboration. BMJ 339:b2700
25. Lilford R, Pronovost P (2010) Using hospital mortality rates to judge hospital performance: a bad
idea that just won’t go away. BMJ 340:c2016
26. McGinn TG, Guyatt GH, Wyer PC, Naylor CD, Stiell
IG, Richardson WS (2000) Users’ guides to the medical literature: XXII: how to use articles about clinical decision rules. Evidence-Based Medicine
Working Group. JAMA 1:79–84
27. Mull H, Borzecki A, Loveland S et al (2014) Detecting adverse events in surgery: comparing events
detected by the Veterans Health Administration
Surgical Quality Improvement Program and the
Patient Safety Indicators. Am J Surg 4:584–595
28. Osborne N, Nocholas L, Ryan A, Thumma J, Dimick
J (2015) Association of hospital participation in a
quality reporting program with surgical outcomes
and expenditures for medicare beneficiaries. JAMA
313:496–504
29. Pine M, Jordan HS, Elixhauser A, Fry D, Hoaglin D,
Jones B, Meimban R, Warner D, Gonzales J (2007)
Enhancement of claims data to improve risk adjustment of hospital mortality. JAMA 297:71–76
30. Quan H, Eastwood C, Cunningham C, Liu M, Flemons W, De Coster C, Ghali W (2013) Validity of
AHRQ patient safety indicators derived from ICD10 hospital discharge abstract data (chart review
study). BMJ Open 3:e003716
31. Quan H, Li B, Saunders LD, Parsons GA, Nilsson CI,
Alibhai A, Ghali WA (2008) Assessing validity of
ICD-9-CM and ICD-10 administrative data in recording clinical conditions in a unique dually coded
database. Health Services Res 4:1424–1441
32. Romano P, Mull H, Rivard P et al (2009) Validity of
selected AHRQ patient safety indicators based on
VA National Surgical Quality Improvement Program data. Health Services Res 44:182–204
33. Romano P, Roos L, Luft H, Jollis J, Doliszny K (1994)
A comparison of administrative versus clinical data: coronary artery bypass surgery as an example. J
Clin Epidemiol 47:249–260
34. Rosen AK, Itani MF, Cevasco M et al (2012) Validating the patient safety indicators in the Veterans
Health Administration: do they accurately identify
true safety events? Med Care 1:74–85
35. So L, Beck CA, Brien S, Kennedy J, Feasby TE, Ghali WA, Hude Q (2010) Chart documentation quality and its relationship to the validity of administrative data discharge records. Health Informatics
2:101–113
36. Stekeler-Weithofer (2011) Qualität/Quantität. In:
Sandkühler H (Hrsg) Enzyklopädie PhilosophieMeiner F, Hamburg, S 2184, 2188
37. Utter GH, Zrelak PA, Baron R, Tancredi DJ, Sadeghi
B, Geppert JJ, Romano PS (2013) Detecting postoperative hemorrhage or hematoma from admi­
nistrative data: the performance of the AHRQ Pati­
ent Safety Indicator. Surgery 5:1117–1125
38. www.qualitätssicherung-mit-routinedaten.de.
Zugegriffen: 30. Nov. 2014

(Risiko-) Kommunikation in
Gynäkologie und Geburtshilfe
Das Gespräch mit den Patienten ist zentraler
Bestandteil der ärztlichen Tätigkeit. Dazu
gehören die Aufklärung über die Erkrankung
und ihren Verlauf, diagnostische und therapeutische Wege sowie psychologische und
soziale Faktoren.
Ausgabe 08/2015 der Zeitschrift Der Gynä­
kologe behandelt das Thema „(Risiko-)
Kommunikation in
Gynäkologie und
Geburtshilfe“. Die
Beiträge beschäftigen sich mit rechtlichen Aspekten und
unterschiedlichen
Szenarien der Risikokommunikation.
Lesen Sie mehr über folgende Themen:
5 Rechtliche Aspekte der Risikokommunikation
5 Tools (Instrumente) zur Risikokommunikation
5 Risikokommunikation vor Einsatz medikamentöser Therapien
5 Risikokommunikation bei operativen
Eingriffen Bsp. Hysterektomie
5 Risikokommunikation in der Geburtshilfe am Beispiel der elektiven Sektio
Bestellen Sie diese Ausgabe zum Preis von
38,- EUR zzgl. Versandkosten bei:
Springer Customer Service Center
Kundenservice Zeitschriften
Haberstr. 7
69126 Heidelberg
Tel.: +49 6221-345-4303
Fax: +49 6221-345-4229
E-Mail: leserservice@springer.com
Suchen Sie noch mehr zum Thema? Mit
e.Med, dem Online-Paket von Springer Medizin, können Sie schnell und komfortabel
in über 600 medizinischen Fachzeitschriften
recherchieren.
Weitere Infos unter springermedizin.de/
eMed.

Der Chirurg 1 · 2016 

| 61