Practice Based Research With Psychologists in Training Presentation of A Supervision Model and Use of Routine Outcome Monitoring Investigaci N Basada

Studies in Psychology
Estudios de Psicología
ISSN: (Print) (Online) Journal homepage: https://www.tandfonline.com/loi/redp20
Practice-based research with psychologists-in-

training: presentation of a supervision model and
use of routine outcome monitoring (Investigación
basada en la práctica con psicólogos en formación:
presentación de un modelo de supervisión y uso de la
monitorización rutinaria de resultados)
Jorge Valdiviezo-Oña, Eduardo Granja, Alejandra Cuadros-López, Grace

Valdivieso-Meza, Chris Evans & Clara Paz
To cite this article: Jorge Valdiviezo-Oña, Eduardo Granja, Alejandra Cuadros-López, Grace
Valdivieso-Meza, Chris Evans & Clara Paz (2022) Practice-based research with psychologists-
in-training: presentation of a supervision model and use of routine outcome monitoring
(Investigación basada en la práctica con psicólogos en formación: presentación de un modelo
de supervisión y uso de la monitorización rutinaria de resultados), Studies in Psychology, 43:3,
583-608, DOI: 10.1080/02109395.2022.2132749
To link to this article: https://doi.org/10.1080/02109395.2022.2132749
Published online: 05 Dec 2022. Submit your article to this journal
Article views: 56 View related articles
View Crossmark data
Full Terms & Conditions of access and use can be found at

https://www.tandfonline.com/action/journalInformation?journalCode=redp20
STUDIES IN PSYCHOLOGY / ESTUDIOS DE PSICOLOGÍA
2022, VOL. 43, NO. 3, 583–608
https://doi.org/10.1080/02109395.2022.2132749
Practice-based research with psychologists-in-training:

presentation of a supervision model and use of routine
outcome monitoring (Investigación basada en la práctica con
psicólogos en formación: presentación de un modelo de
supervisión y uso de la monitorización rutinaria de resultados)
Jorge Valdiviezo-Oña a, Eduardo Granja a,b
, Alejandra Cuadros-López b,c
,
Grace Valdivieso-Meza a,b, Chris Evans a
and Clara Paz a,b
a
School of Psychology and Education, Universidad de Las Américas, Ecuador; bCentre for Applied
Psychology, Universidad de Las Américas, Ecuador; cUniversidad del Pacífico
ABSTRACT ARTICLE HISTORY

Objective: To present the training and care model used in a university Received 27 April 2022
psychological care centre and its outcomes, framed in the Practice- Accepted 9 September 2022
Based Evidence paradigm. Methods: Naturalistic study on the results of KEYWORDS
161 clients seen between 2018 and 2020 who completed the Clinical outcome measurement;
Outcomes in Routine Evaluation — Outcome Measure. Statistically supervision; reliable and
significant change was measured using multilevel regression models clinically significant change;
and reliable and clinically significant change was measured by applying CORE-OM; psychological
the Jacobson and Truax approach. Results: On average, clients were intervention
29.47 years old (SD = 10.11) and the median number of sessions that PALABRAS CLAVE
they attended was five. CORE-OM scores decreased 0.05 points per medición de resultados;
session and trajectories of change were identified as diverse. Of the supervisión; cambio
total number of clients, 29.4% showed reliable and clinically significant confiable y clínicamente
change and 45.1% showed at least reliable change. Discussion: The significativo; CORE-OM;
routine outcome monitoring results from this centre allow us to refine intervención psicológica
certain training and supervision activities to improve quality-of-care
indicators.
RESUMEN
Objetivo: Presentar el modelo de formación y atención de un centro
universitario de atención psicológica y sus resultados, enmarcados en
el paradigma de la Evidencia Basada en la Práctica. Métodos: Estudio
naturalista sobre los resultados de 161 consultantes atendidos entre
2018 y 2020 que completaron el Clinical Outcomes in Routine
Evaluation — Outcome Measure. Se estimó el cambio
estadísticamente significativo usando modelos de regresión multinivel
y el cambio confiable y clínicamente significativo aplicando la pro
puesta de Jacobson y Truax. Resultados: En promedio, los consultantes
tenían 29.47 años (DT = 10.11) y la mediana de sesiones asistidas fue 5.
Se estimó que las puntuaciones del CORE-OM se redujeron 0.05 puntos
por sesión y se identificó que las trayectorias de cambio son diversas. El
CONTACT Clara Paz clara.paz@udla.edu.ec Universidad de Las Américas, Campus Udlapark, Escuela de
Psicología y Educación, Antigua vía a Nayón s/n, Quito 170124, Ecuador.
English version: pp. 583-594 / Versión en español: pp. 595-606
References / Referencias: pp. 606-608
Translation from Spanish / Traducción del español: Liza D’Arcy
© 2022 Fundacion Infancia y Aprendizaje
584 J. Valdiviezo-Oña et al.
29.4% del total de los consultantes mostró cambios confiables y

clínicamente significativos y 45.1% al menos cambio confiable.
Discusión: El reporte de la monitorización rutinaria de resultados en
este centro permite afinar algunas actividades formativas y de
supervisión para mejorar los indicadores asistenciales de calidad.
Many attempts have been made to bridge the gap between psychotherapy practice and
research. An Evidence-Based Practice (EBP) model emerged from these attempts, and the
need for clinical training to include both scientific and practical components was addressed
(American Psychological Association, 2006). Researchers and clinicians working under the
EBP model have made substantial efforts to build bridges between research, training and
practice in psychotherapeutic contexts, which has favoured improvement of the quality of the
conduct of psychological therapies. However, certain characteristics of the approach, such as
conducting controlled clinical trials — where strict control conditions are prioritized —
manualization of treatment, randomization of clients to different treatment conditions and
strict inclusion and exclusion criteria to favour internal validity, have generated limitations, in
terms of routine evaluation in real life. To counteract these limitations, Practice-Based
Evidence (PBE) has emerged as a complementary model that facilitates considering and
addressing the needs of mental health professionals, and more broadly, of mental health
services (Margison et al., 2000). PBE in psychotherapy favours the encounter and dialogue
between clinical experience and quality evidence from rigorous studies conducted in routine
clinical settings. Research conducted under a PBE approach adapts to naturalistic settings and
involves collecting data from usual practice on a routine basis, without imposing exclusion
criteria beyond those defined by the service or centre, and with heterogeneous participants to
favour ecological validity, i.e., the feasibility of generalizing the results to real-life contexts. This
can be especially valuable in Latin America, where a lack of resources can lead to serious
difficulties in carrying out controlled studies. Therefore, the use and dissemination of PBE and
Routine Outcome Monitoring (ROM) to collect and use data may be beneficial. ROM refers to
the common use of outcome measures to study change in psychotherapy. The purpose of
outcome measurement is primarily to take data from one or more services and to extract
lessons from those results. In ROM, the data may or may not be communicated to the
therapist and/or client, but its main purpose is not usually to alter the course or make changes
during the therapeutic process (Evans & Carlyle, 2021). Because applied studies into PBE in
Latin America are scarce, this study seeks to present our experience of applying this paradigm
in a university psychological care centre in Ecuador that trains psychology students from the
last semesters of their psychology degree.
Care and training model used at the Universidad de Las Américas Centre
for Applied Psychology (CPA)
The CPA was created in 2013 to provide psychological care services to members of the
university community who require it and to the general population. The centre accepts
self-referrals and referrals from other professionals, companies and organizations. The
service offers individual, couples and family therapy, for different age groups. A
Practice-based research with psychologists-in-training / Investigación basada en la práctica con psicólogos en formación 585
constructivist theoretical approach is used, from which knowledge is understood as

something that is constructed, has various possibilities of interpretation and meaning,
and is based on the experience of both the clients and the therapists, rather than as a
reflection of the real world. The various possible constructions are perceived as key
elements for therapeutic change (Martorell, 2014). This approach emphasizes that each
therapeutic encounter is unique, and that each subject can only be understood in an
integral manner (Neimeyer, 2011). Constructivism facilitates the integration of different
psychotherapeutic models that consider the human being as a constructor of meanings.
On this basis, and considering the following common factors, it is possible for psy
chotherapists with different orientations (psychodynamic, cognitive, systemic and inte
grative) to work together: therapeutic alliance, healing environment, conceptual scheme
and participation of both the client and the therapist to restore health (American
Psychological Association, 2013; Lambert, 1992; Uribe, 2008).
At the CPA, care is provided through a co-therapy model. According to Ruiz and
Palacios (2019), the co-therapy model enhances the care of all those involved. The
psychologists (therapists) are in charge of guiding the student (co-therapist) from the
beginning of each process. As a team, they agree on how they will approach and plan
each session. After the sessions, the psychologist gives feedback to the co-therapist,
according to the strengths and weaknesses that they identified, with the aim of promot
ing the co-therapist’s theoretical and practical growth.
Training and supervision

In addition to co-therapy, two other strategies have been adopted at the CPA. The first
is the establishment of different spaces for clinical supervision, understood as a ‘process
aimed at promoting the therapist’s development in the professional field, through
reflective dialogue around the concerns they present’ (Laso, 2020, p. 48). The second
is the pilot implementation of ROM to generate EBP.
Clinical supervision is arranged for synchronous (during the therapy sessions, as
reflective pauses) and asynchronous (after the therapy sessions, as broader discussion
spaces on the cases) meetings. This is intended to foster the perspective that clinical
practice must go hand in hand with a process of continuous training and spaces for
reflection and self-care, for students but also for professionals who work in the centre.
There are three objectives for supervision: one is to offer technical advice on the specific
management of the case, the second is to restore the emotional experiences that are
mobilized in the therapeutic teams (self-care), and the third is to provide training
focused on reinforcing knowledge and strengthening skills (Milne, 2009). Regarding
these components, three areas of supervision were structured at the CPA (see Table 1);
even though all three elements are present in every area of supervision, proposing areas
that favour one component over the others is possible.
In summary, in line with what Falender and Shafranske (2004) have proposed, at the
CPA, supervision is an educational, training and collaborative interpersonal process,
which involves observing, evaluating and providing feedback in order to favour the self-
assessment of the professional being supervised and the construction of knowledge and
skills through instruction, modelling and mutual problem-solving. The inclusion of
ROM offers the possibility of generating evidence from practice that supports the flow
Table 1. Definition of the continuous supervision areas in the CPA.

Primary
Area Modality component Definition
Reflective Synchronous Technical The reflective pause is based on Andersen’s (2009) reflecting team
pause advice model. The therapeutic team proposes the clients a reflective
activity during the session and briefly withdraws to analyse, with the
help of other members of the team, what is happening in the
session. In this way they can discuss difficult situations and receive
technical contributions on the management of the remainder of the
session.
Individual Asynchronous Restorative Individual supervision is carried out between the therapeutic team and
supervision a CPA supervising teacher. This space focuses primarily on the
restorative component by providing a more private space, where
technical and training components are discussed, as well as personal
aspects of the therapeutic team and their experiences managing the
cases.
Group Asynchronous Training Group supervision focuses on training. It is a space for collective
supervision reflection where therapists, students and supervising teachers meet;
it favours dialogue between theoretical approaches, analysis of
references and identification of learning needs. Tasks and lessons
emerge from these needs that can strengthen intervention
frameworks.
of continuous learning. The objective of this study is to present the procedures applied
and the results found on the effectiveness of the care and training model applied in a
university psychological care centre in Ecuador through the implementation of ROM,
session by session.
Method
Ethics
This study received approval from the Ethics Committee of the Universidad San
Francisco de Quito in Ecuador (ref.2017–113E). All participants in the study gave
their informed consent before being included.
Participants
The sample was made up of 161 clients seeking psychological care at a university centre
that offers psychological interventions for non-severe mental disorders (for example,
anxiety or depression) and relational conflicts. As it is a training centre for profes
sionals, the centre does not offer its services to people with substance-use problems,
victims of violence or people with psychotic disorders. When cases such as these request
help from the centre, corresponding referrals are made to specific specialists for their
particular issue. No exclusion criteria were proposed for this study as we considered the
principles of PBE. All the clients who attended the centre during the study and agreed
to be part of it were included.
Instruments
Sociodemographic characteristics form
A brief sociodemographic questionnaire was developed in which various characteristics
were considered, such as age, gender, marital status, educational level, consumption of
psychotropic drugs under medical prescription, satisfaction with life and employment
status.
Clinical Outcomes in Routine Evaluation — Outcome Measure (CORE-OM; Evans et

al., 2002, 2000)
The CORE-OM is a 34-item self-report instrument that, taken together, serves to
evaluate four dimensions: Well-being, Problems, Functioning and Risk. Items are
rated on a Likert scale from 0 (‘never’) to 4 (‘always or almost always’). The higher
the score, the higher the levels of distress (Evans et al., 2002). The CORE-OM has been
widely used for monitoring outcomes (Barkham et al., 2015; Stiles et al., 2015).
The original CORE-OM in English shows adequate psychometric properties (Evans
et al., 2002). Its translation into Spanish has shown psychometric properties similar to
those of the original questionnaire in English (Trujillo et al., 2016). In 2020, a study was
conducted to evaluate the psychometric properties of the CORE-OM in a non-clinical
population in Ecuador (Paz et al., 2020); it was found that they were similar to those
reported by Evans et al. (2002) and Trujillo et al. (2016). In this research study, we
found an excellent internal consistency of the instrument, using Cronbach’s Alpha (α)
and McDonald’s Omega (ω) coefficients. The results were as follows for the Total score:
α = .94 [.91, .96]; ω = .94; for Non-risk: α = .94 [.90, .96]; ω = .94; and for Risk: α = .86
[.71, .91]; ω = .88.
Procedure
This was a longitudinal naturalistic study in which routine evaluation was implemented
to monitor the change and results of clients who were treated in a university psycho
logical care centre.
The generation of studies based on the PBE paradigm requires continuous data
collection within the usual clinical practice of psychotherapy following the application
of ROM. The therapists and co-therapists from the CPA supported data collection for
this study. Before clients completed the CORE-OM for the first time, co-therapists
explained the implications of routine outcome monitoring, the use of the CORE-OM in
the CPA, its importance and the practicalities related to completing the questionnaire.
The co-therapist was present while the client filled out the questionnaire in case they
had any questions. Clients completed the questionnaire in person before each treatment
session, that is, session by session, from the first treatment session to the last session.
The questionnaire was completed on paper. Data were collected from January 2018 to
March 2020. The information collected was entered into a database for later analysis.
Data analysis
Reliable and clinically significant change was evaluated and multilevel analysis was
performed to estimate the change of the clients throughout the psychotherapeutic
processes. To evaluate the reliable and clinically significant change, the methods
proposed by Jacobson et al. (1984) and Jacobson and Truax (1991) were applied.
Reliable change evidences the extent to which an individual’s change occurs outside
the instrument’s measurement variability range, and clinically significant change evi
dences whether the participants’ scores between the first and the last completion
changed from being dysfunctional to functional population scores, i.e., whether the
scores went from being above the clinical cut-off point to being below the cut-off point.
To calculate the cut-off point, the data from the responses to the CORE-OM from the
functional population were used (M = 0.93, SD = 0.52), reported for the Ecuadorian
population in Paz et al. (2020), and for the dysfunctional population, the mean and
standard deviation of the population studied in this article. In this study, clients’reliable
and clinically significant change is presented through a Jacobson Plot, and a table with
the number of clients in each category of change.
The results of the multilevel analysis, a Cat’s Cradle plot, a variant of scatter
diagrams, allowed us to map participants’ scores in two or more evaluation points in
time (Evans & Carlyle, 2021). Additionally, the possible association between the pro
portion of clients — split by categories of change — and the number of sessions was
evaluated using a chi-square test. The sessions were grouped into the following cate
gories: between 2 and 5 sessions, between 6 and 9 sessions, between 10 and 13 sessions
and between 14 and 20 sessions. Regarding the multilevel model analyses, a linear fit
was tested, i.e., whether the CORE-OM scores decreased (or, in principle, the patient
worsened) the more sessions a client attended was evaluated. A fixed model was tested
in which all clients were assumed to have the same intercept and slope, and then
adjustments were sequentially tested for (i) allowing differences in the intercept
(approximately the same as allowing clients to have different initial scores) and (ii)
adding different slopes for each client. In addition, a quadratic model was tested, that is,
a model that relates the CORE-OM scores and the number of sessions squared, which is
a way of allowing a curvilinear relationship of the score against the number of sessions.
The Akaike Information Criterion (AIC) was used to check the fit, according to which
smaller values indicate a better fit. A local LOESS regression — which ignores nesting
within clients — was superimposed on all data points in a Cat’s Cradle plot and a linear
model and a fixed quadratic model were also calculated to visualize the different
relationships.
R software version 4.0.3 was used (R Core Team, 2021) to conduct the proposed
analyses. The CECPfuns package was used (Evans, 2021) to obtain the means and
confidence intervals of these means with the percentile bootstrap method with 1,000
replications. Base R Package functions were used to compute the chi square statistics
and standard deviations. To graph the trajectories of clients’ change session by session,
lines of code written by one of the authors were used. For multilevel analyses, the lme4
(Bates et al., 2015), nlme (Pinheiro et al., 2021) and lmerTest (Kuznetsova et al., 2017)
packages were used.
Results
Clients’ characteristics
In total, data from 161 adult clients were analysed: 100 women (62%) and 59 men (37%); two
clients’ gender data were missing (1%). The youngest participant was 18 and the oldest 66. The
average client age was 29.47 (SD = 7.04). Most clients were single (63%). Regarding their
educational level, most had higher education qualifications (70%). Sixty-one percent of the
clients were employed, 39% were unemployed and one person did not answer that question.
Forty percent worked in the private sector. Moreover, 78% of the clients were not consuming
psychotropic drugs under medical prescription at the time they completed the CORE-OM for
the first time. Finally, regarding satisfaction with life, on a scale ranging from 1 (‘not at all
satisfied’) to 10 (‘totally satisfied’), the clients showed a mean satisfaction of 6.61 (SD = 1.91).
Table 2 below shows the mean baseline CORE-OM scores for all clients, including
those who only completed the CORE-OM once.
Heterogeneity was evidenced in terms of the duration of the psychotherapeutic
processes and the occasions in which the clients completed the CORE-OM. Of the
total number of clients, 59 (36.65%) attended a single session, 60 (37.27%) attended
between 2 and 5 sessions, 20 (12.42%) attended between 6 and 9 sessions, 13 (8.07%)
between 10 and 13 sessions, and 9 (5.59%) between 14 and 20 sessions. The median
number of sessions was 5 and the mean was 6.52 (SD = 4.77).
Multilevel analysis
Multilevel model analyses clearly showed that there was a statistically significant trend for the
CORE-OM score to decrease according to the number of sessions attended by the clients, with
a fixed slope of 0.05 ([0.04, 0.07], SE = 0.007; t = −7.70; p < .001) drop in CORE-OM score per
attended session. The model that frees the intercept notably improved the fit compared to a
fixed intercept, as did allowing a free slope, i.e., the clients differed in terms of improvement
per attended session. The model that included a quadratic effect of the session improved the fit
compared to the linear model, with a decrease in the AIC from 331 to 318.
An explanation of the multilevel method addressed to mental health professionals,
which uses these data and offers the complete analytical results of the multilevel
analyses of this study, can be found at https://www.psyctc.org/stats/MLM_unpicked.
html, and the files are stored in the Zenodo open access repository: https://doi.org/10.
5281/zenodo.7064234. This document summarizes some of the ways in which multi
level analysis certainly improves analyses of the first/last application of the instrument,
but it also explains some of the assumptions that are involved in multilevel analyses and
why we should be cautious about assuming that the conclusions offered by these
analyses will always be solid and generalizable.
Table 2. Scores from the first time the CORE-OM was completed.
n = 161 min max M 95% CI SD
Risk 0.00 4.00 0.64 0.51, 0.75 0.80
Non-risk 0.11 3.75 1.79 1.68, 1.90 0.70
Total 0.09 3.41 1.59 1.49, 1.69 0.67
Note: min = minimum score; max = maximum score; M = Mean; SD = Standard deviation; 95% CI = 95% confidence
intervals using percentile bootstrap with 1,000 replications
Figure 1. Cat’s cradle indicating the change trajectories of the clients who completed the CORE-OM
at least twice, and representation of the fit of the applied regression models.
Note: the blue line shows the fit of the data by applying the nonlinear LOESS regression that ignores non-
independence, the green line shows the fit of the linear multilevel regression model, and the red line the fit of
the quadratic multilevel regression model.
Figure 1 shows a nonlinear fit (LOESS) — ignoring nesting within clients — for all
scores, a linear fit and a quadratic fit.
Reliable and clinically significant change

Figure 2 shows the changes between the first and last completion of the CORE-OM for
all clients who filled in the instrument at least twice, including those categorized as
functional population, and those categorized as dysfunctional population based on the
score they obtained the first time they responded to the CORE-OM. This graph
indicates who showed reliable changes, clinically significant changes, no reliable
changes and those who showed significant deterioration. When considering the per
centage of clients split by categories of change based on the number of sessions, the
association between these variables was not significant, since χ2(6, N = 102) = 9.91,
p = .13. In other words, the proportion of clients divided by categories of change did
not vary significantly by number of sessions.
Table 3 shows information on the categories of reliable and clinically significant
change for those clients who completed the CORE-OM at least twice, after comparing
the scores from their first CORE-OM and the last one available.
Figure 2. Jacobson plot of change between first and last CORE-OM available from clients who
completed it at least twice.
Note: Jacobson Plot showing reliable and clinically significant change of the clients who attended at least two
sessions (n = 102). Pre-treatment scores are plotted on the x-axis and post-treatment scores on the y-axis. The
clinical cut-off point is shown on each axis. Diagonal and parallel lines represent the limits of reliable change.
The squares within the parallel diagonal lines represent the clients who did not change significantly. The
triangles above the parallel diagonals represent the clients with significant deterioration; the triangles below the
parallel diagonals represent the clients with significant improvement. The triangles below the horizontal line and
to the right of the vertical line represent the clients who achieved a reliable and clinically significant change.
Discussion
This study is one of the first in Ecuador and one of the few in Latin America to report
the change results of clients who underwent psychological care in a university training
centre. When analysing clients’ data prior to starting the treatment, we saw that all the
scores — Total, Non-risk and Risk — were lower than those reported by Evans et al.
(2002) for the clinical sample from the study that analyses the psychometric properties
of the CORE-OM in the United Kingdom. Compared with the clinical sample from
Table 3. Change categories for clients who completed the CORE-OM on at least two occasions.
Dysfunctional Functional
Change category (n = 91) (n = 11)
Clinically significant change 30 (32.97%) Not applicable
Reliable improvement 16 (17.58%)
No reliable change or no change 44 (48.35%) 11 (100%)
Reliable deterioration 1 (1.1%)
Trujillo et al.’s (2016) study carried out in Spain, the baseline mean value obtained in
our study was lower for the Total score, and higher for Risk. These data provide
information about the population that undergoes psychological care at the centre and
the differences that may exist with populations from other contexts. This underlines the
need for each service to generate their own data so that the evidence and the results
emerging from their interventions are contextualized to the characteristics of the
population being studied.
The data on change indicates that a large proportion of the clients who completed
the CORE-OM on two or more occasions show statistically and clinically significant
changes. The statistically significant change was evidenced by the reliable change
evaluation and multilevel analysis that showed a significant reduction in the CORE-
OM score throughout the psychotherapeutic processes, when considering the data
collected session by session. Additionally, Figure 1 shows how the quadratic fit is better
than the linear fit by adjusting more clearly for the relatively few clients who attended
more than 10 sessions and who tended to improve less than those who attended fewer
sessions. This indicates that evaluating the type of care that is being provided to those
clients who attend more than 10 sessions is necessary; this evaluation could be sup
ported by constant supervision and timely discussion about the continuation of therapy
for clients who do not obtain the expected benefits.
Among the clients who completed the CORE-OM at least twice, 29.4% showed
reliable and clinically significant changes, and 15.68% showed only reliable improve
ment. The rates of significant change are lower in this study compared to the data
reported by other psychotherapy training and care centres: 61% (Saldaña et al., 2009)
and 71% (Fernández et al., 2011).
Since 45.1% of the clients presented reliable changes and the multilevel regression
model showed a significant reduction in the CORE-OM scores, we believe that the care
model implemented benefits clinical monitoring processes and has advantages in the
care and educational fields of meeting the need for trainees to develop their skills. In
this context, the identification of clinical and technical aspects through the ROM
reports could make it possible to fine-tune certain training and supervision activities,
with the purpose of improving quality-of-care indicators.
The data collected show that clients generally attend few sessions. Opting out from
psychotherapeutic processes has been associated with the therapy modality, diagnosis,
therapeutic alliance, economic income, age, ability to access services, having health
insurance, the perception of mental health and the clinical context (Khazaie et al.,
2016). The results of a study on psychotherapy drop-out with data from more than
400,000 clients who attended psychological care services in the United States showed
that it was mainly between the sixth and eighth sessions (Hamilton et al., 2011). Based
on our data, we could hypothesize that certain clients decided not to continue with the
process after the first session due to the factors mentioned or because they experienced
a significant improvement. Therapeutic alliance plays a relevant role in cases of opt-out
and no change (Horvath et al., 2011; Sharf et al., 2010). Some studies agree that
processes with positive therapeutic outcomes are generally those in which the difficul
ties of establishing the therapeutic alliance have been adequately managed (Manubens
et al., 2018; Safran & Muran, 2006). This information suggests that cases of no change
and opt-out could be associated with difficulties in managing the therapeutic alliance, a
hypothesis that was put forward by supervisors at the centre. Thus, we suggested,
together with the supervisors, strategies to promote the therapeutic alliance. Specific
actions would include reflection and emphasis placed on the cases identified as having
difficulties in the therapeutic alliance during the review and supervision meetings. This
could include monitoring the therapeutic alliance session by session with instruments
such as the Working Alliance Inventory (WAI) or the Session Rating Scale 3.0 (SRS),
discussing results in the supervision groups and carrying out continuous training
activities. The purpose of these actions is to prevent possible opt-out.
In general, this article explored how to apply the PBE paradigm with routinely
collected data that have been analysed, and, based on findings, actions were proposed
to improve the quality of care in the service. We sought to bring research closer to
clinical practice considering the evidence. In other words, these data guide the decision-
making process regarding how to modify or continue with the care model, through a
constant feedback loop between evidence and practice, as well as between clinicians and
researchers. We believe that this study can serve as an example for future actions by
clinicians and researchers in Latin America, in favour of generating evidence and
building proposals to improve the quality of mental health care services in the region.
The use of ROM in this region is still limited, and it will probably present different
challenges to those encountered in other regions of the world with greater resources
and established health systems. This tells us that it is relevant to adjust the ROM to the
specific needs of the services in the region, which will not be too complicated as PBE is
a flexible model that can be adapted to the requirements of each care context (Evans &
Carlyle, 2021).
The limitations of this study include not having properly defined opt-out of the
process; however, we recorded the number of sessions that each client attended and in
which they completed the questionnaire. In the future, opt-out will be defined as when
the client does not attend three consecutive scheduled sessions or does not respond to
three contact attempts. This will allow a more structured analysis of abandonment in
future cohorts. Another limitation of this study was that the data collection was carried
out using paper and pencil questionnaires, and the subsequent tabulation of the
responses and verification of the correct data entry involved a significant investment
of time. This problem led to the idea of creating an electronic data collection system
that is easy to use for therapists, clients and centres. With this idea in mind, and after
obtaining funding through the Marna Barrett Award for Excellence in Psychotherapy,
from the Society for Psychotherapy Research, we have developed a data collection
system for ROM that can be used by Spanish-speaking centres and therapists. The
online system is called MarBar and is now available for free at https://www.marbarsys
tem.com/. The implementation experiences of PBE were considered for the develop
ment of the system, and we believe they show that it is possible to apply ROM in
contexts with few resources.
Now that we have the MarBar system, data collection will be easier and we hope to
continue with ROM in the centre, which has been the subject of this study, in order to
have more solid and comparable results with other studies. We invite other mental
health professionals and researchers in the region to create or strengthen collaboration
networks between psychotherapy care and training centres in the region. These net
works can be responsible for generating Practice-Based Evidence, which could facilitate
collaborative learning and propose actions to improve training and psychological care
services.
Investigación basada en la práctica con psicólogos en

formación: presentación de un modelo de supervisión y uso de
la monitorización rutinaria de resultados
Históricamente, se han hecho muchos intentos para reducir la brecha entre la práctica y
la investigación en psicoterapia. Así, surgió un modelo de Práctica Basada en la
Evidencia (en adelante EBP, que hace referencia a las siglas en inglés de Evidence-
Based Practice), en el que se planteó la necesidad de que la formación clínica incluyera
componentes tanto científicos como prácticos (American Psychological Association,
2006). Los investigadores y los clínicos que trabajan bajo el paradigma de la EBP han
hecho esfuerzos sustanciales para tender puentes entre la investigación, la formación y
la práctica en contextos psicoterapéuticos, y esto ha favorecido la mejora de la calidad
en la conducción de las terapias psicológicas. No obstante, ciertas características del
enfoque basado en la realización de ensayos clínicos controlados, donde se priorizan
estrictas condiciones de control, con manualización del tratamiento, aleatorización de
los consultantes a distintas condiciones de tratamiento y con estrictos criterios de
inclusión y exclusión para favorecer la validez interna, han generado limitaciones en
términos de la evaluación rutinaria en la vida real. Para contrarrestar estas limitaciones,
la Evidencia Basada en la Práctica (en adelante PBE por sus siglas en inglés que hacen
referencia a Practice-Based Evidence) ha surgido como un paradigma complementario
que permite considerar y abordar las necesidades de los profesionales de la salud
mental, y de manera más amplia, de los servicios de salud mental (Margison et al.,
2000). La PBE en psicoterapia favorece el encuentro y diálogo entre la experiencia
clínica con evidencia de calidad proveniente de estudios rigurosos conducidos en
entornos clínicos rutinarios. Las investigaciones conducidas con un enfoque de PBE
se adaptan a entornos naturalistas e implican recopilar datos de la práctica habitual de
manera rutinaria, sin imponer criterios de exclusión más allá de aquellos definidos por
el servicio o centro, y con participantes heterogéneos para favorecer la validez ecológica,
es decir, la factibilidad de generalizar los resultados a contextos de la vida real. Esto
puede ser especialmente valioso en América Latina, donde la falta de recursos puede
conducir a serias dificultades para llevar a cabo estudios controlados. Por lo tanto, el
uso y la difusión de la PBE y la Monitorización Rutinaria de Resultados (MRR) para
recopilar y utilizar datos puede resultar beneficioso. MRR se refiere al uso común de
medidas de resultados para estudiar el cambio en psicoterapia. El objetivo de la
medición de resultados suele ser principalmente tomar datos de uno o varios servicios
y extraer aprendizajes a partir de tales resultados. En la MRR, los datos pueden o no ser
comunicados al terapeuta y/o al consultante, sin embargo, su propósito principal no
suele ser utilizar las puntuaciones para alterar el curso o hacer cambios durante el
proceso terapéutico (Evans & Carlyle, 2021). Actualmente, los estudios aplicados de
PBE en Latinoamérica son escasos, así pues, en este artículo presentamos la experiencia
aplicando este paradigma en un centro universitario de atención psicológica en Ecuador

en el que se provee formación para estudiantes de los últimos semestres de la carrera de
psicología.
Modelo de atención y formación del Centro de Psicología Aplicada (CPA) de

la Universidad de Las Américas
El CPA fue creado en 2013 para brindar servicios de atención psicológica a los miembros de
la comunidad universitaria que lo requieran y a la población general. El centro acepta
autoderivaciones y derivaciones de otros profesionales, compañías y organizaciones. Se
brindan atenciones individuales, terapia de pareja y terapia familiar, y se trabaja con
distintos grupos etarios. En la atención, se comparte el enfoque teórico constructivista
que enmarca el conocimiento, más que como un reflejo del mundo real, como construido
con varias posibilidades de interpretación y significado, basado en la experiencia, tanto de
los consultantes, como de los terapeutas. Las diversas construcciones posibles se perciben
como elementos clave para el cambio terapéutico (Martorell, 2014). Desde este enfoque, se
subraya que cada encuentro terapéutico es singular, se comprende al ser humano de
manera integral (Neimeyer, 2011). El constructivismo permite integrar distintos modelos
psicoterapéuticos que consideran al ser humano como constructor de significados. Así, es
posible que psicoterapeutas con diferentes orientaciones (psicodinámica, cognitiva,
sistémica e integrativa) trabajen juntos, considerando los siguientes factores comunes:
alianza terapéutica, entorno sanador, esquema conceptual y procedimiento con la
participación del consultante y el terapeuta para restaurar la salud (American
Psychological Association, 2013; Lambert, 1992; Uribe, 2008).
En el CPA, la atención se realiza mediante el modelo de co-terapia. Según Ruiz and
Palacios (2019) el modelo de co-terapia potencia el cuidado de todos los involucrados.
Los psicólogos (terapeutas) son los encargados de guiar al estudiante (co-terapeuta)
desde el inicio de cada proceso. Como equipo, acuerdan la manera en que realizarán el
abordaje y planifican cada sesión. Tras las sesiones, el psicólogo retroalimenta al co-
terapeuta, considerando las fortalezas y debilidades que pudo vislumbrar, con el
objetivo de promover su crecimiento teórico y práctico.
Formación y supervisión
Además de la co-terapia, se han adoptado dos estrategias en el CPA. La primera es la
conformación de distintos espacios de supervisión clínica, entendida como un ‘proceso
destinado a favorecer el desarrollo del terapeuta en el ámbito profesional, por medio del
diálogo reflexivo en torno a las inquietudes que este presenta’ (Laso, 2020, p. 48). La
segunda es la implementación piloto de la MRR para generar EBP.
La supervisión clínica se organiza en encuentros sincrónicos (durante la misma sesión de
terapia a modo de pausas reflexivas) y asincrónicos (después de las sesiones de terapia como
espacios de discusión más amplios sobre los casos atendidos). Con ello, se pretende pro
mover la perspectiva de que el ejercicio clínico debe ir de la mano de un proceso de
formación continua y espacios de reflexión y autocuidado, para los estudiantes, pero
también para los profesionales que trabajan en el centro. La supervisión tiene tres objetivos:
uno de asesoría técnica sobre la gestión específica del caso, uno restaurativo que apunta al
procesamiento de las experiencias emocionales que se movilizan en los equipos

terapéuticos (autocuidado), y un componente formativo enfocado en reforzar los conoci
mientos y afianzar habilidades (Milne, 2009). En relación con estos componentes, en el
CPA se estructuraron tres ámbitos de supervisión (ver Tabla 1), considerando que, si bien
en todo ámbito de supervisión los tres elementos están presentes, es posible proponer
ámbitos que favorezcan un componente sobre los demás.
En resumen, en el CPA, en consonancia con lo planteado por Falender y Shafranske
(2004), la supervisión es un proceso interpersonal educativo, formativo y colaborativo,
que implica observar, evaluar y retroalimentar con el fin de favorecer la autoevaluación
del supervisado, y la construcción de conocimiento y destrezas por instrucción, mode
laje y resolución de problemas mutuos. La inclusión de la MRR, por su parte, brinda la
posibilidad de generar evidencia a partir de la práctica que sostiene el flujo de aprendi
zaje continuo. El objetivo del presente estudio es presentar los procedimientos aplicados
y resultados encontrados sobre la efectividad del modelo de atención y formación
aplicados en un centro universitario de atención psicológica en Ecuador mediante la
implementación de MRR, sesión a sesión.
Método
Ética
Esta investigación recibió aprobación del Comité de Ética de la Universidad San
Francisco de Quito, Ecuador (ref.2017–113E). Todos los participantes de este estudio
dieron su consentimiento informado antes de ser incluidos en la investigación.
Participantes
Los participantes fueron 161 consultantes que acudían en búsqueda de atención
psicológica a un centro universitario que ofrece intervenciones psicológicas para
Tabla 1. Definición de los ámbitos de supervisión continua en el CPA.

Componente
Ámbito Modalidad primordial Definición
Pausa Sincrónica Asesoría La pausa reflexiva se basa en las propuestas de equipo reflexivo de
reflexiva técnica Andersen (2009). El equipo terapéutico propone una actividad
reflexiva a los consultantes durante la sesión y se retira brevemente a
analizar, con ayuda de otros miembros del equipo, lo que está
sucediendo en la sesión. Así pueden descargar situaciones difíciles y
recibir aportes técnicos sobre la gestión de lo que queda de la sesión.
Supervisión Asincrónica Restaurativo La supervisión individual se realiza entre el equipo terapéutico y un
individual docente supervisor del CPA. Este espacio se enfoca primordialmente
en el componente restaurativo al brindar un espacio más privado,
donde si bien se tratan los componentes técnicos y formativos, el
encuadre permite revisar aspectos personales del equipo terapéutico
en relación con la experiencia de atender los casos.
Supervisión Asincrónica Formativo La supervisión grupal se enfoca en el componente formativo. Es un
grupal espacio de reflexión colectiva donde coinciden terapeutas,
estudiantes y docentes supervisores, que favorece el diálogo entre
enfoques teóricos, análisis de referentes e identificación de
necesidades de aprendizaje. De esas necesidades, se desprenden
tareas y lecturas que puedan robustecer los marcos de intervención.
trastornos mentales no graves (por ejemplo: ansiedad o depresión) y conflictos relacio

nales. Al ser un centro de formación y entrenamiento de profesionales, en este centro
no se atiende a personas con problemas por consumo de sustancias, víctimas de
violencia o personas con trastornos psicóticos. Si se presentan casos con estos motivos
de consulta que no se atienden en el centro, se hacen las referencias correspondientes a
especialistas específicos para cada tema. Para este estudio consideramos los principios
de la PBE, por lo tanto, no se propusieron criterios de exclusión. Fueron incluidos todos
los consultantes que asistieron al centro durante el tiempo que duró el estudio y
consintieron ser parte de este.
Instrumentos
Formulario sobre características sociodemográficas
Se elaboró un breve cuestionario sociodemográfico en el que se consideraron diversas
características como edad, género, estado civil, nivel educativo, consumo de psicofármacos
bajo prescripción médica, nivel de satisfacción con la vida y situación laboral.
Clinical Outcomes in Routine Evaluation — Outcome Measure (CORE-OM; Evans et

al., 2002, 2000)
El CORE-OM es un instrumento de autoinforme de 34 ítems que, en conjunto, sirven
para evaluar cuatro dimensiones: Bienestar, Problemas, Funcionamiento y Riesgo. Los
ítems se califican en una escala Likert de 0 (‘nunca’) a 4 (‘siempre o casi siempre’). Entre
más alta sea la puntuación, más altos serán los niveles de malestar (Evans et al., 2002).
El CORE-OM ha sido ampliamente utilizado para la monitorización de resultados
(Barkham et al., 2015; Stiles et al., 2015).
El CORE-OM original en inglés muestra propiedades psicométricas adecuadas (Evans et
al., 2002). Su traducción al español ha mostrado propiedades psicométricas parecidas a las
del cuestionario original en inglés (Trujillo et al., 2016). En 2020 se realizó un estudio para
evaluar las propiedades psicométricas del CORE-OM en una población no clínica en
Ecuador (Paz et al., 2020) y se encontró que estas son semejantes a aquellas reportadas
por Evans et al. (2002) y Trujillo et al. (2016). En la presente investigación, se encontró una
excelente consistencia interna del instrumento evaluada mediante Alfa de Cronbach (α) y
Omega de McDonald (ω). Los resultados fueron los siguientes para la puntuación Total:
α = .94 [.91, .96]; ω = .94; para la puntuación Total Sin Riesgo: α = .94 [.90, .96]; ω = .94; y
para Riesgo: α = .86 [.71, .91]; ω = .88.
Procedimiento
Este es un estudio naturalista longitudinal en el que se implementó la evaluación
rutinaria para monitorizar el cambio y los resultados de los consultantes que son
atendidos en un centro universitario de atención psicológica.
La generación de estudios basados en el paradigma de la PBE requiere una recogida
continua de datos dentro de la práctica clínica habitual de la psicoterapia siguiendo la
aplicación de la MRR. Para recoger los datos de este estudio, se contó con el apoyo de los
terapeutas y co-terapeutas del CPA. Antes de la primera ocasión en que los consultantes
completaran el CORE-OM, los co-terapeutas les explicaron las implicaciones de la
monitorización rutinaria de resultados y del uso del CORE-OM en el CPA, su importancia

y los aspectos prácticos relacionados con llenar el cuestionario. El co-terapeuta estaba
presente en caso de que el/la consultante tuviera dudas mientras llenaba el cuestionario.
Los consultantes completaron el cuestionario de manera presencial antes de cada sesión de
tratamiento, es decir sesión a sesión, desde la primera sesión de tratamiento hasta la última
sesión. El cuestionario fue respondido en su versión en papel. Se recolectó los datos desde
enero de 2018 hasta marzo de 2020. La información recolectada fue introducida en una base
de datos para su posterior análisis.
Análisis de datos
Se evaluó el cambio el cambio confiable y clínicamente significativo y se realizó análisis
multinivel para estimar el cambio de los consultantes a lo largo de los procesos
psicoterapéuticos. Para evaluar el cambio confiable y clínicamente significativo se apli
caron los métodos propuestos en Jacobson et al. (1984) y en Jacobson y Truax (1991). El
cambio confiable evidencia la medida en que el cambio de un individuo se ubica por fuera
del rango de la variabilidad de medición del instrumento y el cambio clínicamente
significativo evidencia si las puntuaciones de los participantes entre la primera y la
última aplicación han cambiado de ser puntuaciones de población disfuncional a pun
tuaciones de población funcional, es decir, si las puntuaciones han pasado de estar por
encima del punto de corte a estar por debajo del punto de corte clínico. Para realizar el
cálculo del punto de corte se usaron los datos de las respuestas al CORE-OM de la
población funcional (M = 0.93, DT = 0.52) reportados para la población ecuatoriana en
Paz et al. (2020) y para la población disfuncional la media y desviación típica de la
población estudiada en el presente artículo. En este estudio, se presenta el cambio
confiable y clínicamente significativo de los consultantes mediante un Jacobson Plot, y
una tabla con el número de consultantes en cada categoría de cambio.
Los resultados de los análisis multinivel y un gráfico Cat’s Cradle, una variante de los
diagramas de dispersión, permite mapear las puntuaciones de los participantes en dos o más
momentos de evaluación en el tiempo (Evans & Carlyle, 2021). Adicionalmente se evaluó,
mediante una prueba de chi cuadrado, la posible asociación entre la proporción de con
sultantes — divididos por categorías de cambio — con el número de sesiones. Las sesiones
fueron agrupadas en las siguientes categorías: entre 2 y 5 sesiones, entre 6 y 9 sesiones, entre
10 y 13 sesiones, y entre 14 y 20 sesiones. En cuanto a los análisis de modelos multinivel, se
puso a prueba un ajuste lineal, es decir, se evaluó si las puntuaciones del CORE-OM
disminuían (o, en principio, empeoraban) cuantas más sesiones asistía un consultante. Se
probó un modelo fijo en el que se asumía que todos los consultantes tenían el mismo
intercepto y la misma pendiente y, a continuación, se probaron secuencialmente los ajustes
para (i) permitir diferencias en el intercepto (más o menos lo mismo que permitir que los
consultantes tengan diferentes puntuaciones iniciales), y (ii) añadir diferentes pendientes para
cada consultante. Además, se probó un modelo cuadrático, es decir, un modelo que relaciona
las puntuaciones en el CORE-OM y el número de sesiones al cuadrado, que es una forma de
permitir una relación curvilínea de la puntuación frente al número de sesiones. Se utilizó el
Criterio de Información de Akaike (AIC) para comprobar el ajuste, según el cual valores más
pequeños indican un mejor ajuste. Se superpuso una regresión local LOESS — que ignora la
anidación dentro de los consultantes — sobre todos los puntos de datos en un gráfico Cat’s
Cradle y también se calculó un modelo lineal y uno cuadrático fijo para visualizar las distintas
relaciones.
Se usó el software R, en su versión 4.0.3 (R Core Team, 2021) para conducir los análisis
propuestos. Se empleó el paquete CECPfuns (Evans, 2021) para obtener las medias y los
intervalos de confianza de esas medias con el método de percentile bootstrap con 1,000
réplicas. Se usaron funciones del paquete base de R para calcular los estadísticos de chi
cuadrado y las desviaciones estándar. Para graficar las trayectorias de cambio sesión a sesión
de los consultantes, se usó líneas de código desarrolladas por uno de los autores. Para los
análisis multinivel se usaron los paquetes lme4 (Bates et al., 2015), nlme (Pinheiro et al., 2021),
y lmerTest (Kuznetsova et al., 2017).
Resultados
Características de los consultantes
En total, se analizaron los datos de 161 consultantes adultos: 100 mujeres (62%) y 59
hombres (37%), faltando el dato de género de dos consultantes (1%). La edad mínima
de los participantes fue 18 y la máxima 66. La edad promedio de los consultantes fue de
29.47 años (DT = 10.11). Se encontró que la mayoría de los consultantes eran solteros
(63%). En cuanto al nivel educativo, la mayoría de los consultantes reportó haber
alcanzado la educación superior (70%). El 61% de consultantes trabajaban, el 39% no
y una persona no respondió a esa pregunta. El 40% eran empleados privados.
Adicionalmente, el 78% de consultantes no estaba consumiendo psicofármacos bajo
prescripción médica en el momento en que completaron el CORE-OM por primera vez.
Por último, en cuanto a satisfacción con la vida, en una escala que va de 1 (‘nada
satisfecho’) a 10 (‘totalmente satisfecho’), los consultantes mostraron una media de
satisfacción de 6.61 (DT = 1.91).
A continuación, en la Tabla 2 se puede observar las puntuaciones medias de línea
base en el CORE-OM correspondientes a todos los consultantes, incluidos aquellos que
solo completaron el CORE-OM en una ocasión.
Se evidenció heterogeneidad en cuanto a la duración de los procesos
psicoterapéuticos y de ocasiones en que los consultantes completaron el CORE-OM.
Del total de consultantes, 59 (36.65%) asistieron a una sola sesión, 60 (37.27%) tuvieron
entre 2 y 5 sesiones, 20 (12.42%) tuvieron entre 6 y 9 sesiones, 13 (8.07%) entre 10 y 13
sesiones, y 9 (5.59%) entre 14 y 20 sesiones. La mediana de sesiones fue de 5 y la media
fue 6.52 (DT = 4.77).
Tabla 2. Puntuaciones de la primera ocasión en que se completó el CORE-OM.

n = 161 min max M 95% IC DT
Riesgo 0.00 4.00 0.64 0.51, 0.75 0.80
Total Sin Riesgo 0.11 3.75 1.79 1.68, 1.90 0.70
Total 0.09 3.41 1.59 1.49, 1.69 0.67
Nota: min = puntuación mínima; max = puntuación máxima; M = Media; DT = Desviación típica; 95% IC = Intervalos de
confianza al 95% usando el método de bootstraping percentile bootstrap con 1,000 réplicas
Análisis multinivel
Los análisis de modelos multinivel mostraron claramente que había una tendencia
estadísticamente significativa a que la puntuación en el CORE-OM disminuyera
considerando el número de sesiones a las que asistían los consultantes, con una
pendiente fija de 0.05 ([0.04, 0.07], ET = 0.007; t = −7.70; p < .001) de caída en la
puntuación en el CORE-OM por sesión asistida. El modelo que libera el intercepto
mejoró notablemente el ajuste con respecto a un intercepto fijo, asimismo lo hizo el
permitir una pendiente libre, es decir, que los consultantes difieran en cuanto a la
mejoría por sesión asistida. El modelo que incluyó un efecto cuadrático de la sesión
mejoró el ajuste con respecto al modelo lineal, con un descenso del AIC de 331 a 318.
Una explicación del método multinivel dirigida a los profesionales de la salud mental, que
utiliza estos datos y ofrece los resultados analíticos completos de los análisis multinivel de este
estudio, se encuentra en español en: https://www.psyctc.org/stats/MLM_unpicked_SPA.
html, en inglés en: https://www.psyctc.org/stats/MLM_unpicked.html, y los archivos en
ambos idiomas están almacenados en el repositorio de acceso abierto Zenodo: https://doi.
org/10.5281/zenodo.7064234. Este documento resume algunas de las formas en las que el
análisis multinivel ciertamente mejora los análisis de primera/última aplicación del instru
mento, pero también explica algunas de las suposiciones que están involucradas en los análisis
multinivel y los motivos por los que debemos ser cautelosos a la hora de asumir que los
resúmenes que ofrecen estos análisis serán siempre sólidos y generalizables.
Figura 1. Cat’s Cradle indicando las trayectorias de Cambio de los Consultantes que completaron el
CORE-OM al Menos Dos Veces y representación del ajuste de los modelos de regresión aplicados.
Nota: La línea azul muestra el ajuste de los datos al aplicar la regresión no lineal LOESS que ignora la no
independencia, la línea verde muestra el ajuste del modelo lineal de regresión multinivel y la línea roja el ajuste
del modelo cuadrático de regresión multinivel.
La Figura 1 muestra un ajuste no lineal (LOESS) — que ignora la anidación dentro de

los consultantes — para todas las puntuaciones, un ajuste lineal y uno cuadrático fijos.
Cambio confiable y clínicamente significativo

En la Figura 2 se presentan los cambios entre la primera y última aplicación del CORE-
OM de todos aquellos consultantes que tienen al menos dos aplicaciones del instru
mento, por tanto, están incluidos los consultantes categorizados como población fun
cional y los consultantes categorizados como población disfuncional con base en la
puntuación obtenida en la primera ocasión que respondieron al CORE-OM. Este
Figura 2. Jacobson Plot del Cambio entre el Primero y el Último CORE-OM Disponible de los
Consultantes que lo completaron al Menos Dos Veces.
Nota: Jacobson Plot que muestra el cambio confiable y clínicamente significativo de los consultantes con al
menos dos sesiones (n = 102). Las puntuaciones pre-tratamiento están plasmadas en el eje x y las puntuaciones
post-tratamiento en el eje y. En cada eje se muestra el punto de corte clínico. Las líneas diagonales y paralelas
representan los límites del cambio confiable. Los cuadrados dentro de las líneas diagonales paralelas represen
tan los consultantes que no cambiaron significativamente. Los triángulos por encima de las diagonales paralelas
representan a los consultantes con deterioro significativo, los triángulos por debajo de las diagonales paralelas
representan a los consultantes con mejoría significativa. Los triángulos por debajo de la línea horizontal y a la
derecha de la línea vertical representan a los participantes que llegaron a tener un cambio confiable y
clínicamente significativo.
Tabla 3. Categorías de cambio de los consultantes que completaron el CORE-OM en al menos dos
ocasiones.
Disfuncional Funcional
Categoría de cambio (n = 91) (n = 11)
Cambio clínicamente significativo 30 (32.97%) No aplica
Mejoría confiable 16 (17.58%)
Cambio no confiable o no cambio 44 (48.35%) 11 (100%)
Deterioro confiable 1 (1.1%)
gráfico permite observar quienes muestran cambios confiables, cambios clínicamente

significativos, cambios no confiables y quienes muestran deterioro significativo. Por
otra parte, al considerar el porcentaje de consultantes por categorías de cambio en
función del número de sesiones, la asociación entre estas variables no fue significativa,
puesto que χ2(6, N = 102) = 9.91, p = .13. En otras palabras, la proporción de
consultantes dividida por categorías de cambio no varió significativamente por
número de sesiones.
En la Tabla 3 se presenta información sobre las categorías de cambio confiable y
clínicamente significativo de los consultantes que completaron el CORE-OM en al
menos dos ocasiones, tras comparar las puntuaciones de su primer CORE-OM y el
último disponible.
Discusión
Este estudio es uno de los primeros en Ecuador y uno de los pocos en Latinoamérica en
reportar los resultados de cambio de los consultantes que reciben atención psicológica
en un centro de formación universitaria. Al analizar los datos de los consultantes antes
de comenzar el tratamiento, se pudo notar que todas las puntuaciones, es decir, Total,
Total Sin Riesgo y Riesgo fueron inferiores que aquellas reportadas por Evans et al.
(2002) para la muestra clínica del estudio que analiza las propiedades psicométricas del
CORE-OM en Reino Unido. En comparación con la muestra clínica del estudio de
Trujillo et al. (2016), conducido en España, el valor de la media de la línea base
obtenido en este estudio para la puntuación Total fue inferior, y superior para
Riesgo. Estos datos dan información sobre la población que es atendida en el centro
y las diferencias que pueden existir con poblaciones de otros contextos. Esto subraya la
necesidad de que los servicios generen datos propios para que la evidencia y los
resultados de las intervenciones estén contextualizados con respecto a las
características de la población estudiada.
Los datos sobre el cambio muestran que una gran parte de los consultantes que
completaron el CORE-OM en dos o más ocasiones mostraron cambios estadística y
clínicamente significativos. El cambio estadísticamente significativo se evidenció con la
evaluación del cambio confiable y con análisis multinivel que mostraron una reducción
significativa en la puntuación en el CORE-OM a lo largo de los procesos
psicoterapéuticos, al considerar los datos recolectados sesión a sesión.
Adicionalmente, la Figura 1 muestra cómo el ajuste cuadrático es mejor que el ajuste
lineal al ajustarse de manera más clara a los relativamente pocos consultantes que
asistieron a más de 10 sesiones y que tendieron a tener mejorar menos que los que
asistieron a menos sesiones. Esto indica que será necesario evaluar el tipo de atención
que se está brindando a aquellos consultantes que acuden a más de 10 sesiones, lo cual
puede ser apoyado con la supervisión constante y la discusión oportuna acerca del
mantenimiento de los consultantes en terapia sin obtener los beneficios esperados.
Entre los consultantes que tuvieron al menos dos aplicaciones del CORE-OM, el
29.4% mostró cambios confiables y clínicamente significativos y el 15.68% mostró solo
mejoría confiable. Los índices de cambio significativo son menores en este estudio en
comparación con los datos reportados por otros centros de formación y atención en
psicoterapia: 61% (Saldaña et al., 2009) y 71% (Fernández et al., 2011).
Ahora bien, al haber un 45.1% de consultantes que presentaron cambios confiables y
que el modelo de regresión multinivel evidencia una reducción significativa en las
puntuaciones del CORE-OM creemos que el modelo de atención muestra beneficios
en los procesos de acompañamiento clínico, con las ventajas en el campo asistencial y
educativo de solventar la necesidad de que las personas en formación puedan desarro
llar sus habilidades. En este contexto, la identificación de aspectos clínicos y técnicos
mediante los reportes de la MRR podría permitir afinar algunas actividades formativas y
de supervisión, con el objetivo de mejorar los indicadores asistenciales de calidad.
Los datos recopilados muestran que los consultantes en general asisten a pocas
sesiones. El abandono de un proceso psicoterapéutico ha sido asociado con variables
como la modalidad de la terapia, el diagnóstico, la alianza terapéutica, los ingresos
económicos de los consultantes, la edad, la capacidad de acceso a los servicios, contar
con un seguro de salud, la percepción de la salud mental y el contexto clínico (Khazaie
et al., 2016). Los resultados sobre la deserción en psicoterapia de un estudio realizado
con datos de más de 400,000 pacientes que acudían a una red de servicios de atención
psicológica en Estados Unidos muestran que, el abandono se daba principalmente entre
la sexta y octava sesión (Hamilton et al., 2011). A partir de nuestros datos, se podría
hipotetizar que tras la primera sesión varios consultantes decidieron no asistir más por
los factores mencionados o porque experimentaron una mejoría significativa. La alianza
terapéutica cumple un papel relevante en los casos de abandono y de no cambio
(Horvath et al., 2011; Sharf et al., 2010). Algunas investigaciones concuerdan en que
los procesos con resultados terapéuticos positivos generalmente son aquellos en los que
las dificultades en establecer la alianza terapéutica se han manejado adecuadamente
(Manubens et al., 2018; Safran & Muran, 2006). Esta información sugiere que los casos
de no cambio y algunos de posible abandono en el centro podrían estar vinculados con
dificultades en la gestión de la alianza terapéutica, hipótesis que fue sugerida por los
mismos supervisores del centro. Así pues, se propuso, en conjunto con los supervisores,
fomentar estrategias para promover la alianza terapéutica. Como acciones específicas, se
plantea que, en las reuniones de revisión y supervisión, se reflexione y enfatice en
aquellos casos en que se identifiquen dificultades en el establecimiento de la alianza
terapéutica. Esto podría incluir la monitorización de la alianza terapéutica sesión a
sesión mediante instrumentos como el Working Alliance Inventory (WAI) o la Session
Rating Scale 3.0 (SRS), discutir los resultados en los grupos de supervisión y realizar
actividades de formación continua al respecto. El fin de estas acciones es prevenir
posibles abandonos.
De manera general, este artículo reporta una forma de aplicar el paradigma de la
PBE, con datos recolectados de manera rutinaria que se han analizado y a partir de los
hallazgos se proponen acciones para mejorar la calidad de atención en el servicio. Con
esto, se procura acercar la investigación a la práctica clínica considerando la evidencia.

En otras palabras, estos datos permiten tomar decisiones sobre cómo modificar o
continuar con el modelo de atención, mediante un ciclo de realimentación constante
entre la evidencia y la práctica, y entre los clínicos y los investigadores. Creemos que
este estudio puede servir de ejemplo para futuras acciones por parte de clínicos e
investigadores de Latinoamérica en favor de generar evidencia y crear propuestas
para mejorar la calidad de los servicios de atención en salud mental en la región.
Definitivamente, la aplicación de la MRR en esta región todavía es limitada y segu
ramente presenta retos diferentes a los encontrados cuando esta se ha aplicado en otras
regiones del mundo con mayores recursos y en sistemas de salud bien establecidos. Esto
nos indica que es relevante ajustar la MRR a las necesidades específicas de los servicios
de la región, lo que es posible considerando que la PBE es un modelo flexible, que se
puede adaptar a los requerimientos de cada contexto de atención (Evans & Carlyle,
2021).
Entre las limitaciones de este estudio, cabe señalar que no se definió de manera
estricta el abandono del proceso, sin embargo, registramos el número de sesiones a las
que cada consultante asistió y en que completó el cuestionario. En el futuro, se
registrará como abandono cuando el consultante no asista a tres sesiones consecutivas
planificadas o no responda a tres intentos de contacto. Esto permitirá un análisis más
estructurado de los abandonos en futuras cohortes. Otra limitación de este estudio fue
que la recolección de datos se realizó usando cuestionarios en papel y lápiz, esto supuso
una inversión importante de tiempo para la tabulación de las respuestas y la verificación
de la correcta entrada de datos. A partir de este inconveniente surgió la idea de la
creación de un sistema de recolección de datos electrónico y de fácil uso para los
terapeutas, consultantes y centros. Con esta idea en mente, y después de obtener
financiamiento por medio del Marna Barret Award for Excellence in Psychotherapy,
de la Society for Psychotherapy Research, hemos desarrollado un sistema de recolección
de datos para MRR que puede ser usado por los centros y los terapeutas de habla
hispana. El sistema en línea se denomina MarBar y ya está disponible para su uso de
manera gratuita en https://www.marbarsystem.com/. Para el desarrollo del sistema se
consideraron las experiencias adquiridas tras la implementación de la PBE, que se
presenta en este artículo, y que creemos que demuestra que es posible aplicar la MRR
en contextos con pocos recursos.
Ahora que disponemos del sistema MarBar, la recolección de datos se facilita y
esperamos seguir con la MRR en el centro que ha sido objeto del presente estudio con el
fin de tener resultados más sólidos y comparables con otras investigaciones. Invitamos a
otros profesionales en salud mental e investigadores de la región a crear o fortalecer
redes de colaboración entre centros de atención y formación en psicoterapia en la
región. Estas redes pueden encargarse de promover la generación de Evidencia Basada
en la Práctica, lo que podría permitir construir aprendizajes colaborativos y proponer
acciones para mejorar los servicios de formación y atención psicológica.
Acknowledgements / Agradecimientos
This study has been carried out within project number PSI.CPE.21.03, funded by the Decanato
de Investigación y Vinculación of the Universidad de Las Américas, Quito, Ecuador. We are
thankful for the support given by the Centre for Applied Psychology for the development of this
project and thank all the clients who participated in this study. / Esta investigación se ha realizado
dentro del proyecto número PSI.CPE.21.03 subvencionado por el Decanato de Investigación y
Vinculación de la Universidad de Las Américas, Quito, Ecuador. Agradecemos el apoyo de las
autoridades del Centro de Psicología Aplicada para el desarrollo de este proyecto y a todos los
consultantes que participaron en este estudio.
Disclosure statement / Conflicto de intereses

No potential conflict of interest was reported by the authors. Two of the authors [JV-O and CE],
who analysed the data and reported the results, were not members of the CPA, the centre whose
data was used in the study, at the time the analyses were conducted. The other authors were
involved with the centre at the time the analyses were carried out. They were responsible for
presenting the model and offering explanations of the results but in no way intervened in the
analysis or reporting of results. / Los autores no han referido ningún potencial conflicto de interés
en relación con este artículo. Dos de los autores [JV-O y CE], quienes analizaron los datos y
reportaron los resultados, no eran miembros del CPA, el centro cuyos datos se utilizaron en el
estudio, en el momento de realizar los análisis. Los demás autores estaban vinculados al centro en
el momento en que se realizaron los análisis. Ellos se encargaron de presentar el modelo y de ofrecer
explicaciones sobre los resultados, pero no intervinieron en modo alguno en el análisis ni en el
reporte de los resultados.
Data availability statement / Declaración de disponibilidad de datos

Data supporting the conclusions of this study are available from the corresponding author, upon
reasonable request. / Los datos que respaldan las conclusiones de este estudio están disponibles a
través de la autora de correspondencia, previa solicitud razonable.
ORCID
Jorge Valdiviezo-Oña http://orcid.org/0000-0002-9382-0512
Eduardo Granja http://orcid.org/0000-0002-5033-467X
Alejandra Cuadros-López http://orcid.org/0000-0003-0183-0543
Grace Valdivieso-Meza http://orcid.org/0000-0001-6831-6851
Chris Evans http://orcid.org/0000-0002-4197-4202
Clara Paz http://orcid.org/0000-0003-1106-9567
References / Referencias
American Psychological Association. (2006). Evidence-based practice in psychology. American
Psychologist, 61(4), 271–285. https://doi.org/10.1037/0003-066X.61.4.271
American Psychological Association. (2013). Recognition of psychotherapy effectiveness.
Psychotherapy, 50(1), 102–109. https://doi.org/10.1037/a0030276
Andersen, T. (2009). El equipo reflexivo. GEDISA.
Barkham, M., Mellor-Clark, J., & Stiles, W. B. (2015). A CORE approach to progress monitoring
and feedback: Enhancing evidence and improving practice. Psychotherapy, 52(4), 402–411.
Scopus https://doi.org/10.1037/pst0000030
Bates, D., Mächler, M., Bolker, B., & Walker, S. (2015). Fitting linear mixed-effects models using
lme4. Journal of Statistical Software, 67(1). https://doi.org/10.18637/jss.v067.i01
Evans, C. (2021). CECPfuns: Package of Utility Functions for Psychological Therapies, Mental
Health and Well-being work (Created by Chris Evans and Clara Paz). R package version
0.0.0.9041. https://github.com/cpsyctc/CECPfuns
Evans, C., & Carlyle, J. (2021). Outcome measures and evaluation in counselling and psychother
apy (1st ed.). SAGE Publishing.
Evans, C., Connell, J., Barkham, M., Margison, F., McGrath, G., Mellor-Clark, J., & Audin, K.
(2002). Towards a standardised brief outcome measure: Psychometric properties and utility of
the CORE–OM. British Journal of Psychiatry, 180(1), 51–60. https://doi.org/10.1192/bjp.180.
1.51
Evans, C., Mellor-Clark, J., Margison, F., Barkham, M., Conell, J., & McGrath, G. (2000). CORE:
Clinical outcomes in routine evaluation. Journal of Mental Health, 9(3), 247–255. https://doi.
org/10.1080/713680250
Falender, C. A., & Shafranske, E. P. (2004). Clinical supervision: A competency-based approach.
American Psychological Association. https://doi.org/10.1037/10806-000
Fernández, J., Luengo, M. A., García, J., Cabero, A., González, M. D., Braña, B., Cuesta, M., &
Caunedo, P. J. (2011). Efectividad de la psicoterapia breve en los centros de salud mental II:
Resultados. Revista de la Asociación Española de Neuropsiquiatría, 31(109), 13–29. https://doi.
org/10.4321/S0211-57352011000100002
Hamilton, S., Moore, A. M., Crane, D. R., & Payne, S. H. (2011). Psychotherapy dropouts:
Differences by modality, license, and DSM-IV diagnosis. Journal of Marital and Family
Therapy, 37(3), 333–343. https://doi.org/10.1111/j.1752-0606.2010.00204.x
Horvath, A. O., Del Re, A. C., Flückiger, C., & Symonds, D. (2011). Alliance in individual
psychotherapy. Psychotherapy, 48(1), 9–16. https://doi.org/10.1037/a0022186
Jacobson, N., Follete, W., & Revenstorf, D. (1984). Psychotherapy outcome research: Methods for
reporting variability and evaluating clinical significance. Behavior Therapy, 15(4), 336–352.
https://content.apa.org/doi/10.1016/S0005-7894(84)80002-7
Jacobson, N., & Truax, P. (1991). Clinical significance: A statistical approach to defining mean
ingful change in psychotherapy research. Journal of Consulting and Clinical Psychology, 59(1),
12–19. https://doi.org/10.1037/0022-006X.59.1.12
Khazaie, H., Rezaie, L., Shahdipour, N., & Weaver, P. (2016). Exploration of the reasons for
dropping out of psychotherapy: A qualitative study. Evaluation and Program Planning, 56, 23–
30. https://doi.org/10.1016/j.evalprogplan.2016.03.002
Kuznetsova, A., Brockhoff, P. B., & Christensen, R. H. B. (2017). lmerTest package: Tests in
linear mixed effects models. Journal of Statistical Software, 82(13). https://doi.org/10.18637/jss.
v082.i13
Lambert, M. J. (1992). Psychotherapy outcome research: Implications for integrative and eclec
tical therapists. In J. C. Norcross & M. R. Goldfried (Eds.), Handbook of psychotherapy
integration (pp. 94–129). Basic Books.
Laso, E. (2020). Guía integral de supervisión en psicoterapia. Ediciones Morata.
Manubens, R. T., Roussos, A., Olivera, J., & Gómez, J. M. (2018). Rupturas en la alianza
terapéutica y su asociación con cambio y abandonos tempranos en psicoterapia.
ACADEMO: Revista de Investigación en Ciencias Sociales y Humanidades, 5(2), 143–158.
http://dx.doi.org/10.30545/academo.2018.jul-dic.7
Margison, F. R., Barkham, M., Evans, C., McGrath, G., Clark, J. M., Audin, K., & Connell, J.
(2000). Measurement and psychotherapy. Evidence-based practice and practice-based evi
dence. The British Journal of Psychiatry: The Journal of Mental Science, 177(2), 123–130.
https://doi.org/10.1192/bjp.177.2.123
Martorell, J. L. (2014). Psicoterapias: Escuelas y conceptos básicos. Ediciones Pirámide.
Milne, D. (2009). Evidence-based clinical supervision. Blackwell Publishing Ltd. https://doi.org/10.
1002/9781444308662
Neimeyer, R. (2011). Psicoterapia constructivista: Rasgos distintivos. Editorial Desclée de
Brouwer.
Paz, C., Mascialino, G., & Evans, C. (2020). Exploration of the psychometric properties of the
clinical outcomes in routine evaluation-outcome measure in Ecuador. BMC Psychology, 8(1).
https://doi.org/10.1186/s40359-020-00443-z
Pinheiro, J., Bates, D., DebRoy, S., & Sarkar, D., & R Core Team. (2021). _nlme: Linear and
Nonlinear Mixed Effects Models_. R package version 3.1-152. https://CRAN.R-project.org/
package=nlme
R Core Team. (2021). R: A language and environment for statistical computing. R Foundation for
Statistical Computing. https://www.R-project.org/
Ruiz, M., & Palacios, L. (2019). La coterapia, el contigo en el grupo. Norte de Salud Mental, 16
(60), 13–20. https://dialnet.unirioja.es/servlet/articulo?codigo=7099336
Safran, J. D., & Muran, J. C. (2006). Has the concept of the therapeutic alliance outlived its
usefulness? Psychotherapy: Theory, Research, Practice, Training, 43(3), 286–291. https://doi.
org/10.1037/0033-3204.43.3.286
Saldaña, C., Bados, A., García-Grau, E., Balaguer, G., & Fusté, A. (2009). La unidad de terapia de
conducta de la Universidad de Barcelona. Acción Psicológica, 6(1), 113–122. https://www.
redalyc.org/articulo.oa?id=344030761010
Sharf, J., Primavera, L. H., & Diener, M. J. (2010). Dropout and therapeutic alliance: A meta-
analysis of adult individual psychotherapy. Psychotherapy: Theory, Research, Practice, Training,
47(4), 637–645. https://doi.org/10.1037/a0021175
Stiles, W. B., Barkham, M., & Wheeler, S. (2015). Duration of psychological therapy: Relation to
recovery and improvement rates in UK routine practice. [corrected]. The British Journal of
Psychiatry: The Journal of Mental Science, 207(2), 115–122. https://doi.org/10.1192/bjp.bp.114.
145565
Trujillo, A., Feixas, G., Bados, A., Garcia-Grau, E., Salla, M., Medina, J. C., Montesano, A.,
Soriano, J., Medeiros-Ferreira, L., Canete, J., Corbella, S., Grau, A., Lana, F., & Evans, C.
(2016). Psychometric properties of the Spanish version of the Clinical Outcomes in Routine
Evaluation - Outcome Measure. Neuropsychiatric Disease and Treatment, 12, 1457–1466.
https://doi.org/10.2147/NDT.S103079
Uribe, M. (2008). Factores comunes e integración de las psicoterapias. Revista Colombiana de
Psiquiatría, 37(1), 14–28. https://www.redalyc.org/articulo.oa?id=80615420002

Practice Based Research With Psychologists in Training Presentation of A Supervision Model and Use of Routine Outcome Monitoring Investigaci N Basada

Uploaded by

Document Information

Original Title

Copyright

Available Formats

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Available Formats

Practice Based Research With Psychologists in Training Presentation of A Supervision Model and Use of Routine Outcome Monitoring Investigaci N Basada

Uploaded by

Copyright:

Available Formats

Studies in Psychology

ISSN: (Print) (Online) Journal homepage: https://www.tandfonline.com/loi/redp20

Practice-based research with psychologists-in-

Jorge Valdiviezo-Oña, Eduardo Granja, Alejandra Cuadros-López, Grace

To link to this article: https://doi.org/10.1080/02109395.2022.2132749

Published online: 05 Dec 2022. Submit your article to this journal

Article views: 56 View related articles

View Crossmark data

Full Terms & Conditions of access and use can be found at

Practice-based research with psychologists-in-training:

ABSTRACT ARTICLE HISTORY

29.4% del total de los consultantes mostró cambios confiables y

constructivist theoretical approach is used, from which knowledge is understood as

Training and supervision

Table 1. Definition of the continuous supervision areas in the CPA.

Clinical Outcomes in Routine Evaluation — Outcome Measure (CORE-OM; Evans et

Reliable and clinically significant change

Investigación basada en la práctica con psicólogos en

aplicando este paradigma en un centro universitario de atención psicológica en Ecuador

Modelo de atención y formación del Centro de Psicología Aplicada (CPA) de

procesamiento de las experiencias emocionales que se movilizan en los equipos

Tabla 1. Definición de los ámbitos de supervisión continua en el CPA.

trastornos mentales no graves (por ejemplo: ansiedad o depresión) y conflictos relacio­

Clinical Outcomes in Routine Evaluation — Outcome Measure (CORE-OM; Evans et

monitorización rutinaria de resultados y del uso del CORE-OM en el CPA, su importancia

Tabla 2. Puntuaciones de la primera ocasión en que se completó el CORE-OM.

La Figura 1 muestra un ajuste no lineal (LOESS) — que ignora la anidación dentro de

Cambio confiable y clínicamente significativo

gráfico permite observar quienes muestran cambios confiables, cambios clínicamente

esto, se procura acercar la investigación a la práctica clínica considerando la evidencia.

Disclosure statement / Conflicto de intereses

Data availability statement / Declaración de disponibilidad de datos

You might also like

trastornos mentales no graves (por ejemplo: ansiedad o depresión) y conflictos relacio