·Claves del sistema Integlado

de CaUdad educativa y formativa

Cerente de \aentasJ'de {!;elltificacion ruv Rheinland Iberica leT, SA Federico MalQica Director de Escalae

CALIDA
os centros educativos y formativos que han trabajado ya en materia de Calidad saben que basicamente se trata de reflexionar sobre los procesos, y una vez que estan estandarizados revisarlos con una dinamica de mejora continua a traves de la aplicacion del ciclo de la mejora 0 PDCA. La evaluacion de los procesos se realiza mediante indicadores que nos permiten evaluar sus resultados y su rendimiento. Pero para estandarizar las mejoras es necesario implantar un sistema de gestion, A nivel de un centro educativo, este sistema de gestion 10 proporciona la norma ISO 9001 de forma comun y logica como para cualquier otra organizacion; as! misrno, dicha norma se puede completar aplicando los criterios de interpretacion establecidos par la norma ISO 29990 para la formaci on, y el camino hacia la excelencia puede seguir los criterios del modele europeo EFQM. En este sentido, el concepto de Calidad esta llegando ya con fuerza en los centros educativos y formativos. Nadie niega ya que la Calidad orientada a la gestion de los procesos de la organizacion es necesaria porque "si seguimos haciendo 10 mismo obtendremos los mismos resultados", l,no es cierto? Sin embargo, a nivel de aula (entendido como el espacio donde se ensefia y se aprende): l,Quien proporciona los indicadores que perrniten detenninar cuando una practica profesional es mas 0 menos apropiada? l,Quien determina el sistema de gestion que permita evaluar los resultados, el rendimiento, y que pennita aplicar el ciclo de mejora en el aula? Una de las definiciones mas simples y realistas sobre la Calidad es Laque expresa Walter A. Shewart: "La Calidad es el resultado de la interaccion entre dos dimensiones: la dimension subjetiva (del cliente) y la dimension objetiva (10 que garantiza el producto 0 servicio)". Si podemos definir asi eI termino "Calidad", l,como se puede concebir la "Calidad educativa"? Vamos a analizarlo: l,Cuil es la dimension subjetiva en la educacion? l,Sera que la escuela este bien ordenada? l,Sera que tenga muchas relaciones con el entomo? l,Que sea una "escuela verde" 0 una "escuela 2.0"? Puede ser que sf, pero: l,que es 10 que cualquier usuario pide un centro educativo 0 formativo? Aprender. La dimension subjetiva tiene todo que ver con cumplir la promesa que hace el centro sobre las finalidades de aprendizaje del alumnado 0 participantes de la formacion, En cierto momento, los usuarios siempre se preguntan: "l,me cumpliran 10 que dicen que sabre, sabre haeer y sere cuando acabe la formacion?" Y l,cuat es la dimension objetiva en la educacion? i.Tal vez es ofrecer una organizacion adeeuada, llllas buenas instalaciones, un clirna de trabajo adecuado, unos procesos muy bien registrados? Puede ser que si, pero: l,que es 10 que cualquier centro educativo 0 formativo debe garantizar? Los resultados de aprendizaje. La dimension objetiva tiene todo que ver con garantizar en cada una de las unidades didacticas de todas las aulas, de todas las elases, de todos los cursos 0 programas, unos proeesos educativos que permitan obtener los resultados de aprendizaje prometidos en cada uno de los alumnos, alumnas 0 participantes de la formacion. Por 10 tanto, siguiendo a Walter A. Shewart, podriamos definir la Calidad educativa como "E! resultado de la interaccion entre dos dimensiones: la dimension subjetiva (los fines del aprendizaje) y la dimension objetiva (los resultados del aprendizaje) ". Teniendo esto en cuenta, cualquier sistema de Calidad educativa deberia hacer un recorrido desde el aula bacia la organizacion, garantizando los proeesos educativos como ya se garantizan los proeesos organizativos. Este enfoque supone que el servicio educativo 0 formativo este centrado en el aprendizaje, con modelos de gestion participativos y que integran la mejora continua como un proceso para satisfacer las necesidades educativas, mediante equipos profesionales docentes para llegar a que el alumnado reciba una educacion 0 formacion con resultados de aprendizaje adecuados a las finalidades educativas prometidas, De esta manera, podriamos reinterpretar los 8 Principios de excelencia (en que se basan los principales modelos de Calidad y excelencia a nivel mundial), de la siguiente manera: lDrientacion 2.0rientacion a los resultados de aprendizaje. a las finalidades educativas/formativas.

,

3.Liderazgo y coherencia con las finalidades educativas/formati vas. 4. Gestion por procesos y principios del aprendizaje. En especial los procesos elaves (de ensefianza/aprendizaje), 5.Desarrollo e implicacion de las personas, sobre todo las directamente relacionadas con la practica educativaJformativa. 6. Aprendizaje, innovacion y mejora continua en el aula. 7. Desarrollo de alianzas para reforzar los procesos educativos/formativos. 8. Responsabilidad social en coherencia con las finalidades educativas/formativas.

224/11

@5

Si introducimos estos principios en los sistemas de gestion de la Calidad y la excelencia actuales, veremos que se convierten en sistemas que ayudan a mejorar la Calidad educativa 0 fonnativa, as! como los resultados de aprendizaje. Estos principios de excelencia desde un enfoque educativo nos obligan a volver a la pregunta inicial sobre "l,quien proporciona los indicadores que permiten detenninar cuando una practica educativa/fonnativa es mas 0 menos apropiada?". Sabemos que los sistemas de gestion actuales no son capaces de proporcionar estos indicadores porque no profundizan en la finalidad del aprendizaje. Es por ello que se necesita una especificacion tecnica del sector para complementar estos sistemas, que contenga los indicadores sobre los procesos de ensefianza-aprendizaje y conformar asi un verdadero Sistema Integrado de CaLidad Educativa / Formativa (ver Figura 1): Segun estos principios y basandonos en los esquemas internacionales reconocidos podemos generar una sinergia entre eUos, por ejemplo, iniciando la gestion de procesos con Lanorma ISO 9001 0 la 29990, continuando la mejora continua segun estos principios y los del modelo Europeo de Excelencia EFQM y complementando estos dos sistemas con la Cali dad de la enseiianza-aprendizaje que proporciona Escalae, como especificacion tecnica del sector educativo / fonnativo enfocada claramente a los resultados de las finalidades educativas. A continuacion se muestra un paralelismo del modelo EFQM, los requisitos de las nonnas ISO 9001 Y la ISO 2990, con la necesidad de aplicar los indicadores de Escalae para el proceso clave de la enseiianza y aprendizaje, trabajando desde la dimension subjetiva mencionada de las finalidades del aprendizaje y el seguimiento-medida de la dimension objetiva de los resultados de aprendizaje.

ISO, EFQM, EQUIS, AUDIT, etc.

Centro i Escolar

•..•.••.•••..•... . ..... · ·
~

~~ •.......•

·..
• •

PROCESOS ORGANIZATIVOS

. ~.~~ ...•...............•. ~.;
1

•• '.

.

- •.
,

II

CaUdad educativa integr.ada
PROCESOS DE ENSEAANZA Y APRENDIZAJE
'II •••.....

·

• .jjI ••

Ii ...

1i.:''IIIIi

..•

""''iii .. ,. .-.'.

a· ....

.

Aproximacion del control de Calidad en la practica educativa ESCALAE Figura 1. Modele de Calidad Educativa integrado

3. Garantiza el trabajo de mejora continua en el aula (practica reflexiva, investigaci6n-acci6n, circulo de mejora continua) y por 10 tanto, la mejora de los resultados de aprendizaje. 4.Ayuda a dar mayor validez y utilidad a los documentos organicos de los centros (PEC, PCC, Estilo Metodologico, ideario, planes y programas ... ). 5. Mejora la participacion de agentes de apoyo exter no para la formaci6n docente, la asesoria pedagogic a y la consultoria educativa, dandole a dicha participaci6n un objetivo especifico, as! como un enfoque adecuado y aprovechable.

I

Conclusiones
Un sistema de gesti6n integrado de la Calidad educativa, con un enfoque desde el aula hacia la organizaci6n y una evaluaci6n unificada desde un punto de vista sistemico, es mucho mas potente y tiene varias utilidades para un centro educativo 0 formativo. Entre otras: l.Da fuerza al equipo directivo y a los docentes para impulsar el cambio, 2.Refuerza los sistemas de Calidad con sentido educativo.

En pleno siglo XXI queda claro pam practicamente todas las profesiones, que s610 es posible mejorar los resultados del trabajo, si estas se adaptan al cambio y aceptan dicho cambio como algo necesario para la mejora de forma continua, En este sentido, los centros de ensefianza no pueden ser la excepcion, ya que la sociedad cambia constantemente, as! como los retos a los que se enfrentaran todos los usuarios que en estos momentos estan en sus aulas. Adaptar los contenidos de 10 que se ensefia y cumplir a la par con los resultados de aprendizaje esperados por las pruebas nacionales y los estudios internacionales (como PISA), requiere que las entidades educativas y forrnativas implementen un proceso continuo de autorreflexi6n sobre su Calidad educativa y verifiquen si su practica profesional esta aportando los resultados esperados y satisfaciendo las expectativas de la sociedad presente y futura. 0

3~

224/11

CALIDA
Modelo de Excelencia EFQM Norma ISO 9001 :2008 Norma ISO 29990:2010 Especificacion Tecnica para la educaclon y la formacion: Escalae

1. Liderazgo Subcriterio 1a: 'Los directives'll mandos ir'ltermediEls desarrollan la misf6n, vision y vaJores del centro I unldad, at;luan de acueFdo ~Ofl ellos, impli<:an persQTlalmente eo garantizar el de£afFollo, implantaoi6n y mejora continua del sistema de gestion de su orl@nizacion.

5. Respollsabilidad

de la

direcci6n. La Polftica de CaUdad y la definioion del sistema de gestion.

3. Deter-minar las necesidades de aprendizaje: oen anteriorldad a afrecer sarviclos de a~rendilale. y para orientarestos eflcazmente, e1 proveedor de senliclo del aprendizaje aseguraraque Sea realizado un <loalisis de necesldades del aprendizaje.

Mediante el Plan Estrategico Pedag6gi'Go(peRI, se define una pontica de Calidad de ~a practica educativa que no es arbltrarla oi obedecea criterios personales-o lmposlctolles, sino que establ.ece un cambia basado en las finandades educativas del centro educativo y en el conocimiento dec6mo aprendemos las personas. Para la practlca educatfva, los responsables de la dlrecdon y los docentes del centro educativo participan enla elaboracion del (PEP) yel seguimiento de las Comunidades de Mejora.

Subcrtterlo 1b: los directives y rnandos intermedlos de la organtzacton se implican personalmente con dientes, partners y representantes de la sociedad en actividades de mejora

8.2.1.

Enfoque al

cllente

de la

1509001.

conlunta.

de las partes interesadas: EI Proveedor de Servicio del Aprendizale utjlizara sistemas para feedback de las partes lnteresadas en los servlclos de aprendizaje proporcionados, para analizar, responder y, cuando proceda, actuar en consecuencta, 1:1 Proveedor tendra un sistema para gestionar quejas y apelaciones, y 10 comuntcara a las partes interesadas.

4.10 Retroalimentaci6n

Sllbcriterio 1c: Los directivos y mandos intermedios de la organizacion motivan, apoyan y reconocen a las personas que trabaJan en

5.5.3. Y 5.1. Responsabilidad
autoridad, comunkaci0r:' intern a y competencia, formaoi6n y loma de concienc@.

V

:4.7. EIProveeqor
. del Aprendlzaje,

de Ser.vicios (luanda

·ella.

lJ(oceda, lmRfementa proced[mientos para informar Vconsulter Gonet personal y asociadas.

Toda la comunidad partidpa, Ii~erada por el equipo de directi6n, en la definicion de la funcion sactal de la ensei'ianza en el centro educative que sirve de referente para comenzar el proceso de CaUdad en las aulas (Ia praotica edutativa).

• Subcritefio 2: ; La estrategia Se funClamenta •en la siguiente informacion: ·e)(p~atjvas actuates y futuras ·de los grupos de usuartos 1 clientes, y medjdas del rendimlento, investigatiOn, aprendlzale y r:reatividad de la organization.

. Politica de Calid~d, ~Ianifioadon V objetivos.

4.2. Documentar un plan de negscio de acuerdo con las
practicas de planifitacl6n empresariaJes aceptadas.

Las JlOI(ticas ¥ estrategias de Ie practica educativa, el desarrollo
docenfe y la 0"ganlzacl6n escelar se basan en la ~romesa que se hace al alumnad'o de que perfn de comRetellClas tendrci at U!rminar la formacl6n en el centro, es decir, en las finalidades educativas desarrollsdas en el PEP.

224/11

1

Modelo de Excelencia EFQM

Norma ISO 9001 :2008

Norma ISO 29990:2010

Especfflcacion Tecnica para la educaclon y la forrnacion: Escalae Una vez estableCidas las fillalldades educativas como la piedra angular de la institl:lcrijn, se esrablec:e la metodologi'a c-.eman cdel centro educatlvo en funci6n de estos fines y de protocol os tecnico.s e indi:cadotes sabre las ,estrateglas didat>ticas mas adecuadas. Posteriormente, es el resultadp de las comunitlade.:; de rnelora de la practica educa'tiva y las auditorias intern as L externas que ofrel:el\informacion para 1£1 tame dEl, eajJ;iones sobre d acetones V el.!rategias a corto plazo.

,Subcriterie 2b:

PlanificaciCin del sistema.

; Desarro[lo, revision y :atttl3liz9cl6n de Ia estrategia.

4.3. EstabJece-ra protedimie:ntos para re'llisar, su sistema de admtnistraclon en interv~!IGS prevlstos, para asegurar su continl;lidad, adecuaclon y efectivitlad, incluy:endo las polfticas y los objetivos

re1aGIonados. Subcrlterto 2c:
Despllegue de la estrategia mediante un esquema de procesos clave ycomunicaci6n Requisitos generales de [a ISO 9001 deenfoque a procesos e implantation del sistema. 3.1.3. Contenido y procesos de aprendizaje: Ef contenido de aprendizaje y el proceso de aprendizaje tienen en cuenta las necesidades de cualquier

e Implantacion de la rnlsma.

parte interesada;
el contenido de aprendizaje y et proceso tienen en cuanta los resultados de aprendlzaje, gefiniic;lon de pracesos, pmcesos dave.

: Como el centro I servielo I ·unldad planifica, gestiona la .adeliU3lti6n del persgnal a sus neeesidades, 'i mejora la

i

Subcriterio 3a:

a Gestion
Humanos,

de los Recl:Jrsos

4.6 Gestian de Recursos fiumanos 4.6J. (ompetencias del personaJ V asociados del Proveedor; de 5ervicio.s del A;ptendizaje (PBA).

EIdiagn6stico y elabot;:lJ;ion del PEP afrece informacion ttltlV vaUosa sobre el perfi~1 comlletenClial del Qrofesorado, , ,: 10:que permite ajustar al
maximo los ,pJane.s de formadon de las mismos. Se fundamenta con
lndlcadores sobre los procesos de ensei'ianza yaprendizaje, la planiflcadon de la formation decente, el desarrollo de la practlca educativa y el apoye necesario para implementar las mejoras.

;gest?Jon de los reGursos
[humanos.
subcrfterto 3b:

Como el centro I servicio I unldad desarrolJa y mantiene
el conoclmlento y capacldad

Recursos humanos

y

responsabilidad y autoridad,

4.6.2 Evaluacion de las competencias del PSA, gestion del rendlrnlento y desarrollo
profeslonat.

desus recursos humanos,
practice la transferencla de autonomfa, y potentia Ia impllcacion y asuncion de responsabilidades por parte 'de las personas.

3~

224/11

1

CALID
Modelo de Excelencia EFQM Norma Norma

ISO 9001 :2008

ISO 29990:2010

Especificacion Tecnica para la educaci6n y la forrnacion: Escalae

Subcriterio 3c: Implication y torna de responsabilldades por; parte de las personas de la organtzaclon,

EIprofesorado tlene la oportunidad de desarroJlar sus competencias par... apllcar la rnetodologfa pedag6gica cornun del centro, reflexionar de mansra comparada y fundamentada soj}~e su practica eduea:tiva, y ser stlpervisado de manera ade€uada.
EI PEPpermite saber, de

Subcriterio 3d: Existencia de dlalogo y comunicaclon entre las personas de la organlzacion.

manera espaclflca y fundamentada, las practices educativas mas adecuadas. Por 10 tanto, permite un reconoclmlanto del profesorado que 10 hace as! y puede estar ligado a su carrara profeslonal ejerclendo de formador de formadores en la Comunidad de Mejora de su
centro.

4.Alianzas y recursos

Subcriterio 4a: Gestion de las ahanzas externas y los rscursos econ6micos y flnancieros.

Objetivos de CaUdad y resultados de mejora
continua, lnfraastructura,

cornpras, amblente de trabajo.

La gestton de las ahanzas externas, el inmueble, el equipamiento y toda la infraestructura daben ester al servlclo de las finalidades educatlvas y por tanto de los objett.vos, contentdos y la

metodologfa neeesaria para
ensel'iarles. Esta relacton [erarqulce queda establecida en el PEP. . Gesti60 de .10$1dit-Jcios, e equipos y materiales, Subcriterio 4c:
Gestion

Subcriterio 4b:

6.3. imfr.aestructuras .

de la tecnologla

4.8 Asignaci6n de recursos EI PSA asegl1rara que su personal y asociadas ;:lsi como los recursos de.aprendizaje estan selscclouados y

Ayuda a definir los requlsltos

necesarios en la infraestrllcctura {Inmuebte y
equipamienta! y los perfiles docentes. para cmmplir con la metodologfa pedag6gtca com un, O'esarrolla .Ios perfiles docentes a tr:aves de las comunidades de mejora.

V los

sistemas de informacion, conodrniento y de la propiedad intelectual,

desplegados, teniendo en cuenta cualquler necssldad espe~ffiGa, y que los recursos de aprendizaje tienen un maotenimiento adecuado.

224/11

@9

Modelo de Excelencia EFQM

Norma ISO 9001 :2008

Norma ISO 29990:2010

Especificaci6n Tecnica para la educaci6n y la formaci6n: Escalae

S.Procesos
I

!'subcriterio 5a:

! 7. Realizacion del pr.oduao,

3.2 Di.sef'lode los servlclos de

•Gestio" sl tematjca de los p_rocesos, y disei'io de eAtQS.
I

aprenp~zaje. ·3.2.1 Especifict:lcioa d e ~os abjetivos y aleanee de [QS

Subcriterio 5b: Como el centro / servicIo / unidad introduce las mejoras necesarias en los procesos mediante la creatlvldad y capacidad de mnovaclon del personal, para satisfacer a los cllentes y otros grupos de

lnteres, generandocada
mayor valor.

VeZ

Subcriterio 5c: Gestion y mejera de las telaclones CO.A los dlentes,

Apartado 7 de la normay 8.2.1 satisfacclon del cllente.

servic10s de aprendizaje. 3.2.2 tspeGificacion de medias de apoyo Y fi:ontrol de la :tranSferencla d~l aprendizaje. ·3.2.3 planificacion Cie centro. EI,diagn6stico queda Curriculo. establecldo en el PEP pero 5U 3.3Provi$ion de servicios de revisi6n pe~lQdica mediant~ ap'r.enl:li~je. 3.3.il.lnformacI6n y auditlJrfas e_s.necesa ria. Ademas, la Gestion de orienta cion. 3.3.2 Asegurar disponibiJidad y , ProyectQS Educativos permlte accesibilidad de aprender sisternatizar la melQra de 10 que se hace en las aulas. recursos. 3.33El entomc tie aprendizaje. I:a aerfificaci6n de la Calidad de los precesos de ensefianza y apr~!Jildizaje, donde se ve el 3.4 Controlando la entrega de los servicios de aprendlzaje . nlvel de desarro'llo del Plan de . mejora pedaS:QgIGa, permit:e 3.5 Evaluation IIeva d a a cabo reconocerel trabajo realizado por aprender proveedores de .servlcio per los dooentes, ademas de 3.5.1 objetivos de Evafuaci6n y ser un motleadcr para la satlsfacelen de los u5I:Jarlbs de alcance 3.5.2 Evaluaci6n del la fbrmacion y los grupos de aprendizaje ihteres. 3.5.3 Evaluacion del servicio de aprendlzaje,

En funcion de la coherencia e)(istente entre 10 que-se pretende ensetiar (abjetivos), como se enseaa en las aulas (metodologla) y como se inf(!)rma de su cumplimiento (evaltlat:fon) sa puede supervlsar, entertde~ ymejorar la 'PraGtiea edwcativa del

6.Resultados en 10$ clientes

,SuiScr;iterio 6.a: Medidas directas de la percepcion del
.cliente extarne.

8.2c.1sati.sfaceiOn del cliente.

·3.5 Evaluacion lIevada a cabo

I

gor los proveed0r.es de serviClo del aprendizaje . a.S.l1.objetivos de Evaluacion y
alliance. 3.5.2 Evaluadon del

Ayuda a pJaniftcar V lIevar a cabo las actilliaades de seguimiento, medici6n, analisls y mejc:)ra de la practlca educatlva en las aulas. Permite organlzar auditorias

Subcriterio 6b: Medidas lndirectas relacionadas can la percepclon del

8.2.1 satlsfaccton del cliente.

apJendizaje. 3.5.3 Evaluaci6n del servicio de aprendizaje.

perlodlcas de la practice
educatlva para observar la coherencia entre 18 rnetodologle/evaluaclon, los objetivos/contenidos y las finalidades educativas.

cllente externo.

t'

4~

'''III

I,

~

~'"

-

~

=-

CAL
Modelo de Excelencia EFQM Norma Norma

',~~t

.

.. ~ "
~~'

:~ ..
.;_

.. -.~

.

ISO 9001 :2008

ISO 29990:2010

Especificacion Tecnica para la educaci6n y la forrnacion: Escalae

7. Resultados en las personas Subcriterio 7a: Medidas directas relacionadas con la satlsfacelon de los profeslonales. Subcriterio 7b: Medidas indirectas relacionadas can la satisfaction de los profesionales.

6. Gestion de Recursos humanos, cornpetencla, formadon y tom a de conclenela, SatlsfaccioncUt! nte interno, mejoracQotioua.

4.6 Gestio" de Recursos
Humano.s. 4.6.1 Competencies del personal y asociados del Proveedor de Servicios del Aprendizaje (PSA).

En funCI6g de la cofieref)cia exlstente entre 10'que se pretenae ensenar (oQjetivos), como se ensena en las aulas (metodoJogfa) 'I tome se infonna de sucumplimiento (evaluacion) se puede supervlsar, entender y reconocer las pract:icas educatlvas mas adecuadas del centro educative j formativo. Tamblen se pueden conflgurar nj"eles profesionales para 10.5

docentes en funclon de su cap_acidad @i3r3 cumplirqon metodologia pedagqgica
cornun.

la

8. Resultados en la Sociedad
, Subcriterlo Ba:

Seguimiento

Medidas de percepdon

y medici6n en Ia ISO 9001) anallsls de datos

3.5 Evaluation Itevada a cabo
por los proveedores de

servieio del aprendlzaje

EI profesorado y los responsaales de una ofIDinizacion educativalPueden

Subcriterio 8b:
Indicadores de rendimlento

Seguimiento y medici6n en la ISO 9001, anal isis de datos

sar reconocidos por sus esfuerzos en la
,instituc·ionalizacion de las mejoras pedagogic.asde su centroeduc:ativo I formativo,

mediante certiflecrciones de la meJoni"de la CaUdady la exceleMla en los procesQsde enseFianza yaprendjzaje. 9. Resultados Claves Subcriterlo 9a:
Indic:adores economtcos del rendimtento de la organizaci6n AnalisJs de datos y revision par
180 4.9 audltQrlaslnternas El PSA establecera procedirnientos para audltorias

direction

bas resultados dave son los

(medidas de los resultados dave planificados por ta organizacl6n
y dependlendo del objeto y los objetivos de los mismos)
Subcriterio 9b:

internas, para verificar el c\.Implimiento dela ISO 29990 Y

que
Analisis de datos y revision par
la direcclon.

el

Sistema de

resultados de los procesos de eFlsenanza y,aprendizaje, que puedeJ'l ser medldos 'If mejorados en funclon de un
PEPy de trabajo constante en Comunidades de Mejora.

Indicadores del rendimiento de la organlzacion, Son las medidas operativas que utiHza la organlzacion Para supervisar, entender, prever y mejorar los probables resultados clave del rendirniento de.la misma.

administradon esta siendo eflcazmente implementado y mantenido. 04:10 RetrQalimentacl6n de las partes interesadas EI PSAutilizara sistemas parala retroalh:nentaci6n constante de los intereses de las partes en los servldos de aprendizaje preporctonados,

224/118-

1

Sign up to vote on this title
UsefulNot useful