Monitorizacin de redes y

servicios en RECETGA
Caso prctico de implementacin de Zabbix como servidor
de monitorizacin de red en RECETGA
Una herramienta de monitorizacin de redes y servicios ayuda a los departamentos de IT
de empresas y proveedores de servicios a mejorar su productividad, as como a incrementar el
tiempo de disponibilidad o SLA de sus servicios. Todo esto redunda en una mejor eperiencia de
uso del usuario !inal de los mismos.
Una in!raestructura de monitorizacin "ue incluya soporte #$% contribuir& a "ue todos los
incidentes catalo'ados sean detectados, priorizados, escalados y resueltos e!icientemente en la
menor brevedad de tiempo posible, resultando en un menor tiempo de resolucin de incidencias y
permitir& reducir los costes de soporte de nivel (, asociados a la 'estin de estos servicios.
)ste documento o!rece un an&lisis en detalle de la implantacin del nuevo servicio de
'estin y monitorizacin de la in!raestructura de red de comunicaciones de la *ed de +iencia y
Tecnolo'a de ,alicia -*)+)T,A..
Frco. Javier Rial Rodrguez, Tcnico de Comunicaciones CESGA. 3 aos
como oerador del !"C CESGA # desarrollador$imlemen%ador de la nueva
in&raes%ruc%ura de moni%orizaci'n del CESGA (asada en )a((i*
+&,rial-cesga.es.
Monitorizacin de redes y servicios en RECETGA
-Caso prctico de implementacin de Zabbix como NC-
ndice de contenidos
( Introduccin ................................................................................................................................/
(.( 01u2 es *)+)T,A3.................................................................................................. /
(.# )s"uema de red *)+)T,A y +)S,A......................................................................../
(./ )l sistema de monitorizacin previo de *)+)T,A.....................................................$
(.$ Servicios monitorizados.............................................................................................. $
# )stado del arte de sistemas de monitorizacin...........................................................................4
/ Implementacin del sistema de monitorizacin...........................................................................4
/.( 5uncionalidades b&sicas............................................................................................. 4
/.# 5uncionalidades mejoradas........................................................................................%
/.#.( 6ropias de 7abbi................................................................................................%
/.#.# 8esarrolladas por +)S,A...................................................................................%
/./ 5uncionalidades de 7abbi como herramienta de soporte al 9:+.............................;
/./.( 5uncionamiento b&sico .......................................................................................;
/./.# 5uncionamiento avanzado...................................................................................<
/./.#.( ,estin S9=6.............................................................................................<
/./.#.# Alta disponibilidad ->A...............................................................................(?
/./.#./ ,eneracin de in!ormes.............................................................................((
/./.#.$ Inter!az de pro'ramacin de aplicaciones -A6I..........................................(/
/./.#.@ 6rocesador de T*A6s S9=6....................................................................(@
/./.#.4 Inte'racin con el sistema de 'estin de incidenciasA *e"uest TracBer.....(4
/./.#.% +)S,A C9=S D +liente para mviles.......................................................(4
/.$ *e"uerimientos hardEareFso!tEare...........................................................................(;
$ +onclusiones.............................................................................................................................##
Control de cambios
Cersin Autor +ambios
v ? 5rancisco Gavier *ial *odr'uez *edaccin inicial del documento.
v ( 9atalia +ostas La'o *evisin del documento.
v # 5rancisco Gavier *ial *odr'uez *evisin del documento.
)9TI8A8
+)*TI5I+A8A
U9)H)9HIS:
<??(
ActA (/F(#F(#
6&'
Monitorizacin de redes y servicios en RECETGA
-Caso prctico de implementacin de Zabbix como NC-
1 Introduccin
1.1 u! es RECETGA"
*)+)T,A
(
es una in!raestructura de conectividad de alta capacidad 'estionada por
el +)S,A "ue dota de servicios de comunicaciones a la comunidad acad2mica y de
investi'acin de ,alicia. *)+)T,A tambi2n !acilita el acceso a los servicios o!ertados por
los propios centros de investi'acin inte'rantes de *)+)T,A -servicios de
almacenamiento, computacin y ,IS del propio +)S,A, a in!ormacin meteorol'ica de
=eteo'alicia, etc.....
1.# Es$uema de red RECETGA y CE%GA
A continuacin epondremos, a 'roso modo, las caractersticas de la red a
monitorizarA La red re'ional de investi'acin -*)+)T,A. y la red interna del +)S,A.
Un es"uema de la red y del montaje de la in!raestructura sera el si'uiente, ya con los
servidores de monitorizacin en su IubicacinJ actualA
( 6ara m&s in!ormacinA httpAFFEEE.ces'a.es K In!raestructuras K +omunicaciones K *)+)T,A
)9TI8A8
+)*TI5I+A8A
U9)H)9HIS:
<??(
ActA (/F(#F(#
6&' (
Monitorizacin de redes y servicios en RECETGA
-Caso prctico de implementacin de Zabbix como NC-
La red *)+)T,A se compone de distintos rou%ersFs/i%c0es de acceso de centros
ubicados en las sedes de los mismos y en puntos intermedios entre la red del centro destino
y la red +)S,A.
)n la parte de red interna del +)S,A nos encontramos con e"uipos de
conmutacinFrou%ing "ue permiten el acceso a la red 12C -1ig0 2er&ormance Comu%ing. y
los diversos e"uipos de conmutacinFrou%ing "ue dan acceso a los restantes servicios
+)S,AA 'ranja de servidores de virtualizacin, cloud, 0ousing, 0os%ing, videocon!erencia
>/#/, &ire/all de acceso, etc...
1.& El sistema de monitorizacin 'revio de RECETGA
*)+)T,A dispona desde hace aLos de un sistema de monitorizacin de red
desarrollado a lo lar'o de varios aLos. 8icho sistema tena como !inalidad Mltima la
monitorizacin del estado de la red, de los distintos servicios o!ertados y del estado de
conectividad de los distintos centros "ue constituyen *)+)T,A. Siendo, adem&s, un punto
de in!ormacin centralizada, donde poder 'enerar in!ormes de estado de la red, consultar
estadsticas, SLAs, 'r&!icas, altaF'estin de e"uipos de conmutacinFrou%ing, etc.
)ste servidor de monitorizacin inicial dispona de unas caractersticas propias "ue
hacan di()cil su ada'tacin al status quo 'resente y (uturo de la red* sus
!uncionalidades se obtenan en base a la implementacin de muchas y variadas
herramientas, pro'ramadas en distintos len'uajes de pro'ramacin -6erl, 6ython, +NN,
6>6, s0ell scri%s. y en las cuales se haban llevado a cabo diversas modi!icaciones para
acomodarlas al entorno de *)+)T,A en su planteamiento ori'inal.
Todo esto complicaba la actualizacin de cada una de estas herramientas a
versiones m&s modernas y "ue soportasen nuevas caracter)sticasA 32v4,
autodescubrimiento de servicios, monitorizacin distribuida, servicios Eeb #.?,
monitorizacin de otros elementos -TRA2s, etc..
Ante esta problem&tica, sur'e la necesidad de desarrollo de un nuevo servidor
de monitorizacin "ue ten'a las !uncionalidades del anterior, solvente sus problemas y
dote al mismo de !uncionalidades de acuerdo a las nuevas y !uturas necesidades de la red.
1.+ %ervicios monitorizados
)l +)S,A, tradicionalmente, ha visto la necesidad de monitorizacin de sus
servicios con el !in de medir la calidad de los mismos, tanto en a"uellos destinados al
usuario !inal, como para evaluar el correcto !uncionamiento de sus servicios internos.
)9TI8A8
+)*TI5I+A8A
U9)H)9HIS:
<??(
ActA (/F(#F(#
6&' #
Monitorizacin de redes y servicios en RECETGA
-Caso prctico de implementacin de Zabbix como NC-
)ste en!o"ue se ha visto re!orzado a raz de la introduccin de diversos cambios en
la 'estinFevaluacin de los procedimientos de calidad, en los cuales se !ijan indicadores
"ue permiten evaluar el 'rado de nivel de servicio proporcionado por el +)S,A a sus
usuarios, y, en particular, el la concrecin de los niveles de S5A para el servicio de
conectividad de red "ue se le da a los mismos.
6or todos estos motivos, se monitorizan diversidad de elementos, clasi!ic&ndose
principalmente en los 'rupos "ue se indican a continuacinA monitorizacin de RECETGA
-a!ectan a las S5A., monitorizacin de e$ui'amiento de red interno y monitorizacin de
servidores,servicios -de usuario o internos..
Los servicios de monitorizacin de RECETGAA
9odos de red troncal
)stado de conectividad del nodoA ing y latencia
)stado de conectividad de los distintos enlaces "ue dan servicio al
nodo
O 8isponibilidad -SLA
1
. del nodo
)nlaces de red troncal
)stado de conectividad del enlaceA cado o levantado
Tr&!ico de entrada salida del enlace.
O 8isponibilidad -SLA. del enlace
+entros conectados a *)+)T,A
)stado de conectividad del centroA ing y latencia
)stado de conectividad de los distintos rou%ersFs/i%c0es y enlaces
entre rou%ers "ue con!orman la conectividad del centro
Tr&!ico de entrada salida del centro y de los distintos enlaces.
O 8isponibilidad -SLA. de estos servicios
Los servicios de monitorizacin de e$ui'amiento de red internoA
)stadsticas S!62 de tr&!ico de entradaFsalida todos los inter!aces de red de
los rou%ers
*ecepcin de TRA2s de los e"uipos de red
Salud del e"uipamientoA si est& cado o levantado, estado de !uentes,
temperatura, memoria,+6U,...
Los servicios de monitorizacin de servidores,serviciosA
)stado 'eneral de la m&"uina -disco, procesos, usuarios conectados, etc.. y
de sus servicios -/e(, bases de datos, email, +I5S, 95S, etc..
( SLA en PiBipedia
)9TI8A8
+)*TI5I+A8A
U9)H)9HIS:
<??(
ActA (/F(#F(#
6&' /
Monitorizacin de redes y servicios en RECETGA
-Caso prctico de implementacin de Zabbix como NC-
# Estado del arte de sistemas de monitorizacin
6ara el desarrollo e implementacin de la nueva herramienta de !"C, se procedi a
un estudio previo del arte en el &mbito de las soluciones de monitorizacin de red eistentes
para encontrar a"uella solucin "ue, teniendo licencia G25 -re"uisito obli'atorio para su
posterior adaptacin., nos permitiese cubrir la m&s amplia 'ama de !uncionalidades
eistentes en el Ianti'uo portal de !"CJ y adem&s nos !acilitase la incorporacin de otras
nuevas.
8urante la eleccin de la herramienta, se procedi a la evaluacin de las si'uientes
soluciones de monitorizacinA 9a'ios, :pen9=S, 6andora 5=S, +acti, ,an'lia, 7enoss y
7abbi, resultando ele'ida como solucin m&s ptima, esta Mltima, -abbi..
La solucin implantada consta de un servidor y a'entes pro'ramados en +NN
-instalables en casi cual"uiera S.:.., un inter!az Eeb 6>6 y una base de datos =yS1L.
& Im'lementacin del sistema de monitorizacin
A raz del an&lisis de re"uisitos preliminar, as como de las di!erentes !uncionalidades
"ue se han ido aLadiendo por las di!erentes mi'raciones acaecidas en la red, de las
necesidades de obtencin de unos nuevos indicadores de medida y de la mejora de
procesos para la deteccin y resolucin de incidencias m&s e!iciente, se han implementado
una serie de !uncionalidades "ue indicamos a continuacinA
&.1 /uncionalidades b0sicas
8ado "ue el nuevo servidor de monitorizacin reemplazaba a un servicio ya
eistente, era de esperar "ue 2ste contase, al menos, con las !uncionalidades del ori'inal
"ue !uesen consideradas de inter2sA
(. =onitorizacin b&sica de e"uipos 0ard/are, enlaces -coneiones de red entre
puntos., nodos de red troncal y centros conectados a *)+)T,A.
#. Incorporacin de monitorizacin avanzada de medidas de latencia y obtencin
de datos de tr&!ico para e"uipos, enlaces, nodos y centros mediante SNMP
1
.
/. )nvo de alertas por correoHe y mensajes S6S a los t2cnicos de soporte tanto
del +)S,A como de los centros conectados.
$. Incorporacin de paradas pro'ramadas ante posibles mi'raciones,
actualizaciones, mantenimientos preventivos de los servicios, sin a!ectacin a su
S5A 7ocional8.
( S9=6 en PiBipedia
)9TI8A8
+)*TI5I+A8A
U9)H)9HIS:
<??(
ActA (/F(#F(#
6&' $
Monitorizacin de redes y servicios en RECETGA
-Caso prctico de implementacin de Zabbix como NC-
@. Inte'racin con el sistema de 'estin de incidencias del +)S,A -Re9ues%
Trac:er. con!i'urable para permitir la cate'orizacin y asi'nacin autom&tica de
las incidencias
4. ,eneracin y consulta de 'r&!icas, estadsticas e in!ormes.
&.# /uncionalidades me1oradas
&.#.1 2ro'ias de -abbi.
Adicionalmente se incorporaron !uncionalidades propias de la herramienta 7abbi
"ue se determinaron como interesantes para el +)S,A.
(. =onitorizacin de serviciosA
An&lisis y reemplazo del so!tEare !agios, utilizado para la
monitorizacin de la plata!orma de 0os%ing del departamento, basada
en servidores de m&"uinas virtuales QenFRC=.
Incorporacin a la monitorizacin de los servidores de 0ousing
internoFeterno as como los servicios "ue estos servidores puedan
tener.
#. 8esFhabilitar el envo de alertas para incidenciasFelementos concretos mediante
inter!az /e(.
/. ,estin de alertas basadas en los TRA2s recibidos de los e"uipos 0ard/are.
$. )scalado de incidencias en caso de no respuesta del t2cnico de soporte pasado
un determinado tiempo.
@. ,estin de usuariosA
,estin de usuarios y permisos de acceso -lecturaFescritura. en
los distintos elementos monitorizados, tanto para t2cnicos +)S,A
como para los t2cnicos de los centros conectados a *ecet'a.
4. 6ersonalizacin independiente del tiempo de monitorizacin de cual"uier i%em.
Anteriormente, el perodo de monitorizacin era de @ minutos. Actualmente, la
monitorizacin se lleva a cabo cada # minutos en 'eneral.
%. 6osibilidad de monitorizacin de cual"uier m2trica o elemento de la red.
&.#.# 3esarrolladas 'or CE%GA
5inalmente, con el !in de optimizar los procesos de deteccin de incidencias, de
o!recer mayor visibilidad al usuario !inal de los servicios prestados y de mejorar la
productividad del !"C se aLadieron otras !uncionalidades, indicadas a continuacinA
)9TI8A8
+)*TI5I+A8A
U9)H)9HIS:
<??(
ActA (/F(#F(#
6&' @
Monitorizacin de redes y servicios en RECETGA
-Caso prctico de implementacin de Zabbix como NC-
(. :ptimizacin para una incorporacin sencilla y r&pida de nuevos e"uipos "ue
incluye autodescubrimiento de inter!aces de red en rou%ers, 'eneracin
autom&tica de pantallas de visualizacin, autoHactualizacin diaria de todos los
elementos monitorizados de los rou%ers -inter!aces, ;5A!s, etc....
#. ,eneracin autom&tica de in!ormes de indicadores de calidad del +)S,AA
Incidencias de red mayores de #$ horas,
S5A de los centros conectados, tr&!ico trans!erido -medias,
m&imos de tr&!ico de entradaFsalida por mesFaLoFperodo concreto..
,eneracin de los in!ormes en distintos !ormatos -html, odt, doc y
pd!. y archivado autom&tico de los mismos en 'estor documental
Al!resco.
/. :trasA
Inte'racin del !"C dentro del nuevo portal Eeb del +)S,A
'racias a la potente A6I de )a((i*.
AuditoraFre'istro de actividades de usuario del !"C
ImportacinFeportacin de datos en <65
,eneracin de mapas de red mediante la inte'racin de la
herramienta I/ea%0ermaJ.
&.& /uncionalidades de -abbi. como 4erramienta de
so'orte al 56C
)n esta seccin eplicaremos en detalle, todas las caractersticas del servidor de
monitorizacin 7abbi instalado en el +)S,A as como sus principales !unciones y
caractersticas.
&.&.1 /uncionamiento b0sico
)l !uncionamiento b&sico de 7abbi es el si'uienteA
)l servidor monitoriza por S!62 todo rou%er$s/i%c0 dado de alta, y realiza
comprobaciones de ing y latencia.
)l servidor tambi2n procesa todos los ITRA2sJ 'enerados por los mismos.
Los a'entes monitorizan las m&"uinas !sicas o virtuales y sus servicios y
envan los datos al servidor de monitorizacin "ue se encar'a de evaluarlos.
Los distintos servicios tiene con!i'urados ImonitoresJ -o %riggers. "ue evalMan
los datos reco'idos -i%ems o monitores.. Si se cumplen determinados
par&metros 2stos ejecutan -o no. accionesA
)nviar e=mails de aviso
)9TI8A8
+)*TI5I+A8A
U9)H)9HIS:
<??(
ActA (/F(#F(#
6&' 4
Monitorizacin de redes y servicios en RECETGA
-Caso prctico de implementacin de Zabbix como NC-
)nviar S6S de aviso
)scalar las acciones en caso de "ue el t2cnico de soporte de primer
nivel no deje constancia de recibir el mensaje de aviso.
:tras
)l servidor /e( 'enera todas las pantallas de visualizacinFin!ormesFetc.
autom&ticamente en base a tareas pro'ramadas o bajo demanda.
&.&.# /uncionamiento avanzado
)n esta seccin eplicaremos el !uncionamiento m&s avanzado de 7abbi como
!"CS pero desde un punto de vista m&s t2cnico.
3.3.>.? ,estin S9=6
S!62 -Simle !e%/or: 6anagemen% 2ro%ocol. es un protocolo est&ndar para la
'estin de dispositivos de red. Al'unos de los dispositivos "ue son compatibles con S!62
son rou%ers, s/i%c0es, servidores, etc..
+ada !abricante 0ard/are implementa a"uellas variables S!62 "ue considera de
inter2s en su 0ard/are. La in!ormacin "ue se puede obtener est& de!inida en un archivo
denominado 63@, "ue describe la estructura de los datos S!62 de un determinado
dispositivo. +ada dato tiene una representacin num2rica u "3A en el 63@ del dispositivo en
concreto.
6ara monitorizar los "3As en 7abbi, hay "ue darlos de alta manualmente uno a
uno, se'Mn la in!ormacin "ue interese obtener.
)l trabajo de alta de elementos S9=6 a monitorizar puede ser tedioso, se'Mn la
cantidad de elementos "ue deseemos monitorizar.
6ara solventar estos problemas, se desarrollaron una serie de scri%s "ue eploran
el 0ard/are a monitorizar y "ue crean autom&ticamente el dispositivo y sus elementos en
7abbi, mediante la importacin de un archivo Q=L con su de!inicin.
Todos los rou%ers y s/i%c0es desple'ados en el +)S,A est&n monitorizados por
S!62, en concreto, se monitorizan los si'uientes par&metrosA
9ombre y descripcin de todos los inter!aces de red
Tr&!ico de entradaFsalida de los inter!aces de red
)stado del puerto
8ireccionamiento I6 asi'nado -si tiene.
Tiempo desde el Mltimo reinicio.
)9TI8A8
+)*TI5I+A8A
U9)H)9HIS:
<??(
ActA (/F(#F(#
6&' %
Monitorizacin de redes y servicios en RECETGA
-Caso prctico de implementacin de Zabbix como NC-
6osteriormente, una tarea pro'ramada # veces al da, ejecuta los scri%s de
eploracin del 0ard/are ya monitorizado, creando un nuevo Q=L con su de!inicin y, si
2ste di!iere del anterior, actualiza el e"uipo monitorizado aLadiendo los nuevos elementos
disponibles. )sta tarea tambi2n se puede ejecutar bajo demanda desde el inter!az de
7abbi.
8e esta manera, todos los inter!aces de red de los rou%ers y s/i%c0es est&n siempre
monitorizados, independientemente de cambios en los mismos.
+on estos elementos de monitorizacin incorporados en 7abbi, posteriormente se
de!inen los enlaces de red y los centros. )l tr&!ico de cada uno de estos elementos ser& el
tr&!ico del inter!az de red "ue corresponda.
3atos num!ricos*
Total elementos monitorizados 'or -abbi.* 1788#
3el total9 elementos SNMP* 1&:8:
3el total de elementos SNMP9 cada # minutos* ;1<7
+on estos datos en mano, el rendimiento m)nimo $ue necesita el servidor, es
decir, el n=mero de elementos a monitorizar 'or se>undo asciende a un total de :7988.
3.3.>.> Alta disponibilidad ->A.
La in!raestructura de monitorizacin se compone de dos m&"uinas virtuales 7abbi
-primario, secundario. "ue monitorizan constantemente todos los servicios. +ada una de
estas m&"uinas dispone de los servicios necesarios para poder !uncionar de !orma
autnoma. )s decir, cada una cuenta con su propia base de datos, su servidor Eeb, etc.
Se puede considerar una in!raestructura en alta dis'onibilidad activo?activoA los
dos monitorizan al mismo tiempo los mismos elementos. Ambos 7abbi tienen la misma
copia de la base de datos de elementos a monitorizar, eventos y acciones.
2roblemas y su solucin
3u'licidad de alertas recibidasA como ambos 7abbi tienen con!i'uradas
las mismas acciones, ambos podran enviar las alertas, por lo "ue se
recibiran alertas duplicadas. 6ara solucionar esta problem&tica, se con!i'ur
lo si'uienteA
)l servidor primario tiene las acciones habilitadas para el envo
)9TI8A8
+)*TI5I+A8A
U9)H)9HIS:
<??(
ActA (/F(#F(#
6&' ;
Monitorizacin de redes y servicios en RECETGA
-Caso prctico de implementacin de Zabbix como NC-
)l servidor secundario tiene las acciones deshabilitadas para evitar el
envo
)ntre ellos se con!i'ur un 0ear%=(ea% "ue monitoriza el estado de
cada uno de ellos, para activar o desactivar las acciones en uno u
otro se'Mn corresponda.
# %ervidores y bases de datos inde'endientesA la alta de nuevos
elementos a monitorizar solo se produce en el servidor primario, es decir,
solo se usa el inter!az /e( del servidor primario, "ue a su vez inserta los
datos en su propia base de datos. 6ara solucionarlo, cada vez "ue se
insertas nuevos e"uipos 0ard/are a monitorizar -rou%ers, s/i%c0es,
servidores, etc.... procedemos a realizar una sincronizacin de los archivos
de la base de datos del servidor primario al secundario. )sto implica una
parada de los servicios de monitorizacin de la m&"uina secundaria durante
el tiempo de la copia, pero mientras el servidor primario si'ue !uncionando
correctamente.
)l tiempo medio de esta parada es, actualmente, de unos pocos minutos
para el copiado de los datos de un aLo -(?,T apro... 6osteriormente, se
arranca el servidor de =yS1L del servidor secundario "ue hace un che"ueo
de inte'ridad de los datos y una vez !inalizado, se arrancan de nuevo los
servicios.
)sto slo es !actible de realizar, si el motor de la base de datos es =yISA=,
ya "ue este motor no es transaccional, al contrario "ue Inno8T. Una base de
datos Inno8T no se puede copiar con la base de datos en ejecucin, por"ue
la mayora de las veces, la comprobacin de inte'ridad de Inno8T !allar&
provocando "ue no se pueda acceder a datos yFo tablas de la base de datos.
:tra posible solucinA con!i'urar 7abbi en >A pero con el servidor de
=yS1L en modo =&sterH=&ster.
3.3.>.3 ,eneracin de in!ormes
)n el +)S,A disponemos de indicadores de calidad "ue miden el cumplimiento de
nuestros SLAs. )stos indicadores miden, por ejemplo, la disponibilidad de los nodos de la
red troncal y de los enlaces "ue la constituyen, as como la disponibilidad de la conein de
los centros conectados a *)+)T,A -cate'orizados se'Mn el nMmero de usuarios del
centro. y de cada uno de sus enlaces de acceso.
)9TI8A8
+)*TI5I+A8A
U9)H)9HIS:
<??(
ActA (/F(#F(#
6&' <
Monitorizacin de redes y servicios en RECETGA
-Caso prctico de implementacin de Zabbix como NC-
6or ello, es necesario la obtencin de in!ormes "ue nos permitan evaluar el 'rado de
cumplimiento de los mismos.
7abbi en su con!i'uracin por de!ecto tambi2n dispone de un mdulo para la
'eneracin y visualizacin de in!ormes pero "ue se limita b&sicamente a medir la
disponibilidad de un determinado servicio. )n el +)S,A necesit&bamos una herramienta
m&s completa "ue nos permitiese visualizar r&pidamente el estado de cumplimiento de
nuestros objetivos e indicadores.
+on esto en mente, se elaboraron diversos desarrollos en 6>6 "ue permiten simular
la a're'acin !sica y l'ica de los distintos subHservicios "ue componen el servicio
principalA la conectividad a *)+)T,A de un centro.
)stos desarrollos permiten medir la disponibilidad de cada uno de los servicios
b&sicos de !orma independiente con el !in de a're'arlos y calcular la disponibilidad del
servicio !inal para su posterior visualizacin.
Adem&s, se pueden eportar los in!ormes en !ormato 685 mediante la librera
8om685
(
, inte'rada en 7abbi a tal e!ecto.
( 6&'ina o!icial de 8om685
)9TI8A8
+)*TI5I+A8A
U9)H)9HIS:
<??(
ActA (/F(#F(#
6&' (?
3lus%raci'n ?B 3n&orme de S5A
Monitorizacin de redes y servicios en RECETGA
-Caso prctico de implementacin de Zabbix como NC-
Adicionalmente, estos in!ormes, se 'eneran mensual yFo trimestralmente -o bajo
demanda., son almacenados por el 9:+ y a're'ados a nuestro 'estor documental
-Al!resco., in!ormando al coordinador del &rea de la disponibilidad de los mismos para su
consulta.
3.3.>.C Inter!az de pro'ramacin de aplicaciones -A6I.
8e!inicin de A6I de la PiBipedia
(
A
I3n%er&az de rogramaci'n de alicaciones 732A8 o A23 7del ingls Alica%ion
2rogramming 3n%er&ace8 es el con,un%o de &unciones # rocedimien%os 7o m%odos,
en la rogramaci'n orien%ada a o(,e%os8 9ue o&rece cier%a (i(lio%eca ara ser
u%ilizado or o%ro so&%/are como una caa de a(s%racci'nD
Una de las caractersticas m&s importantes en la decisin de la eleccin del so!tEare
de monitorizacin, !ue la eistencia de una API en -abbi.
#
-desde la versin (.;.. La A23
permite la consulta, modi!icacin, alta de casi cual"uier elemento monitorizado -0ard/are,
servicio, enlace de red, etc... desde cual"uier aplicacin eterna a 7abbi y pro'ramada en
un len'uaje "ue sea compatible con @%65
&
-la mayora..
8e esta manera, se pro'ramaron distintas p&'inas 6>6 inte'radas en la Eeb del
+)S,A "ue o!recen la posibilidad de consultar 'r&!icas de estado, tr&!ico de los centros,
car'a de los servidores, etc. a los clientes !inales del +)S,A.
)n la p&'ina si'uiente, se pueden ver dos capturas de pantalla de la visualizacin
o!recida a trav2s de la Eeb del +)S,A.
( A6I en la PiBipedia
# 8ocumentacin de la Api de 7abbi
/ GS:9 en la PiBipedia
)9TI8A8
+)*TI5I+A8A
U9)H)9HIS:
<??(
ActA (/F(#F(#
6&' ((
Monitorizacin de redes y servicios en RECETGA
-Caso prctico de implementacin de Zabbix como NC-
)9TI8A8
+)*TI5I+A8A
U9)H)9HIS:
<??(
ActA (/F(#F(#
6&' (#
3lus%raci'n >B 6oni%orizaci'n Ee( CESGA = Es%ado
3lus%raci'n 3B 6oni%orizaci'n Ee( CESGA = GrF&icas de moni%orizaci'n
Monitorizacin de redes y servicios en RECETGA
-Caso prctico de implementacin de Zabbix como NC-
3.3.>.G 6rocesador de T*A6s S9=6
)l 'rocesador de TRAP im'lantado en -abbi.
(
es un servicio pro'ramado en 6erl
para el procesado de los TRA2 ori'inados por los diversos rou%ers monitorizados. Un TRA2
es un mensaje 'enerado, normalmente, por un e"uipo de red -rou%er$s/i%c0. ante una
incidenciaFevento detectada por el propio e"uipo, como puede ser, una nueva desFconein
!sica al mismo, una subida de temperatura por encima de los umbrales con!i'urados, un
cambio en la topolo'a de la red, un cambio en la con!i'uracin, un intento de acceso !allido,
etc. )l TRA2 es enviado al servidor de procesado de los mismos -en este caso 7abbi..
Un TRA2 es 'enerado con I6 de ori'en la del disosi%ivo 9ue lo enva. 7abbi realiza
la correlacin de esta I6 ori'en con el e"uipo monitorizado por el mismo y aLade la
in!ormacin a un i%em de monitorizacin.
)n base al teto recibido en el TRA2, se pueden crear epresiones re'ulares "ue
cumplan una o varias condiciones para ejecutar diversas acciones.
La con!i'uracin actual de 7abbi en el +)S,A nos permite noti!icar a"uellos
TRA2s m&s relevantes -lin:u, lin:do/n, cambios en las sesiones de T,6, etc.., as como
re'istrar cual"uier otro TRA2 recibido del 0ard/are. +ada tipo de e"uipamiento enva
TRA2s en !uncin de sus eventos particulares -cabinas de almacenamiento in!orman del
estado de los discos, los !ireEall noti!ican intentos in!ructuosos de inicio de sesin de ;2!,
etc.., es necesario un an&lisis preliminar para identi!icar a"uellos TRA2s "ue son de inter2s
en cada desplie'ue.
)l servicio se compone de un scri% principal "ue contiene la l'ica del servicio y dos
archivos de con!i'uracinA
(. Uno contiene epresiones re'ulares de TRA2s "ue no son interesantes para
el administrador y por tanto se procede a su inmediata eclusin
#. )l otro relaciona de !orma directa una I6 -ori'en del TRA2. con el nombre de
un e"uipoFservicio en la instalacin de 7abbi. )ste e"uipo ser& el "ue reciba
la in!ormacin del TRA2 como propia.
)l scri% principal recibe el TRA2 y si cumple las condiciones, lo inserta a 7abbi
usando el ejecutable IzabbiUsenderJ "ue provee 7abbi.
6osteriormente, si el mensaje del TRA2 coincide con al'una de las epresiones
re'ulares monitorizadas, se ejecuta la accin correspondiente.
( 8ocumentacin del 6rocesador de Traps
)9TI8A8
+)*TI5I+A8A
U9)H)9HIS:
<??(
ActA (/F(#F(#
6&' (/
Monitorizacin de redes y servicios en RECETGA
-Caso prctico de implementacin de Zabbix como NC-
3.3.>.4 Inte'racin con el sistema de 'estin de incidenciasA *e"uest
TracBer
Una de las caractersticas principales de un !"C es la 'estin de las incidencias.
7abbi tiene un 'estor b&sico de incidencias, donde un usuario puede tomar anotaciones
sobre la misma yFo recibir respuestas de la incidencia. )l +)S,A ya dispona de una
herramienta espec!ica de 0eldes: para la 'estin de incidenciasA Re9ues% Trac:er
(
-o
*T..
9o vamos a entrar a eplicar el !uncionamiento del so!tEare *T. Simplemente indicar
"ue permite al +)S,A una 'estin avanzada de las incidencias siendo, en este caso, la
herramienta principal para la 'estin de las mismas. 6or eso, el 7abbi deba inte'rarse con
el *T, al i'ual "ue lo haca su predecesor.
6ara ello, 7abbi nos proporciona una 'estin muy e!icaz de las alertas y las
acciones "ue conlleva cada una, pudiendo asociar distintas acciones -crear incidencia en el
'estor, enviar un aviso por S=S. a cual"uier alarma "ue ocurra en la monitorizacin.
+omo nuestros SLA se basan principalmente en la disponibilidad de conectividad de
los centros de *)+)T,A, la '!rdida de conectividad de unos de estos centros crear0
un ticAet de incidencia en el >estor. Antes de esto, debe comprobar si, el centro para el
cual se necesita crear una incidencia, no tiene otra incidencia abierta anterior. )n caso de
"ue eista una incidencia abierta, no se crea otra adicional.
6ara llevar a cabo estas acciones, se usa un pe"ueLo script "ue consulta la base de
datos de *e"uest TracBer, veri!icando la eistencia o no de una incidencia de red
anteriormente abierta.
Anteriormente, se usaba una pe"ueLa modi!icacin del cdi'o !uente del servidor de
7abbi "ue !ue publicada en los !oros de la comunidad de 7abbi, en el si'uiente enlaceA
6arche para inte'rar 7abbi con *e"uest TracBer
6osteriormente, el mencionado parche "ued en desuso para !avorecer "ue las
actualizacines de las versiones del servidor de 7abbi !ueran m&s IdirectasJ.
3.3.>.H +)S,A C9=S D +liente para mviles
Una vez puesto en produccin el nuevo servidor de monitorizacin y bas&ndonos en
las caractersticas de la A23 del 7abbi, se decidi crear una versin mvil del portal de
( 6&'ina o!icial de *e"uest TracBer
)9TI8A8
+)*TI5I+A8A
U9)H)9HIS:
<??(
ActA (/F(#F(#
6&' ($
Monitorizacin de redes y servicios en RECETGA
-Caso prctico de implementacin de Zabbix como NC-
acceso al mismo "ue ayudaseFpermitiese a los t2cnicos de 'uardia, conectarse con su
smar%0one para comprobar el estado de la red y servicios.
6ara ello se desarroll una aplicacin Eeb en 6>6, +)S,A ;!6S
?
, basada en
J9uer# 6o(ile y optimizada para su visualizacin en pantallas pe"ueLas "ue permitiese una
r&pida consulta de todos los par&metros de los elementos monitorizados.
As, se puede consultar, por ejemplo, las incidencias abiertas, el tr&!ico de un centro
conectado a *)+)T,A, la in!ormacin de los t2cnicos de 'uardia del centro, etc..
6uede ver las caractersticas -y el cdi'o !uente. completas de la herramienta en la
p&'ina del proyectoA httpsAFF'ithub.comF+)S,AF+)S,AHC9=SH7ATTIQF
( +)S,A C9=S publicado en ,IT>UT
)9TI8A8
+)*TI5I+A8A
U9)H)9HIS:
<??(
ActA (/F(#F(#
6&' (@
3lus%raci'n CB Es%ado ac%ual de las
incidencias = CESGA ;!6S
3lus%raci'n GB Aa%os de un
e9uio$cen%ro = CESGA ;!6S
3lus%raci'n HB GrF&ico de un
e9uio$cen%ro = CESGA ;!6S
Monitorizacin de redes y servicios en RECETGA
-Caso prctico de implementacin de Zabbix como NC-
&.+ Re$uerimientos 4ardBare,so(tBare
La m&"uina de monitorizacin de 7abbi es una m&"uina virtual "ue se ejecuta en
nuestra 'ranja de servidores Qen.
La m&"uina virtual tiene asi'nados los si'uientes recursosA
(,@ ,T de *A=
( C+6U
Almacenamiento local del servidor Qen
$,T de S.:.
/?,T de almacenamiento de la base de datos.
)n la propia m&"uina virtual reside el servidor de bases de datos -=yS1L. de la
aplicacin, el servidor Eeb -Li'httpd. del !rontend de 7abbi, as como el propio servidor de
7abbi, encar'ado principalmente de ejecutar la monitorizacin por S!62 de todos los
elementos de la red, procesar los datos recibidos de los a'entes de monitorizacin
instalados en los servidores y procesar todos los %ras recibidos de los distintos
rou%ersFs/i%c0es.
Consideraciones sobre el rendimiento
Uno de los problemas principales "ue nos encontramos durante la puesta en
produccin de la m&"uina de monitorizacin !ue el rendimiento
(
en el acceso a disco por el
uso intensivo "ue el servidor 7abbi hace de la base de datos -insercin de re'istros.. A
di!erencia de muchos sistemas de monitorizacin "ue usan **8s para 'uardar los datos de
monitorizacin, 7abbi usa una base de datos -6ost'reS1L o =yS1L. para 'uardar todos
los re'istrosFdatos.
( 5oro de 7abbi sobre rendimiento y optimizacin de =yS1L
)9TI8A8
+)*TI5I+A8A
U9)H)9HIS:
<??(
ActA (/F(#F(#
6&' (4
3lus%raci'n IB Rendimien%oB Es%ado )a((i*
Monitorizacin de redes y servicios en RECETGA
-Caso prctico de implementacin de Zabbix como NC-
)n la ima'en, vemos una captura de pantalla propia de 7abbi "ue re!leja la
cantidad de elementos monitorizados por nuestro 7abbi, as como un valor, denominado
IRendimiento re$uerido del servidor9 nuevos datos 'or se>undoJ, "ue indica la
cantidad de elementos "ue monitoriza de media por se'undo. )ste valor se aproima a la
cantidad de consultas S1L de insercin de datos "ue tiene realizar el servidor de bases de
datos.
)n la anterior ima'en podemos ver la cantidad de consultas =yS1L ejecutadas de
media por se'undo. )l nMmero es mayor al mencionado anteriormente ya "ue incluye las
consultas S1L de lectura "ue realiza tanto el &ron%end Eeb como el propio servidor 7abbi.
:tra medida "ue nos o!rece el inter!az de 7abbi sobre su propio rendimiento de
monitorizacin, es la cola CZabbix queue
1
D de elementos CitemsD 'endientes de
monitorizar.
( 7abbi 1ueue H 8ocumentacin
)9TI8A8
+)*TI5I+A8A
U9)H)9HIS:
<??(
ActA (/F(#F(#
6&' (%
3lus%raci'n JB Rendimien%oB Consul%as or segundo del servidor 6#SK5 7erodo ? mes8
Monitorizacin de redes y servicios en RECETGA
-Caso prctico de implementacin de Zabbix como NC-
La cola de 7abbi nos indica cuantos items est&n pendientes de monitorizar y el
retraso acumulado en la obtencin de estos elementos. %i estos elementos se acumulan
y retrasan en la cola de -abbi. nos sirven como indicacin de $ue el rendimiento del
servidor no es su(iciente para la monitorizacin "ue estamos llevando a cabo.
Adem&s, los i%ems aparecen cate'orizados se'Mn su tipo, !acilit&ndonos la tarea de
identi!icar el cuello de botella en la monitorizacin, pudiendo as, cambiar al'unos
par&metros de con!i'uracin de la monitorizacinA
3%ems S9=6
3%ems sencillosA ings, latencias
3%ems de a'entes de 7abbi.
3%ems calculados en base a valores de otros i%ems
etc.
My%E
)n una primera aproimacin, con!i'uramos el servidor de base de datos para "ue
hiciese uso del motor transaccional Inno8T "ue o!rece un rendimiento en escritura mucho
mejor "ue el motor por de!ecto de =yS1L, =yISA=.
+on Inno8T, el rendimiento del servidor era mayor a la hora de realizar el trabajo de
monitorizacin pero perjudicaba el rendimiento en 'eneral del servidor Qen donde se
ejecuta la m&"uina, haciendo "ue las otras m&"uinas ejecutadas en el mismo servidor no
)9TI8A8
+)*TI5I+A8A
U9)H)9HIS:
<??(
ActA (/F(#F(#
6&' (;
3lus%raci'n ?LB Rendimien%oB )a((i* Kueue
Monitorizacin de redes y servicios en RECETGA
-Caso prctico de implementacin de Zabbix como NC-
respondiesen correctamente e incluso haciendo "ue el propio servidor Qen "uedase
inestable o, en el peor de los casos, se Icol'aseJ.
)sto Mltimo nos 'eneraba un mayor problema, ya "ue cada vez "ue pasaba esto
Mltimo, al reiniciar la m&"uina, el motor transaccional tena "ue reconstruir todos los ndices
de las tablas, tarea "ue a veces se demoraba cierto tiempo y "ue a veces no lo'raba
realizar correctamente, obli'&ndonos a tener "ue recurrir a restauracin de (ac:us de la
TT.88 "ue podan lle'ar a demorarse varias horas -debido al tamaLo de la misma.,
impidiendo la monitorizacin de los servicios durante todo ese tiempo.
6ara subsanar estos problemas, se procedi a realizar las si'uientes accionesA
(. =over la m&"uina virtual a un servidor Qen con un uso menos intensivo y
ajustar distintos par&metros de la virtualizacin por de!ecto de Qen.
#. +lonar la m&"uina de monitorizacin a un servidor de monitorizacin
secundario ejecutado en otro servidor Qen distinto.
/. +ambiar el motor transaccional por =yISA= y aumentar los recursos
hardEare asi'nados a la m&"uina, en concreto pasamos de (,T de *A= a
(,@,T.
)9TI8A8
+)*TI5I+A8A
U9)H)9HIS:
<??(
ActA (/F(#F(#
6&' (<
Monitorizacin de redes y servicios en RECETGA
-Caso prctico de implementacin de Zabbix como NC-
+ Conclusiones
La solucin aportada en este documento no tiene, ni mucho menos, "ue ser la Mnica,
pero en el caso particular "ue tratamos -monitorizacin de *)+)T,A., result ser la "ue
mejor se amoldaba a nuestras necesidades con la menor personalizacin posible.
Actualmente, la solucin lleva un aLo en produccin durante el cual se han
observado las si'uientes ventajas e inconvenientesA
)mpezaremos por las ventajas, ya "ue son bastante m&s importantes "ue los
problemas encontradosA
(. Alta dis'onibilidad en el servicio de monitorizacinA dos servidores
independientes en >A -1ig0 Availa(ili%#. monitorizando al mismo tiempo los
mismos servicios.
#. Recu'eracin casi inmediata ante ca)das de la m0$uinaA el motor
=yISA= no es transaccional lo "ue implica "ue en caso de desastre -cada
de la m&"uina., la Mnica tarea "ue habra "ue realizar es reparar las tablas
a!ectadas, un proceso Ir&pidoJ -pocos minutos. en el cual =yISA= descarta
a"uellas !ilas de las tablas "ue no puede recuperar. Sin embar'o, Inno8T al
ser un motor transaccional tiene "ue ase'urar la inte'ridad de todas las !ilas
de las tablas por lo "ue si no puede recuperar al'unas claves !or&neas u
otros datos deja la base de datos en un modo inconsistente "ue hace
imposible su uso, obli'&ndonos a recuperar un (ac:u de la misma.
/. 2arametrizacin mediante inter(az web de todos los elementos
monitorizadosA el inter!az /e( de 'estin nos permite realizar todas las tareas
necesarias.
$. A2I* el tener una A6I !acilita enormemente el desarrollo de personalizaciones
escritas en cual"uier len'uaje de pro'ramacin as como la inte'racin de la
herramienta de monitorizacin en otras aplicaciones, dotando a la
herramienta de monitorizacin de un Is%a%usJ #.? "ue otras herramientas no
poseen.
Los inconvenientes asumidos de esta solucinA
(. Con(i>uracin de un heart-beat entre el servidor 'rimario y secundario*
este 0ear%=(ea% -o che"ueo., comprueba desde el servidor secundario "ue
tiene acceso al servidor primario. Si este no se encuentra operativo, el
)9TI8A8
+)*TI5I+A8A
U9)H)9HIS:
<??(
ActA (/F(#F(#
6&' #?
Monitorizacin de redes y servicios en RECETGA
-Caso prctico de implementacin de Zabbix como NC-
secundario comienza a procesar las acciones de las alertas de!inidas, es
decir, a noti!icar a los usuariosFt2cnicos de las distintas alertas y viceversa
#. Mantenimiento y re'licacin de la base de datos del servidor primario al
servidor secundarioA cada cierto tiempo se procede a un copiado -rs#nc. de
los archivos de la base de datos del servidor primario al secundario,
obli'ando a parar el secundario durante el tiempo de la copia.
)9TI8A8
+)*TI5I+A8A
U9)H)9HIS:
<??(
ActA (/F(#F(#
6&' #(