PelicanHPC Tutorial

07 2010 Michael Creel Universitat Autnoma de Barcelona Puede comprobar si hay versiones ms recientes de este documento en http://pelicanhpc.org/Tutorial/PelicanTutorial.html

Contenido
1. 2. 3. 4. 5. Introduccin La configuracin inicial Ejemplo de software Guardar el trabajo Uso de la secuencia de comandos make_pelican

Introduccin
PelicanHPC es un rpido (alrededor de 5 minutos, cuando sabes lo que ests haciendo) los medios de la creacin de una informtica de alto rendimiento (HPC) de clster para computacin paralela utilizando MPI. Este tutorial ofrece una descripcin bsica de lo que se PelicanHPC, direcciones de cmo usar las imgenes de CD lanzado a crear un clster de HPC, y da algunos ejemplos bsicos de uso.

Descripcin de PelicanHPC
PelicanHPC es una distribucin de GNU / Linux que se ejecuta como un "live CD" (tambin se puede poner en un dispositivo USB, se puede arrancar desde una particin del disco duro, o puede ser utilizado como un sistema operativo virtualizado). Si el archivo de imagen ISO se quema en un CD, el CD resultante puede usarse para arrancar el ordenador. El equipo en el que se inicia PelicanHPC se conoce como el "nodo de interfaz". Es el equipo con el que interacta el usuario. Una vez PelicanHPC se est ejecutando, un guin "pelican_setup" - se puede funcionar. Este script configura el nodo frontend como un servidor de arranque en red. Despus de esto se ha hecho, otros equipos pueden tener las copias de arranque de PelicanHPC travs de la red. Estos otros equipos se conocen como "nodos de cmputo". PelicanHPC configura el grupo formado por el nodo frontend y los nodos de cmputo, para que basados en la computacin paralela MPI-se puede hacer. Un "Live CD", como PelicanHPC por defecto no utiliza los discos duros de cualquiera de los nodos (excepto el espacio de intercambio de Linux, si es que existe), por lo que no va a destruir o alterar su sistema operativo instalado. Cuando el clster PelicanHPC se cierra, todos los equipos estn en su estado original, y se iniciar de nuevo en lo que los sistemas

operativos estn instalados en ellos. PelicanHPC opcionalmente se puede hacer para utilizar espacio de disco duro, por lo que su estado puede ser preservada a travs de las botas. Puede ser configurado para que arranque sin intervencin de usuario, con posibilidad de acceso por ssh. Tambin existe la posibilidad de hacer el clculo de arranque nodos utilizando Wake-on-LAN. Con estas caractersticas opcionales ms avanzados, PelicanHPC se puede utilizar para ejecutar un grupo permanente sin cabeza. PelicanHPC se hace usando Debian GNU / Linux como base, a travs de la de Debian del sistema. Es producido mediante la ejecucin de un script nico mediante el comando "make_pelican sh". Versiones personalizadas de PelicanHPC, por ejemplo, que contiene paquetes adicionales, se puede hacer fcilmente mediante la modificacin de la secuencia de comandos script.The make_pelican make_pelican y los paquetes necesarios se proporcionan en PelicanHPC, para que pueda construir una imagen personalizada utilizando las imgenes proporcionadas. Tambin puede ejecutar make_pelican de cualquier distribucin GNU / Linux.
Caractersticas
y

y y y y y

y y

El nodo de interfaz puede ser un ordenador real arrancado con un CD o un dispositivo USB, o una mquina virtual que se inicia con el archivo de imagen de CD. Con esta ltima opcin, PelicanHPC se puede utilizar en el momento mismo que el ambiente de trabajo normal, que puede ser cualquiera de los sistemas operativos comunes. Los nodos de cmputo son normalmente los equipos reales, para un mximo rendimiento, pero tambin puede ser virtual. Apoya base de clculo paralelo MPI Fortran usando (77, 90), C, C + + y GNU Octave. Ofrece la Open MPI aplicacin del MPI. Clster puede cambiar el tamao para agregar o quitar nodos con el "pelican_restarthpc" comando. Fcilmente extensible para aadir paquetes. Tambin fcilmente modificables, ya que la imagen de CD PelicanHPC se crea con un nico guin que se basa en el de Debian del sistema. Por esta razn, la versin distribuida es bsico y ligero. Existen versiones para 32 bits CPU (Pentium 4, Core, Sempron) y para 64 bits CPU (Opteron, Turion, Core 2, etc) Contiene software de ejemplo: Linpack HPL (ahora en versin 2.0) y extenso ejemplos de referencia que utilizan GNU Octave . Tambin ha mpi4py .

Limitaciones y exigencias
y

Los nodos de cmputo debe iniciarse en la red. Esta es una opcin que ofrece todos los modernos dispositivos de red suministrado con las placas base, pero a menudo deben estar habilitadas en la configuracin del BIOS. Que pueda, y darle una mayor prioridad que arranque desde el disco duro o de otras fuentes. Si usted tiene una tarjeta de red que no har arranque en red, es posible evitar este uso de rom-o-matic . Un grupo PelicanHPC est diseado para ser utilizado por una sola persona.

Licencias y Responsabilidad

PelicanHPC es una imagen de CD producido mediante la ejecucin de un script (ver ms abajo). El guin es licencia GPL v3. La imagen del CD resultante contiene el software de la Debian distribucin de GNU / Linux, que est sujeto a las licencias elegido por los autores de dicho software. Esta libertad PelicanHPC imgenes de CD se distribuye con la esperanza de que sea til, pero SIN NINGUNA GARANTA, incluso sin la garanta implcita de COMERCIALIZACIN o IDONEIDAD PARA UN PROPSITO PARTICULAR.

La configuracin inicial
Los dos comandos principales para la administracin de la agrupacin son "pelican_setup", para configurar la interfaz como un servidor, la exportacin NFS / home, etc, y "pelican_restarthpc", que se utiliza para agregar o quitar nodos despus de la instalacin inicial. El resto de lo que explica cmo funciona esto. La interfaz y todos los nodos de cmputo deben ser conectados en red. IMPORTANTE: el nodo frontend actuar como servidor DHCP, as que asegrese de aislar la red que se utiliza para el clster de otras redes, para evitar conflictos con otros servidores DHCP. Si inicia la entrega de direcciones IP a los compaeros de trabajo sus equipos, pueden llegar a ser molesto. Si el nodo frontend tiene mltiples interfaces de red, puede usar uno para conectarse al clster y otro para conectarse a Internet. Ponga el CD en el equipo que ser el interfaz, y vuelva a encenderlo. Asegrese de que la configuracin de la BIOS permite arrancar desde el CD. Al arrancar, vers algo como lo siguiente. En este caso, si pulsa <Tab>, usted tiene la oportunidad de entrar en las opciones para configurar las asignaciones de teclado, o especiales "cheatcodes" para el arranque de CD en el hardware problemtico. Por ejemplo, puedo conseguir un teclado en espaol por <Tab> presionando y luego agreg que "keyb = es" a la configuracin predeterminada. Cualquiera de explorar las opciones, destacando la lnea de ayuda y presionando <Intro> o editar las opciones por <Tab> urgentes, o simplemente pulse <Intro> para arrancar con la configuracin predeterminada.

Una vez que arranque, con el tiempo que se ve:

Esta pantalla le da la oportunidad de utilizar un dispositivo de almacenamiento permanente para el directorio / home del usuario PelicanHPC. De forma predeterminada, si usted slo tiene que pulsar <Intro>, los discos duros no se utilizan, y PelicanHPC no modifica ninguno de los equipos que se utilizan en el clster. Esto es seguro y fcil, pero tiene el inconveniente de que el trabajo que hace desaparece al apagar el clster. Para utilizar el almacenamiento permanente, usted puede escribir el nombre de un dispositivo (particin de disco duro, unidad USB, etc) que tiene un formato ext2 o ext3, que ser montado en / home. Por ejemplo, puede reemplazar "RAM1" con "sda2" o "hdb5" (sin comillas). Si usted hace esto, un directorio de "usuario" se crear en la raz del dispositivo especificado, y se utilizar como el directorio home del usuario de racimo (nombre de usuario "usuario"). Si se cierra el grupo, el directorio no ser eliminado, y se puede volver a utilizarse cuando se reinicia PelicanHPC. Si usted tiene alguna duda acerca de esto, basta con pulsar <Intro>. Para la experimentacin casual, usted no necesita esta funcin. Esta funcin se proporciona para su conveniencia para los usuarios avanzados. Es imposible probar esta funcin en todas las configuraciones de hardware posibles, por lo que NO SE HACEN GARANTAS QUE NO DESTRUIR TU DISCO DURO. Copia de seguridad de sus datos antes de intentar cualquier cosa, pero por defecto.

A continuacin, podrs ver

Usted probablemente querr elegir "s", a menos que se vuelvan a utilizar el trabajo que ha guardado en una sesin anterior. A continuacin, se le pedir que cambie la contrasea por defecto:

Usted debe de retroceso para eliminar el defecto y escriba una nueva contrasea. Esta ser la contrasea para el usuario "usuario" en el nodo frontend y en todos los nodos de cmputo, tambin. Por ltimo, todos ustedes son arranca y aparece la entrada del sistema:

Escriba el nombre de usuario "usuario" y luego la contrasea que ha establecido hace un momento.

Ahora que se registran en:

Tenga en cuenta que puede entrar en el enterface grfico Xfce si decide por escribir "startx". De forma predeterminada, PelicanHPC utiliza la consola, slo para evitar posibles problemas con el hardware de grficos inusual. Para configurar un clster, escriba "pelican_setup". Usted puede hacer esto desde la consola como en estas instrucciones, o de Xfce mediante la apertura de un terminal. A continuacin, vemos lo siguiente, suponiendo que usted tiene ms de un dispositivo de red:

Despus de elegir el dispositivo de red, los servicios deben iniciarse. Por favor, lea la advertencia en la siguiente captura de pantalla. Configuracin de un servidor dhcp PelicanHPC te meten en problemas con la red de administradores de tu si lo hace en una red abierta. Usted debe asegurarse de que el dispositivo de red que se utiliza para el clster est aislado de todas las redes, excepto el grupo. Cuando vea la siguiente pantalla, seleccione "s".

A continuacin ver

Pulse entrar, y salir a su vez en los nodos de cmputo.

Cuando uno empieza a calcular el nodo de arranque de red, ver este genio por:

Cuando un nodo de cmputo se realiza el arranque, puedes encontrar esto, suponiendo que tiene un monitor:

De vuelta en el nodo frontend, ver lo siguiente:

Una vez que un nodo ha arrancado, la cuenta sube:

No dejan de golpear "no" hasta que todos los nodos de cmputo han arrancado. Una vez que haga clic en S, vers algo como lo siguiente, dependiendo de cuntos nodos que tiene. Tenga en cuenta cmo me escriba "lamnodes" para comprobar que realmente funcionaba.

Bueno, eso es todo, el grupo est listo para usar. Algunos otros consejos:
y

puede agregar software para el nodo frontend con "apt-get install lo que sea", suponiendo que la interfaz cuenta con una red segunda tarjeta que ha configurado para permitir el acceso a Internet. Este software no est disponible en los nodos de cmputo. Para agregar software para que est disponible a todos los nodos, debe estar instalado en algn lugar de / home / usuario. MPI la configuracin por defecto est en el archivo / home / usuario / tmp / bhosts. Este asigna clasificaciones a los anfitriones en una forma de round robin. Si sus anfitriones tienen velocidades diferentes, el nmero de ncleos, etc, debe modificar este archivo y re-lamboot (si el uso del MELA). Si el nodo frontend es virtual, pero los nodos de cmputo son reales, probablemente debera eliminar el nodo frontend de los clculos. ksysguard est disponible, y una pequea cantidad de esfuerzo que se convierten en un monitor de clster agradable. Ver este mensaje para obtener informacin general sobre la manera de hacerlo. si necesita de otros paquetes, quisiera establecer su propia contrasea por defecto, entonces usted puede hacer su propia versin muy fcilmente usando el script make_pelican que est disponible en la pgina de inicio PelicanHPC. Esto se explica (un poco) a continuacin. Puede cambiar el tamao del clster (agregar o quitar nodos de cmputo) siempre que lo desee, mediante la ejecucin de "pelican_restarthpc".

IMPORTANTE: En la home / usuario de la gua / es el archivo pelican_config. Este archivo contiene los interruptores de opciones avanzadas que permiten realizar acciones como el uso de almacenamiento permanente, el arranque sin intervencin del usuario, el cambio de la red del clster, Wake-on-LAN, etc Varios usuarios no necesitan para explorar, pero la gente quiere que un grupo permanente debera verlo. Es auto-documentado. Volver al ndice

Ejemplo de software
PelicanHPC tiene el Linpack HPL de referencia, y algunos ejemplos de la amplia el campo de la econometra que el uso de GNU Octave . Econometra es un campo de estudio que aplica los mtodos estadsticos a los modelos econmicos. El software est en el directorio Econometra:

No es un documento "econometrics.pdf" que tiene una gran cantidad de informacin, incluyendo algunos de computacin paralela sobre:

Abre un terminal, escribe "octava" y luego "kernel_example" (por favor, tenga en cuenta que subrayar de nuevo all, la msica ... por favor, maestro):

et viola! algunas fotos:

Esa ltima imagen de pantalla y muestra el resultado de kernel_example.m si se ejecuta en serie, con un solo ncleo. Para ver cmo funcionan en paralelo, vea la siguiente fotografa:. NOTA las rutinas del ncleo no hacer clculos en el rango 0 (se utiliza para recoger los resultados), por lo que debe especificar al menos dos filas de MPI.

Otras cosas a tratar son "bfgsmin_example", "mle_example", "gmm_example", "mc_example" y algunos otros me estoy olvidando. Para saber si el cdigo es, el tipo de "ayuda mc_example", por ejemplo, mientras que en Octave. A continuacin, vaya editar el archivo correspondiente para obtener ms informacin acerca de lo que hace. O, mientras que en Octave, escriba "editar bfgsmin_example" (o editar lo que quieras) y el archivo se encuentra en la ruta de octava se abrir en el editor vim. Volver al ndice

Guardar el trabajo
De forma predeterminada, las imgenes PelicanHPC poner / home / usuario en un disco de memoria que desaparece al apagar. Tendr que guardar su trabajo entre perodos de sesiones, si desea volver a utilizarlo. Hay muchas opciones, tales como montar un disco duro, utilizando un dispositivo USB, etc Si usted tiene una conexin a Internet configurado, puede enviarlo por correo electrnico a ti mismo, como se ilustra en la siguiente fotografa:

Si utiliza PelicanHPC para un trabajo serio, es muy conveniente para montar un dispositivo de almacenamiento para utilizar como / home, para que su trabajo se guarda entre sesiones sin tomar ninguna medida especial. Al arrancar el nodo interfaz, usted tiene la opcin de seleccionar un dispositivo de almacenamiento para su uso. Esta es una caracterstica para los usuarios avanzados, y yo recomendamos encarecidamente que dedique una particin de disco duro para su uso con PelicanHPC. Si utiliza una particin con otros datos sobre l, debe asegurarse de que una copia de seguridad antes de usarlo con PelicanHPC! ext2 y ext3 en formato Slo se sabe que funcionan. Esta caracterstica ha sido probado con un conjunto muy limitado de equipos, a fin de utilizarlo con precaucin. Tambin existe la opcin de montar automticamente un volumen que tiene un nombre especial. Ver pelican_config en / home / usuario. Esta es la mejor solucin para los usuarios que quieran utilizar PelicanHPC sobre una base a largo plazo. Volver al ndice

Uso de la secuencia de comandos make_pelican

Las imgenes ISO distribuidos proporcionar un clster de configuracin del sistema al descubierto los huesos, adems de algunos paquetes que uso en mi investigacin y la

docencia. Hay algunos ejemplos tomados de mi trabajo, que pueden ser de inters para los que aprenden los conceptos bsicos de MPI, o para las personas interesados en la econometra. Sin embargo, muchos usuarios encontrarn que Pelican no contiene los paquetes que necesitan. Si uno utiliza pelican_config correctamente, es posible dar a todos los nodos del clster de acceso a Internet a travs de la conexin del nodo de interfaz, de modo que los paquetes pueden ser simplemente aadido a partir de "apt-get". Sin embargo, algunos usuarios prefieren tener una versin de atencin al cliente al de la imagen del CD. PelicanHPC es producido mediante la ejecucin de un script nico "make_pelican", que est disponible en la pgina de descarga , y tambin en las imgenes en libertad. Si tiene los requisitos previos para ejecutar el script, es muy fcil de hacer una versin personalizada de Pelican requisitos. Los requisitos previos estn instalados en PelicanHPC, para que pueda construir una versin personalizada con la libertad son de la versin. El:
y

una versin instalada de GNU / Linux. Esto puede ser una instalacin mnima en una crcel chroot si lo prefiere para ejecutar algo ms de su trabajo normal. Incluso puede utilizar una mquina virtual en Windows, si usted es un usuario de Windows. el vivir a la generacin de paquetes. Utilice la versin disponible en Debian. Est disponible como un archivo. Deb, y tambin como cdigo fuente para su uso con otras distribuciones. Tambin es necesario y rsync paquetes debootstrap. examinar la secuencia de comandos make_pelican, que contiene algunos comentarios se explica por s mismo. Aadir los paquetes que necesita para la seccin de lista de paquetes. Tenga en cuenta que usted puede elegir una contrasea diferente aqu. tiene que ejecutar el script make_pelican como usuario root. Una conexin rpida a Internet es til, ya que una gran cantidad de paquetes que se deban descargar. Adems, ayuda a construir la imagen de una forma rpida, es de esperar computadora multi-ncleo. Las partes del proceso de construccin son en paralelo y se aprovechar de mltiples ncleos. El tiempo de construccin para la configuracin por defecto en un ordenador porttil de doble ncleo decente con mucha memoria RAM es de aproximadamente media hora. cuando haya terminado, habr un archivo "binary.iso" en el .. / <arquitectura> directorio / frontend, donde .. / es la ubicacin de la secuencia de comandos make_pelican y <arquitectura> es o i386 o amd64, segn en el que dej sin comentar en el guin. Hay un manual para Debian Live . Por favor, eche un vistazo en que antes de intentar utilizar make_pelican. Informacin adicional se encuentra en http://debianlive.alioth.debian.org/ . Esta informacin es la documentacin principal, ya que make_pelican es un script que ofrece una configuracin especfica para el sistema Live de Debian de la construccin de una imagen de CD en vivo. Asimismo, recuerda que "el hombre vive-ayudante", "hombre lh_config" y "lh_build hombre" le dar la informacin.