Duda con trabajo en cluster y paralelizar trabajos
21 views
Skip to first unread message
Andrés Aguilar
Oct 21, 2013, 6:48:11 PM10/21/13
to softwareli...@googlegroups.com
Buenas tardes,
Alguien de por aquí ha trabajado con clusters?
Estoy tratando de lanzar un proceso en varios nodos de un pequeño cluster en mi trabajo y por más que he intentado no he logrado hacerlo funcionar correctamente,
he intentado con mpirun y con qsub.
Con mpirun hago:
en el archivo nodos.conf tengo los nodos que se van a utilizar para realizar el trabajo, pero lo que obtengo es que obtengo es que cada nodo hace el trabajo por separado.
Con qsub lo que hago es lanzar el servidor y como el programa ya tiene la capacidad de trabajar en modo cluster pues en las opciones defino la cola del sistema que tiene que utilizar con los nodos y demás configuraciones necesarias para que encuentre los archivos y los formatos de salida.
Pero al lanzar el proceso el trabajo se realiza en un solo nodo.
El programa se llama InterProScan es una herramienta bioinformática.
Les agradecería cualquier tipo de sugerencia o comentario a cerca del funcionamiento de los clusters ya que no tengo mucha experiencia en esto.
Gracias.
Alguien de por aquí ha trabajado con clusters?
Estoy tratando de lanzar un proceso en varios nodos de un pequeño cluster en mi trabajo y por más que he intentado no he logrado hacerlo funcionar correctamente,
he intentado con mpirun y con qsub.
Con mpirun hago:
mpirun -hostfile nodos.conf -all-cpus ./programa parametros
en el archivo nodos.conf tengo los nodos que se van a utilizar para realizar el trabajo, pero lo que obtengo es que obtengo es que cada nodo hace el trabajo por separado.
Con qsub lo que hago es lanzar el servidor y como el programa ya tiene la capacidad de trabajar en modo cluster pues en las opciones defino la cola del sistema que tiene que utilizar con los nodos y demás configuraciones necesarias para que encuentre los archivos y los formatos de salida.
Pero al lanzar el proceso el trabajo se realiza en un solo nodo.
El programa se llama InterProScan es una herramienta bioinformática.
Les agradecería cualquier tipo de sugerencia o comentario a cerca del funcionamiento de los clusters ya que no tengo mucha experiencia en esto.
Gracias.
GaRaGeD
Oct 21, 2013, 7:20:21 PM10/21/13
to softwareli...@googlegroups.com, softwareli...@googlegroups.com
Así es lo típico para lanzar cosas en paralelo, si no está funcionando muy probablemente tu programa no puede correr en diferentes nodos, seguramente solo soporta correr en SMP (una sola máquina de memoria compartida).
La otra posibilidad es que de plano ni siquiera soporte paralelización, pero eso sería muy raro, y ya lo sabrías.
Saludos
Max
echo $signature;
echo $signature;
--
You received this message because you are subscribed to the Google Groups "Software Libre Morelos" group.
To unsubscribe from this group and stop receiving emails from it, send an email to softwarelibremor...@googlegroups.com.
For more options, visit https://groups.google.com/groups/opt_out.
Andrés Aguilar
Oct 24, 2013, 1:11:12 PM10/24/13
to softwareli...@googlegroups.com
Hola garaged, muchas gracias por responder,
Pues he investigado y en la documentación del proyecto dicen que si puede correr en multiples nodos sin embargo la explicación de la configuración es muy pobre
y no logro configurar bien las colas del sistema para que pueda hacer el trabajo en paralelo.
Ya he revisado la documentación de SGE para poder configurarla pero seguro que se me está pasando algo.
Alguien tiene ejemplos de cómo se tienen que configurar las colas para poder paralelizar trabajos?
Muchas gracias
Pues he investigado y en la documentación del proyecto dicen que si puede correr en multiples nodos sin embargo la explicación de la configuración es muy pobre
y no logro configurar bien las colas del sistema para que pueda hacer el trabajo en paralelo.
Ya he revisado la documentación de SGE para poder configurarla pero seguro que se me está pasando algo.
Alguien tiene ejemplos de cómo se tienen que configurar las colas para poder paralelizar trabajos?
Muchas gracias
To unsubscribe from this group and stop receiving emails from it, send an email to softwarelibremorelos+unsub...@googlegroups.com.
GaRaGeD Style
Oct 24, 2013, 1:38:48 PM10/24/13
to softwareli...@googlegroups.com
Lo único que se me ocurre es que no tengas las llaves de SSH bien instaladas en los nodos, verifica que puedes entrar por SSH a todos los nodos sin que te pregunte por la clave
Por lo demás, es realmente sencillo correr en paralelo sobre muchos nodos, así tal cual como lo estás intentando
Saludos
Max
To unsubscribe from this group and stop receiving emails from it, send an email to softwarelibremor...@googlegroups.com.
$ echo "scale=1000000; 4*a(1)" | bc -l
Guillermo Barrios del Valle
Oct 24, 2013, 7:03:00 PM10/24/13
to softwareli...@googlegroups.com
Hola Andr'es,
yo he usado un par de veces el mpirun, y lo que se me hizo raro al revisar en man mpirun es que no aparece la opci'on -all-cpus pero si viene:
-c, -n, --n, -np <#>
Run this many copies of the program on the given nodes. This option indicates that the specified file is an executable program and not an application con‐
text. If no value is provided for the number of copies to execute (i.e., neither the "-np" nor its synonyms are provided on the command line), Open MPI will
automatically execute a copy of the program on each process slot (see below for description of a "process slot"). This feature, however, can only be used in
the SPMD model and will return an error (without beginning execution of the application) otherwise.
espero te sea 'util ;)
Andrés Aguilar
Oct 28, 2013, 11:52:44 AM10/28/13
to softwareli...@googlegroups.com
Hola de nuevo,
La conexión por ssh está bien, me puedo mover entre los nodos sin problema, de hecho el trabajo llega al nodo pero no se ejecuta en paralelo.
La opción -all-cpus la saqué navegando por internet y parece no tener ningún efecto sobre el perfomance del proceso y tampoco marca error.
Creo que ya estoy comenzando a creer que no puede correr en multiples nodos, aunque en la documentación dice que si ( por algo el modo cluster ).
Muchas gracias por sus respuestas!
Saludos
Reply all
Reply to author
Forward
0 new messages