Si te gusta la música y quieres crear tus propias canciones, quizás te interese Jukebox AI, una red neuronal que genera música en formato de audio sin procesar. En este artículo, explicaremos qué es la IA de Jukebox, qué puede hacer y cómo puede descargarla e instalarla en su computadora. También le mostraremos cómo probar música de Jukebox AI y explorar las muestras que produce.
Jukebox AI es una red neuronal que genera música en forma de audio crudo. Fue lanzado en abril de 2020 por OpenAI, la misma compañía que nos trajo el generador de arte de IA llamado Dall-E, y el chatbot de IA llamado ChatGPT.
A diferencia de otros generadores de música que producen música simbólicamente en forma de notas o rollos de piano, Jukebox AI modela música directamente como audio en bruto. Esto significa que puede capturar voces humanas y muchos de los timbres sutiles, dinámicas y expresividad que son esenciales para la música. Sin embargo, esto también significa que tiene que lidiar con secuencias muy largas de datos, ya que una canción típica de 4 minutos tiene más de 10 millones de pasos.
Jukebox AI fue entrenado en un gran conjunto de datos de canciones de varios géneros y artistas. Aprendió a asociar diferentes características musicales con diferentes etiquetas, como género, artista y letras. Como resultado, puede generar música en una variedad de géneros y estilos de artistas, como rock, pop, jazz, metal, country, rap y más. También puede producir nuevas combinaciones de géneros y estilos, como el country-pop Frank Sinatra o el death metal Six Feet Under.
Si quieres probar Jukebox AI en tu propio ordenador, tendrás que seguir algunos pasos para instalarlo. Estos son los pasos principales:
Conda es un gestor de paquetes que le ayuda a instalar y administrar diferentes paquetes de software y entornos. Necesitará instalar conda en su computadora para ejecutar Jukebox AI. Puede descargar e instalar conda desde este enlace. Después de instalar conda, también tendrá que instalar algunas dependencias, como PyTorch, Apex y Librosa. Puede hacer esto ejecutando los siguientes comandos en su terminal:
El siguiente paso es clonar el repositorio Jukebox AI de GitHub, que contiene el código fuente y las instrucciones para ejecutar Jukebox AI. Puede hacer esto ejecutando el siguiente comando en su terminal:
El paso final es descargar los pesos del modelo y el código de OpenAI, que se almacenan en una ubicación separada. Tendrá que registrarse e iniciar sesión en el sitio web de OpenAI para acceder a estos archivos. Puede hacerlo siguiendo este enlace. Después de iniciar sesión, verá una lista de archivos que puede descargar. Tendrá que descargar los siguientes archivos y colocarlos en la carpeta jukebox:
Ahora que ha instalado Jukebox AI en su computadora, puede comenzar a muestrear música desde ella. Hay dos formas principales de probar música de Jukebox AI: desde cero o desde canciones existentes.
Si quieres probar música desde cero, puedes usar el script sample.py que viene con Jukebox AI. Este script le permite especificar el género, artista y letras como entrada, y luego muestra una canción basada en esas entradas. Por ejemplo, si desea probar una canción de rock de AC/DC con la letra "Thunderstruck", puede ejecutar el siguiente comando en su terminal:
Si quieres probar música de canciones existentes, puedes usar el script sample_from_checkpoint.py que viene con Jukebox AI. Este script le permite cargar una canción existente como punto de control, y luego continuar el muestreo desde ese punto. Por ejemplo, si quieres probar una continuación de "Bohemian Rhapsody" por Queen, puedes ejecutar el siguiente comando en tu terminal:
También puede usar múltiples géneros, artistas o letras como entrada, separados por comas. Por ejemplo, si quieres probar una canción que mezcla rap y country de Lil Nas X y Billy Ray Cyrus con la letra "Old Town Road", puedes ejecutar el siguiente comando en tu terminal:
El muestreo de música de Jukebox AI puede ser muy lento y computacionalmente intensivo, especialmente si desea generar muestras coherentes y de alta calidad. Una forma de acelerar el proceso de muestreo es usar varias GPU en su computadora o en un servicio en la nube. Puede usar la bandera -n_gpus para especificar cuántas GPU desea usar para el muestreo. Por ejemplo, si tiene 4 GPU en su computadora y desea usarlas todas para el muestreo, puede ejecutar el siguiente comando en su terminal:
Después de probar música de Jukebox AI, es posible que desee explorar las muestras y ver cómo suenan y se ven. Hay tres formas principales de hacer esto: escuchando las muestras, viendo las muestras como un HTML, y navegando por las muestras en el Jukebox Sample Explorer.
Cuando muestras música de Jukebox AI, obtendrás una carpeta con el nombre de tu muestra que contiene varios archivos. Uno de estos archivos es level_0/item_0.wav, que es la salida final del proceso de muestreo. Este archivo tiene la más alta calidad y coherencia, pero también tarda más tiempo en generarse. Puede escuchar este archivo usando cualquier reproductor de audio que soporte formato WAV.
Otro archivo es level_1/item_0.wav, que es la salida del segundo nivel de muestreo. Este archivo tiene una menor calidad y coherencia, pero también toma menos tiempo para generar. Puede escuchar este archivo para tener una idea aproximada de cómo sonará la salida final.
El último archivo es level_2/item_0.wav, que es la salida del primer nivel de muestreo. Este archivo tiene la menor calidad y coherencia, pero también toma el menor tiempo para generar. Puede escuchar este archivo para obtener una idea muy aproximada de cómo sonará la salida final.
Otra forma de explorar las muestras es verlas como HTML con las letras alineadas. Esto le permite ver cómo las letras coinciden con las melodías y ritmos de la música. Puede hacer esto abriendo el archivo index.html que está en la misma carpeta que su muestra. Este archivo le mostrará una tabla con todas las muestras que generó, junto con su género, artista y letras. Puede hacer clic en cualquier muestra para reproducirla y ver sus letras resaltadas en sincronía con la música.
La última manera de explorar las muestras es navegar por ellas en el Jukebox Sample Explorer, que es una aplicación web que te permite escuchar y descargar todas las muestras que se han generado por Jukebox AI. Puede acceder a esta aplicación siguiendo este enlace. Puede filtrar las muestras por género, artista o letra, o buscar palabras clave específicas. También puede calificar y comentar las muestras, o compartirlas con otros.
Jukebox AI es una herramienta increíble para la generación de música y la exploración. Puede producir música en forma de audio crudo, en varios géneros y estilos de artista, y con letras y voces. Puede descargar e instalar Jukebox AI siguiendo algunos pasos simples, y luego probar música de él de diferentes maneras. También puedes explorar las muestras que genera en diferentes niveles de calidad y coherencia, como un HTML con letras alineadas, o en el Jukebox Sample Explorer. Si te gusta la música y quieres crear tus propias canciones, deberías probar Jukebox AI.
Necesitas tener un ordenador con Python 3.7, conda, PyTorch, Apex, Librosa, y algunas otras dependencias instaladas. También necesita tener acceso a una o más GPU que soporten CUDA 10.1 o superior.
Depende de varios factores, como la longitud de la muestra, el número de GPU que utilice y el nivel de calidad y coherencia que desee. En términos generales, puede tomar desde unos minutos hasta varias horas para probar música de Jukebox AI.
No, no puede usar Jukebox AI con fines comerciales sin el permiso de OpenAI. Jukebox AI está licenciado bajo una licencia no comercial que prohíbe cualquier uso que esté principalmente destinado o dirigido a una ventaja comercial o compensación monetaria.
Cómo puedo aprender más sobre Jukebox AI?
Puedes aprender más acerca de Jukebox AI leyendo el artículo original de OpenAI, que explica los detalles técnicos y los desafíos de Jukebox AI. También puede ver la presentación en video de los autores, que muestra algunas de las muestras y características de Jukebox AI. Puede encontrar el artículo y el video en este enlace.
Jukebox AI es un logro notable, pero no es perfecto. Algunas de las limitaciones y desafíos de Jukebox AI son: