Google tiene una nueva propuesta en función al modelo texto-video e imagen-to- video, diseñado para sintetizar videos que retratan movimientos realistas, coherentes y diversos.
La inteligencia artificial (IA), sigue generando cambios y novedades, se conoce a Lumiere, una herramienta que trabaja por Google, tiene las capacidades y características de crear vídeos realistas a partir de texto o una imagen.
Pero, hasta los momentos la herramienta de Lumiere no se encuentra disponible al público, es un proyecto que reúne diferentes investigadores de Google Research, la Universidad de Tel Aviv, el Instituto Weizmann y el Technion.
Los resultados de la investigación se pueden visualizar en internet, donde también se tiene acceso al paper que muestra el trabajo en torno a este modelo de inteligencia artificial.
Lumiere está diseñado para sintetizar videos que retratan los movimientos realistas, diversos y coherentes, un desafío necesario en la síntesis de videos.
Para el logro de esto se ha trabajado en una nueva arquitectura, diferente a la que se conoce en generación de videos por IA. Mostrando resultados de generación de texto a vídeo de última generación y demostrando que el diseño facilita una amplia gama de tareas en cuanto a creación de contenidos y aplicaciones de edición de video, incluyendo la conversión de imagen a video, pintura de video y generación estilizada.
¿Qué puede hacer este modelo?
Lumiere cumplirá algunas funciones como la generación estilizada, a partir de una imagen realista de referencia, también la estilización de video, con la que se puede pedir que el objeto o persona que aparece en él tenga un estilo diferente.
Algo muy parecido ocurre con la animación de imágenes ya existentes, un ejemplo de ello, Lumiere puede animar la fotografía de una mariposa sobre una planta o del fuego de una hoguera.
Otra de las posibilidades es la generación de videos reales, con la intención de completar videos inacabados o con zonas cortadas, la modificación en tiempo real dándole una descripción a la IA.
Existe un sinfín de posibilidades que pueden mejorar las capacidades de edición de vídeo, permitiendo despegar la creatividad, se tendrá que esperar que esté disponible al público, pero hasta el momento lo que han presentado es muy ambicioso.
Lumiere se entrenó en un conjunto de datos de 30 millones de vídeos y subtítulos de texto y tiene capacidad para generar 80 fotogramas a16fps, no se ha mencionado la fuente de datos que Google utilizó para entrenar el modelo, un tema importante en el mundo de la IA y la legislación sobre derechos de autor.
Perspectivas futuras
Con cada avance en la tecnología de inteligencia artificial, se espera que Lumiere continúe evolucionando y mejorando, ofreciendo nuevas y emocionantes funciones que revolucionan la creación de contenido visual.
Lumiere debe contar con un impacto significativo en una variedad de industrias, desde el entretenimiento hasta la educación y la publicidad. Democratizando el acceso a herramientas avanzadas de generación de contenido visual y estimulando a su vez la innovación en todas partes.
