Dudas sobre el lip-sync y como configurarlo para un avatar
Hola, de hace dias que intento añadirle el lip-sync a un personaje que he optimizado en blender, y por muchos videos que encuentre/vea, sigo muy perdido en ese tema, quisiera pedir un poco de ayuda con ello si es posible, estaria muy agradecido.
4 Replies
A ver, tecnicamente lip-sync es lo que haces en animación. Posar la boca para que se ajuste en sincronía con el dialogo de un audio.
Tú tienes puesto rigging, así que supongo que buscas el como crearte las poses para ayudar con el lip-sync, que se llaman visemes y como incorporar eso a tu rig. Visemes son las poses de fonética para la boca y labios, como B/P/M, SH, V/F, etc. No recuerdo cuantas eran, pero no son muchas y con ellas puedes cubrir bastante cualquier letra.
En esencia la forma es crearte cada pose de boca y labios y guardarlo para poder luego usarlo. Se pueden guardar como assets para la pose library o simplemente como actions (animaciones) y luego ir cargandolos con el/los controladores que quieras de tu rig. No estoy seguro de si los pose asset del library se pueden cargar directamente en el rig. Tecnicamente sigue siendo una animación por cada pose, así que en teoria debería funcionar, pero desconozco si blender guarda los pose assets de forma distinta. Aun tengo que practicar lo del library, pero vamos, haciendote las poses como animaciones individuales era el método a usar antes de que existieran los assets de Blender.
También está la opción de hacerlo con blendshapes, si no quieres hacerlo con huesos. Te esculpes las poses y luego las vas cargando en tu rig con drivers.
Luego tienes opciones de addons que igual te pueden interesar si no necesitas tener el control de como lo configuras o si no te interesa dedicarle tanto tiempo. Normalmente los addons que sean para riggear un sistema FACS te suele incluir las visemes. Los FACS son más para expresiones de la cara en general, como sonreír, triste, etc. Y algunos de estos addons igual ya te vienen con detección de poses al cargar un audio, o sea que bastante automático si buscas un resultado más rápido.
En resumen, al final depende de lo que realmente quieras hacer y como lo quieras montar. Pero ahí tienes por donde buscar para ir practicando qué metodo te interesa más.
Suerte.
Gracias, si, tenia mas en mente lo d los archivos viseme ya que tenia dudas y tengo algo d problemas con ello
Pues eso, es crearte las poses. Ya sea con huesos o con blendshapes. Tanto una como otra va a requerir trabajo manual. La alternativa sería hacer un rig facial con addons para ello que ya te incluyan estas poses de forma más genérica.
Las poses para las visemes las puedes encontrar por internet para tener referencias
Entiendo, gracias, lo practicare a ver