Sztuczna inteligencja dostosuje ruch warg do wersji językowej filmu.
Dubbing to już nie tylko zmiana ścieżki audio
Dla tych, którzy uważają, że czytanie napisów do zagranicznych filmów jest zbyt rozpraszające, filmy są dubbingowane na różne języki. Ale nie wygląda to zbyt dobrze gdy ruchy ust aktora nie są zsynchronizowane z tym, co mówi w „nowym” języku. Dlatego firma Flawless stworzyła rozwiązanie oparte na sztucznej inteligencji, które modyfikuje obraz twarzy aktora.
Mamy wiele powodów aby niepokoić się coraz częstszym użyciem sztucznej inteligencji i narzędzi opartych na sieci neuronowej do manipulowania zdjęciami i filmami. Prawie zawsze robi się to w celu tworzenia sytuacji, które nigdy się nie wydarzyły lub sprawiania, by osoby publiczne powiedziały coś, czego nie zrobiły (znamy to przecież z tzw. deepfake'ów, które rozprzestrzeniają się błyskawicznie w Internecie). Ale możliwości jakie przynosi nam postęp technologiczny mogą zostać wykorzystane także w innych zastosowaniach - na przykład do dalszego zwiększania dostępności filmów i ich „lokalizacji”.
Komputery modyfikują filmy nie od dziś
Takie same obawy ludzie odczuwali gdy grafika komputerowa posuwała się do przodu w zawrotnym tempie dzięki filmom takim jak Terminator 2, Twister czy Jurassic Park. Rozwinęły one fotorealistyczne efekty wizualne w sposób, jakiego nigdy wcześniej nie widzieliśmy. Ta technologia ostatecznie dotarła do konsumentów i nawet twórcy-amatorzy mogą produkować filmy o hollywoodzkim kalibrze, mając tylko smartfona i laptopa i bez konieczności dysponowania budżetem na miarę Hollywood. Narzędzia te stały się również łatwiejsze w użyciu dzięki ciągłym przełomom w przetwarzaniu obrazu opartym na sztucznej inteligencji. Ręczne wymazywanie obiektów w klipie wideo to już tylko historyczny, bardzo czasochłonny proces wymagający złożonego maskowania i dostosowywania klatka po klatce. Dziś robi to za nas zautomatyzowana funkcja Adobe After Effects.
Na czym polega nowość Flawless?
To, co Flawless obiecuje zrobić ze swoim oprogramowaniem TrueSync, to użycie tych samych narzędzi, które są odpowiedzialne za deepfake wideo, do manipulowania i dostosowywania twarzy aktora w filmie. Chodzi o to aby ruchy jego ust (mięśnie twarzy) były bardziej zbliżone do tego, jak poruszałyby się, gdyby film był nakręcony w języku znanym zagranicznej publiczności. Więc nawet jeśli reżyser nakręcił film po angielsku, dla kinomaniaka w Berlinie oglądającego film z dubbingiem w języku niemieckim, wyglądałoby to tak, jakby wszyscy aktorzy faktycznie mówili po niemiecku w dniu kręcenia sceny.
Czy to konieczne? To z pewnością będzie przedmiotem niekończącej się dyskusji. Niedawny, nagrodzony Oscarem film Parasite na nowo wzniecił rozmowy na temat dubbingowania zagranicznego filmu a nie oglądania go z napisami. Są tacy, którzy uważają, że niekończący się ciąg liter na dole filmu rozprasza i odwraca uwagę od wszystkiego innego, co dzieje się na ekranie. Ale znamy przecież także zagorzałych przeciwników dubbingu, zdaniem których nawet utalentowany i doświadczony „podkładacz” dźwięku po prostu nie może przekonująco odtworzyć emocji kryjących się za występem prawdziwego aktora. Uważają oni, że lepiej jest słuchać takiego aktora w jego języku, nawet jeśli słowa nie są zrozumiałe, bo inaczej nie można mówić o chłonięciu utworu jako pewnej całości.
Flawless oświadczyło, że Sercem systemu jest „mechanizm zachowania spektaklu”, który rejestruje wszystkie niuanse i emocje oryginalnego materiału. Tak więc, pomimo zmiany ruchów twarzy aktora, jego oryginalne, niuansowe zachowanie, wszystko to co znamy jako aktorski warsztat, ma zostać zachowane i przeniesione na „nieruchomą” twarz z poprawionymi jedynie ruchami warg, poprawnymi dla danego języka obcego. Firma udostępniła kilka przykładów tego, do czego jest zdolne narzędzie TrueSync na swojej stronie internetowej (flawlessai.com/product) – warto zobaczyć Toma Hanksa mówiącego po japońsku w „Forrest Gump”.
