TeamQuest Blog

Dubingowany aktor dostanie nowe usta

Dubingowany aktor dostanie nowe usta

Marcin Sarna , 07.05.2021 r.

Sztuczna inteligencja dostosuje ruch warg do wersji językowej filmu.

Dubbing to już nie tylko zmiana ścieżki audio

Dla tych, którzy uważają, że czytanie napisów do zagranicznych filmów jest zbyt rozpraszające, filmy są dubbingowane na różne języki. Ale nie wygląda to zbyt dobrze gdy ruchy ust aktora nie są zsynchronizowane z tym, co mówi w „nowym” języku. Dlatego firma Flawless stworzyła rozwiązanie oparte na sztucznej inteligencji, które modyfikuje obraz twarzy aktora.

Mamy wiele powodów aby niepokoić się coraz częstszym użyciem sztucznej inteligencji i narzędzi opartych na sieci neuronowej do manipulowania zdjęciami i filmami. Prawie zawsze robi się to w celu tworzenia sytuacji, które nigdy się nie wydarzyły lub sprawiania, by osoby publiczne powiedziały coś, czego nie zrobiły (znamy to przecież z tzw. deepfake'ów, które rozprzestrzeniają się błyskawicznie w Internecie). Ale możliwości jakie przynosi nam postęp technologiczny mogą zostać wykorzystane także w innych zastosowaniach - na przykład do dalszego zwiększania dostępności filmów i ich „lokalizacji”.

Komputery modyfikują filmy nie od dziś

Takie same obawy ludzie odczuwali gdy grafika komputerowa posuwała się do przodu w zawrotnym tempie dzięki filmom takim jak Terminator 2, Twister czy Jurassic Park. Rozwinęły one fotorealistyczne efekty wizualne w sposób, jakiego nigdy wcześniej nie widzieliśmy. Ta technologia ostatecznie dotarła do konsumentów i nawet twórcy-amatorzy mogą produkować filmy o hollywoodzkim kalibrze, mając tylko smartfona i laptopa i bez konieczności dysponowania budżetem na miarę Hollywood. Narzędzia te stały się również łatwiejsze w użyciu dzięki ciągłym przełomom w przetwarzaniu obrazu opartym na sztucznej inteligencji. Ręczne wymazywanie obiektów w klipie wideo to już tylko historyczny, bardzo czasochłonny proces wymagający złożonego maskowania i dostosowywania klatka po klatce. Dziś robi to za nas zautomatyzowana funkcja Adobe After Effects.

Na czym polega nowość Flawless?

To, co Flawless obiecuje zrobić ze swoim oprogramowaniem TrueSync, to użycie tych samych narzędzi, które są odpowiedzialne za deepfake wideo, do manipulowania i dostosowywania twarzy aktora w filmie. Chodzi o to aby ruchy jego ust (mięśnie twarzy) były bardziej zbliżone do tego, jak poruszałyby się, gdyby film był nakręcony w języku znanym zagranicznej publiczności. Więc nawet jeśli reżyser nakręcił film po angielsku, dla kinomaniaka w Berlinie oglądającego film z dubbingiem w języku niemieckim, wyglądałoby to tak, jakby wszyscy aktorzy faktycznie mówili po niemiecku w dniu kręcenia sceny.

Czy to konieczne? To z pewnością będzie przedmiotem niekończącej się dyskusji. Niedawny, nagrodzony Oscarem film Parasite na nowo wzniecił rozmowy na temat dubbingowania zagranicznego filmu a nie oglądania go z napisami. Są tacy, którzy uważają, że niekończący się ciąg liter na dole filmu rozprasza i odwraca uwagę od wszystkiego innego, co dzieje się na ekranie. Ale znamy przecież także zagorzałych przeciwników dubbingu, zdaniem których nawet utalentowany i doświadczony „podkładacz” dźwięku po prostu nie może przekonująco odtworzyć emocji kryjących się za występem prawdziwego aktora. Uważają oni, że lepiej jest słuchać takiego aktora w jego języku, nawet jeśli słowa nie są zrozumiałe, bo inaczej nie można mówić o chłonięciu utworu jako pewnej całości.

Flawless oświadczyło, że Sercem systemu jest „mechanizm zachowania spektaklu”, który rejestruje wszystkie niuanse i emocje oryginalnego materiału. Tak więc, pomimo zmiany ruchów twarzy aktora, jego oryginalne, niuansowe zachowanie, wszystko to co znamy jako aktorski warsztat, ma zostać zachowane i przeniesione na „nieruchomą” twarz z poprawionymi jedynie ruchami warg, poprawnymi dla danego języka obcego. Firma udostępniła kilka przykładów tego, do czego jest zdolne narzędzie TrueSync na swojej stronie internetowej (flawlessai.com/product) – warto zobaczyć Toma Hanksa mówiącego po japońsku w „Forrest Gump”.

Najnowsze oferty pracy:

Polecane wpisy na blogu IT:

Szukasz pracownika IT?

Dostarczymy Ci najlepszych specjalistów z branży IT. Wyślij zapytanie

Wyrażam zgodę TeamQuest Sp. z o.o. na przetwarzanie moich danych osobowych w celu marketingu produktów i usług własnych TeamQuest, w tym na kontaktowanie się ze mną w formie połączenia telefonicznego lub środkami elektronicznymi.
Administratorem podanych przez Ciebie danych osobowych jest TeamQuest Sp. z o.o., z siedzibą w Warszawie (00-814), ul. Miedziana 3a/21, zwana dalej „Administratorem".
Jeśli masz jakiekolwiek pytania odnośnie przetwarzania przez nas Twoich danych, skontaktuj się z naszym Inspektorem Ochrony Danych (IOD). Do Twojej dyspozycji jest pod adresem e-mail: office@teamquest.pl.
W jakim celu i na jakiej podstawie będziemy wykorzystywać Twoje dane? Dowiedz się więcej