7 grudnia 2017 r
Słowa kluczowe: skanowanie 3d, animacja twarzy, awatary 3d, skinning 3d, olinowanie 3D, mimika, przechwytywanie twarzy.
W naukach historycznych metoda MM jest powszechnie znana. Rekonstrukcja twarzy Gerasimowa [1] . Metoda odbudowy twarzy na czaszce jest szeroko rozpowszechniona w antropologii, a liczba udanych rekonstrukcji skamieniałych ludzi i osób historycznych wynosi setki. Dziedzictwo Gerasimowa i jego metoda rekonstrukcji twarzy została szeroko rozpowszechniona w pracach jego uczniów i studentów. [2] .Dzięki trójwymiarowemu skanowaniu prac wykonanych metodą Gerasimova pojawia się naukowo uzasadniony trójwymiarowy model, który może być później wykorzystany jako podstawa do tworzenia rekonstrukcji naśladujących w oparciu o symulację pracy mięśni i związek pracy mięśni z resztkami kości.
Jednak podczas tworzenia takiej rekonstrukcji pojawia się szereg pytań wymagających szczegółowego opracowania, z których najważniejsze to: związek cech i cech mimiki ze źródeł opisowych dla postaci, biomechanika pracy mięśni i ich związek z danymi kostnymi, problem relacji między sztuką a nauką w takich rekonstrukcje.
Podczas korzystania z technologii mimikry gościa w muzeum, na interaktywnej wizytówce, takie rekonstrukcje mimiczne „trójwymiarowe awatary” mogą wizualnie prezentować postać i jej cechy w interesującym i interesującym formacie dla odwiedzających, a prezentowane w formie filmu „rewitalizować” rzeźbę, popiersie, maskę lub rekonstrukcja obrazu.
W dyskusjach na temat metody Gerasimowa możliwość wykorzystania technologii komputerowych do rekonstrukcji była wielokrotnie podnoszona, ale w oparciu o ogólne intonacje dźwięku można powiedzieć, że nie jest zadowolony z profesjonalnych rzeźbiarzy, ponieważ jest niezwykły. [3] Pomimo tego, że dzisiaj istnieje duża liczba programów do tak zwanej „rzeźby” - rzeźbienia trójwymiarowych modeli w specjalnych edytorach, metoda zwykłego modelowania artystycznego pozostaje bardziej powszechna. [4]
Wraz z rozprzestrzenianiem się trójwymiarowego sprzętu skanującego pojawiła się możliwość jego zintegrowanego wykorzystania do rekonstrukcji metodą Gerasimova wraz z nowoczesnymi technologiami przetwarzania końcowego stosowanymi w dziedzinie kina i tworzenia gier. Dotyczy to możliwości animacji szkieletowej, animacji twarzy i tworzenia shaderów i tekstur, które mogą przekazywać nie tylko przestrzenną charakterystykę rekonstrukcji, ale także właściwości optyczne koloru tkanek ciała.
Jedną z takich interesujących technologii kinematograficznych jest przykład technologii realistycznego tworzenia SSS (rozpraszanie podpowierzchniowe lub rozpraszanie podpowierzchniowe), która może przekazywać cechy skóry z wysokim stopniem realizmu. Po raz pierwszy technologia ta została wykorzystana w filmie „Prometeusz” (reż. Ridley Scott, 2012) i jest obecnie szeroko rozpowszechniona w kinie i technologiach trójwymiarowych.
Rys.1. Ostateczna rekonstrukcja statyczna: dodano cieniowanie skóry, zmarszczki, dodano włosy.
Efektem końcowym takiej pracy nad rewitalizacją „rewitalizującą” jest interaktywna rekonstrukcja, która po odsłonięciu w muzeum działa w trybie „lustrzanym”, kopiując mimikrę gości i próbując ją odtworzyć.
Ta technologia opiera się na tzw. Blendshape. [5] Modele są wstępnie modelowane przy użyciu trójwymiarowego rzeźbienia wyrazu twarzy trójwymiarowego skanu (tzw. wzorce mimiczne), które są dopasowane do wyrażeń twarzy gościa za pomocą specjalnego oprogramowania. Najbardziej znanymi programami do przechwytywania wyrazu twarzy bez znaczników są funkcja Facehift [6] Brekel Face Pro [7] Twarze [8] et al. Mimika odwiedzającego jest rejestrowana za pomocą czujnika głębokości kinect lub podobnych czujników głębokości. [9] Gotowa interaktywna instalacja została przetestowana na festiwalu „Scientists Against Myths 5” i wzbudziła zainteresowanie odwiedzających. [10]
Rys.2. Interaktywna instalacja z naśladującą rekonstrukcją popiersia neandertalczyka, zastosowano trójwymiarowy skan MM M. Gerasimow
Chciałbym bardziej szczegółowo omówić etapy procesu pracy nad animowaniem i tworzeniem rekonstrukcji mimicznych na podstawie rekonstrukcji popiersi metodą Gerasimowa, a także oprogramowania wykorzystywanego do takiej pracy.
Rys.3. Dostosuj cieniowanie skóry i rysowanie tekstur. Autodesk 3DS MAX i Corona Render /
Na samym początku pracy przeprowadzono trójwymiarowy skan popiersia neandertalczyka wystawionego w Państwowym Muzeum Ewolucji w Państwowym Muzeum Darwina. Służy do skanowania skanera trójwymiarowego Artec Eva [11] . Ten skaner jest uniwersalnym rozwiązaniem do skanowania obiektów o średnich i dużych rozmiarach. Deklarowana dokładność skanera wynosi 0,1 mm. W swojej pracy skaner wykorzystuje technologię podświetlenia strukturalnego, która pozwala na digitalizację w czasie rzeczywistym. Ponadto technologia oświetlenia strukturalnego pozwala uzyskać tekstury trójwymiarowego modelu z równomiernie oświetloną powierzchnią. Skaner 3D używany w połączeniu z oprogramowaniem Artec Studio 9 . To oprogramowanie pozwala na przetwarzanie powstałych fragmentów trójwymiarowych i ich dopasowanie. Program posiada unikalne algorytmy do korygowania i korygowania geometrii, a także przetwarzania końcowego modelu, aby uzyskać najlepsze wyniki.
Rys.4. Skanowanie rekonstrukcji MM. Gerasimow w Muzeum Darwina.
Kolejnym etapem jest tzw. Retopologia (zmiana form geometrycznych modelu trójwymiarowego) i optymalizacja modelu uzyskanego w procesie skanowania. a także wyposażenie skanowania trójwymiarowego z otworami na oczy. Ponieważ oprogramowanie jest przeznaczone przede wszystkim do pracy z obiektami niskopolitowymi, konieczne jest znaczne zmniejszenie gęstości siatki wielokątnej. Aby to zrobić, użyj metody transferu szczegółów z modelu high-poly (tak zwanego „wypieku” normalnej mapy z modelu high-poly do low-poly). W przypadku retopologii zastosowano specjalne oprogramowanie Instant Meshes - darmowy program do automatycznej retopologii siatek: tworzenie jednolitej siatki trójkątów lub czworokątów. Jest to praktyczna realizacja metody zaproponowanej w artykule „Natychmiastowe wyrównane pola” (Wenzel Jakob, Marco Tarini, Daniele Panozzo, Olga Sorkine-Hornung), zaprezentowanym na SIGGRAPH Asia 2015 przez specjalistów ze Szwajcarskiej Wyższej Szkoły Technicznej w Zurychu. [12]
Ponadto do rzeźbienia 42 emocji i przetwarzania otworów na oczy i usta wykorzystano tablet graficzny i bezpłatną usługę online do rzeźbienia rzeźby w Internecie. [13] . Powstałe modele zostały połączone w blendshapes przy użyciu modyfikatora morfingu w Autodesk 3ds Max. Film o tym, jak ten wygląd można wyświetlić na linku YouTube na końcu artykułu.
Rys.5. Optymalizacja rotopologii i skanowania 3D za pomocą oprogramowania Instant Meshes.
Najtrudniejszym i najbardziej czasochłonnym etapem po symulacji był tzw. Skinning - wyposażenie trójwymiarowego modelu w kości i odstrojenie deformacji modelu i jego połączenia z układem kostnym. W tym celu system animacji wykorzystujący kości w 3ds max i modyfikator skóry. Jest to dość żmudna praca i trzeba ją było przerobić kilka razy, aby nagiąć model realistycznych obrazów zachowania skóry i stawów szyi.
Rys.4. Aby trójwymiarowy model był realistycznie zdeformowany, musi być
dostosuj: te etapy nazywane są olinowaniem (os nastka bones) i skórowaniem (deformacja)
Podsumowując, można zauważyć, że do tej pory w naszej pracy istnieje duży stopień komponentu artystycznego, a teraz zaczynamy pracę ze specjalistami od metody Gerasimova, aby móc konstruować deformacje powierzchni nie na podstawie ręcznego modelowania, wykorzystując cechy pracy tkanki mięśniowej. Ostateczny proces animowania mimiki twarzy i interaktywnej interakcji można obejrzeć pod linkiem na Youtube. [14]
Akhtamzyan A.I.
Olshansky D.V.
Akhtamzyan N.I.
Dział projektów multimedialnych i internetowych
Muzeum Darwina
[1] Gerasimov M.M. Przywracanie twarzy przez czaszkę „(Człowiek współczesny i skamieniały) // Postępowanie Instytutu Etnografii Akademii Nauk ZSRR 28 listopada, 1955.
[2] Patrz na przykład D.V. Pezhemsky Experiments MM. Gerasimow, aby przywrócić wygląd starożytnych książąt
[3] Taylor, RG & Angel, C. (2005). Rekonstrukcja twarzy i aproksymacja. Komputerowa rekonstrukcja twarzy. 177-185.
[4] ZBrush to standardowy adres URL aplikacji do rzeźbienia cyfrowego w branży 3D: http://pixologic.com/ (data odwołania: 30.11.2017).
[5] Użyj Blend Shapes (mieszanie formularzy) do animowanych adresów URL: https://docs.unity3d.com/ru/530/Manual/BlendShapes.html (data odwołania: 28.11.2017).
[6] Po zakupie oprogramowania Apple przestało istnieć http://faceshift.com (data obiegu: 28.11.2017)
[7] Brekel Pro Face 2 URL: http://brekel.com/brekel-pro-face-2/ (data odwołania: 28.11.2017).
[8] Wyśmienita twarz. URL: http://facewaretech.com/company/ (data odwołania: 28.11.2017).
[9] Kinect to adres URL kontrolera gier bezstykowego ekranu dotykowego: https://ru.wikipedia.org/wiki/Kinect (data odwołania: 28.11.2017).
[10] Festiwal „Naukowcy kontra mity 5” URL: http://antropogenez.ru/scientists-against-myths/ (data odwołania: 30.11.2017).
[11] Artec Eva Fast 3D-skaner dla profesjonalistów URL: https://www.artec3d.com/ru/portable-3d-scanners/artec-eva (data dostępu: 11/30/2017).
[12] Instant Meshes: Adres URL programu do autoretopologii z czwórką: https://github.com/wjakob/instant-meshes (data odwołania: 11/30/2017).
[13] SculptGL - aplikacja do rzeźbienia w WebGL - Stephane Ginier URL: https://stephaneginier.com/sculptgl/ (data kontaktu: 11/30/2017).
[14] Interaktywny Avatar 3D neandertalczyka wykonany z trójwymiarowego skanu w adresie URL muzeum: https://youtu.be/NuZ8kB37v2k (data obiegu: 30.11.2017).
Komentarze mogą tylko odejść zarejestrowani użytkownicy
