7 грудня 2017
Ключові слова: 3d сканування, лицьова анімація, 3d аватари, 3d skinning, 3d rigging, міміка, face capture.
В історичній науці широко відомий метод М.М. Герасимова реконструкції особи по кістковим останкам [1] . Метод відновлення особи по черепу набув широкого поширення в антропології, а число успішних реконструкцій копалин людей і історичних осіб обчислюється сотнями. Спадщина Герасимова і його методу реконструкції особи набув широкого поширення і в роботах його послідовників і учнів [2] .При тривимірному скануванні робіт виконаних за методом Герасимова з'являється науково аргументована тривимірна модель, яка в подальшому може використовуватися як основа для створення мімічної реконструкції на основі симуляції роботи м'язів і взаємозв'язку особливостей роботи м'язів з кістковими останками.
Однак в при створенні такої реконструкції з'являється цілий ряд питань, який вимагає детального дослідження, основними з яких є: взаємозв'язок характерних рис і особливості міміки по описовим джерел для персонажа, біомеханіка роботи м'язів і їх взаємозв'язок з кістковими даними, проблема співвідношення художності і науковості в таких реконструкціях.
При використанні технології захоплення міміки відвідувача в музеї, на інтерактивній вітрині, такі мімічні реконструкції "тривимірні аватари" можуть наочно уявити персонажа і його характерні особливості в цікавому для відвідувача і захоплюючому форматі, а будучи представленими у вигляді відео "оживити" скульптуру, бюст, маску або реконструкцію образу.
В обговореннях на тему методу Герасимова безліч разів порушувалося питання можливості використання комп'ютерних технологій для реконструкції, але виходячи із загальних інтонацій звучання можна сказати що професійних скульпторів він не влаштовує в силу того що є незвичним. [3] Незважаючи на те що на сьогоднішній день існує велика кількість програм для так званого "скульптінга" - ліплення тривимірних моделей в спеціальних редакторах, метод звичайної художньої ліпки залишається більш звичним. [4]
З поширенням тривимірного скануючого обладнання з'явилася можливість його комплексного використання для реконструкції за методом Герасимова разом з сучасними технологіями пост-обробки, що застосовуються в сфері кіно і при розробки ігор. Це стосується можливостей скелетної анімації, мімічної анімації, і створення шейдеров і текстур, які можуть передати не тільки просторові характеристики реконструкції, а й оптико-колірні властивості тканин тіла.
Однією з таких цікавих кінематографічних технологій можна привести приклад технологію реалістичного створення шкіри SSS (subsurface scattering, або підповерхневого розсіювання), який з високим ступенем реалістичності може передавати характеристики шкіри. Вперше ця технологія була використана у фільмі "Прометей" (реж. Рідлі Скотт, 2012), і зараз широко поширилася в кінематографі і тривимірних технологіях.
Рис.1. Підсумкова статична реконструкція: доданий шейдер шкіри, зморшки, додані волосся.
Кінцевому результатом такої роботи по "пожвавленню" реконструкцій є інтерактивна реконструкція, яка будучи виставленої в музеї працює в режимі "дзеркала" копіюючи міміку відвідувачів і приміряючи її на реконструкцію.
В основі цієї технології використовуються так звані blendshape [5] моделі - заздалегідь змодельовані за допомогою тривимірного скульптінга виразу обличчя тривимірного ськана (так звані мімічні патерни), які за допомогою спеціального програмного забезпечення зіставляються з виразами обличчя відвідувача. Найбільш відомі програми для безмаркерного захоплення міміки це Faceshift [6] , Brekel Face Pro [7] , Faceware [8] та ін. Захоплення міміки відвідувача проводиться за допомогою датчика глибини kinect або аналогічних сенсорів глибини. [9] Готова інтерактивна інсталяція була випробувана на фестивалі "Вчені проти міфів 5" і викликала активний інтерес відвідувачів. [10]
Рис.2. Інтерактивна інсталяція з мімічної реконструкції бюста неандертальця, використовувався тривимірний скан роботи М.М. Герасимова
Хотілося б докладніше зупинитися на етапах процесу роботи по анімації і створення мімічної реконструкцій на основі реконструкцій бюстів за методом Герасимова, а також на програмному забезпеченням для такої роботи.
Рис.3. Налаштування шейдеров шкіри і малювання текстур. Autodesk 3DS MAX і Corona Render /
На самому початку роботи було проведено тривимірного сканування бюста неандертальця, виставленого в Державному Дарвінівському музеї в залі "Еволюція людини". Для сканування використовувався тривимірний сканер Artec Eva [11] . Цей сканер є універсальним рішенням для сканування об'єктів середніх і великих габаритів. Заявлена точність сканера становить 0.1 мм. У своїй роботі сканер використовує технологію структурованої підсвічування, яка дозволяє проводити роботи з оцифрування в реальному часі. Також технологія структурованої підсвічування дозволяє отримати текстури для тривимірної моделі з рівномірно засвіченою поверхнею. Тривимірний сканер використовувався в зв'язці з програмним забезпеченням Artec Studio 9 . Це програмне забезпечення дозволяє обробляти отримані тривимірні фрагменти, зіставляти їх. У програмі є унікальні алгоритми для виправлення і корекції геометрії, а також пост-обробки моделі для отримання найкращих результатів.
Рис.4. Сканування реконструкції М.М. Герасимова в Дарвінівському музеї.
Наступний етап - це так звана ретопологія (зміна геометри чеських форм тривимірної моделі) і оптимізація вийшла в процесі сканування моделі. а також оснащення тривимірного ськана отворами для очей. Оскільки програмне забезпечення призначене в першу чергу для роботи з нізкополігональних об'єктами необхідно сильно скоротити щільність полігональної сітки. Для цього використовується метод перенесення деталізації з високополігональні моделі (так зване "запікання" карти нормалей з високополігональні моделі на нізкополігональную). Для ретопологіі використовувалася спеціальне програмне забезпечення Instant Meshes - безкоштовна програма для автоматичної ретопологіі мешів: створення рівномірної сітки з трикутників або квадов. Вона є практичною реалізацією методу, запропонованого в статті «Instant Field-Aligned Meshes» (Wenzel Jakob, Marco Tarini, Daniele Panozzo, Olga Sorkine-Hornung), представленої на SIGGRAPH Asia 2015 фахівцями з Швейцарської вищої технічної школи Цюріха. [12]
Далі, для скульптінга 42 емоцій і обробки отворів для очей і рота був використаний графічний планшет і безкоштовний сервіс для онлайн скульптінга Sculpt Gl [13] . Підсумкові моделі були об'єднані в blendshapes за допомогою модифікатора morphing в програмі Autodesk 3ds Max. Відео про те як це виглядає можна подивитися за посиланням на YouTube в кінці статті.
Рис.5. Ретопологія і оптимізація тривимірного ськана за допомогою програмного забезпечення Instant Meshes.
Найскладнішим і трудомістким етапом після моделювання був так званий скіннінг - оснащення тривимірної моделі кістками і відбудова деформації моделі і її зв'язок з кістковою системою. Для цих цілей система анімації за допомогою кісток в 3ds max і модифікатор skin. Це досить копітка робота, і її доводилося кілька разів переробляти для того щоб місця згину моделі реалістично передавали поведінку шкіри і шийних суглобів.
Рис.4. Для того щоб тривимірна модель реалістично деформувалася її потрібно
налаштувати: ці етапи називаються ріггінг (ос Настка кістками) і скіннінг (деформації)
В якості висновку можна зазначити, що поки в нашій роботі є велика ступінь художньої складової, і зараз ми починаємо роботу з фахівцями за методом Герасимова для того щоб можна було побудувати деформації поверхонь не на основі ручного моделювання, в за допомогою особливостей роботи м'язової тканини. Підсумковий процес анімації міміки і інтерактивної взаємодії можна переглянути за посиланням на Youtube. [14]
Ахтамзян А.І.
Ольшанський Д.В.
Ахтамзян Н.І.
Відділ мультимедіа та інтернет проектів
Дарвіновського музею
[1] Герасимов М. М. Відновлення особи по черепу "(Сучасний і викопний осіб) // Праці Інституту етнографії АН СРСР. Нов. Сер. 28, М., 1955.
[2] Див. Наприклад Д.В. Пежемський Досліди М.М. Герасимова по відновленню зовнішнього вигляду давньоруських князів
[3] Taylor, RG & Angel, C. (2005). Facial Reconstruction and Approximation. Computer Graphic Facial Reconstruction. 177-185.
[4] ZBrush is the 3D industry's standard digital sculpting application URL: http://pixologic.com/ (дата звернення: 30.11.2017).
[5] Застосування Blend Shapes (форм змішування) для анімації URL: https://docs.unity3d.com/ru/530/Manual/BlendShapes.html (дата звернення: 28.11.2017).
[6] Після покупки програмного забезпечення компанією Apple перестав існувати http://faceshift.com (Дата звернення: 28.11.2017)
[7] Brekel Pro Face 2 URL: http://brekel.com/brekel-pro-face-2/ (дата звернення: 28.11.2017).
[8] Faceware prides itself and its products on core principles. URL: http://facewaretech.com/company/ (дата звернення: 28.11.2017).
[9] Kinect - безконтактний сенсорний ігровий контролер URL: https://ru.wikipedia.org/wiki/Kinect (дата звернення: 28.11.2017).
[10] Фестиваль "Вчені проти міфів 5" URL: http://antropogenez.ru/scientists-against-myths/ (дата звернення: 30.11.2017).
[11] Artec Eva Швидкий 3D-сканер для професіоналів URL: https://www.artec3d.com/ru/portable-3d-scanners/artec-eva (дата звернення: 30.11.2017).
[12] Instant Meshes: A free quad-based autoretopology program URL: https://github.com/wjakob/instant-meshes (дата звернення: 30.11.2017).
[13] SculptGL - A WebGL sculpting app - Stephane Ginier URL: https://stephaneginier.com/sculptgl/ (дата звернення: 30.11.2017).
[14] Інтерактивний 3D-Аватар неандертальця зроблений з тривимірного ськана в музеї URL: https://youtu.be/NuZ8kB37v2k (дата звернення: 30.11.2017).
Коментарі можуть залишати тільки зареєстровані користувачі
