Предустановки:

Программа для изменения лиц в видео с помощью нейросети, работающей на графическом ускорителе GeForce 10 series
Это сборка из github репозитория https://github.com/deepfakes/faceswap
Отличия от программы FakeApp.org:
+ 100% протестировано на чистых Windows 7 и Windows 10
+ быстрее загружается, т.к. нет каждый раз распаковки в temp
+ лучше выборка лиц, меньше артефактов
+ быстрее тренировка, т.к. жарит GPU на всю катушку, по графикам нагрузки нет прогалов в GPU Usage, температура 78C против 65C на FakeApp.
+ лучше результат наложения
+ есть метод тренировки GAN ( generative-adversarial-network )
+ отсутствие логотипа FakeApp в финальный результат
- обновление preview окна не частое
- кому-то покажется недостатком отсутствие графического интерфейса

Предустановки:

Обновляете драйвера на вашу GeForce видеокарту.
Распаковываете папку FaceSwap из архива в корень любого диска, например C:
Ставите из архива instVC_redist_2015_x86.exe
Ставите из архива instVC_redist_2015_x64.exe
Ставите из архива instVC_redist_2017_x86.exe
Ставите из архива instVC_redist_2017_x64.exe
Ставите NVidia CUDA 8.0 без патчей под вашу ОС
В инсталляторе выбираете Custom и только CUDA ветку.
Если инсталлятор NVidia CUDA ругался на возможность работы CUDA на вашей видеокартой, значит вы не сможете использовать данный продукт на вашем компьютере.
Далее по порядку:
FaceSwapworkspace - наша рабочая папка для хранения модели целиком (видео, фото, файлы самой программы).
1) clean workspace.bat - очистит рабочую папку, не трогая data_src(dst).mp4 и result.avi
Кладёте в папку workspace ваше видео data_src.mp4 формата максимум 1080р - это видео откуда брать лицо. Тестовое 720p видео уже содержится в папке.
Кладёте в папку workspace ваше видео data_dst.mp4 формата максимум 1080р - это видео где заменить лицо. Тестовое 720p видео уже содержится в папке.
Если у вас 4Gb видео памяти, то используйте только 720p видео.
Лицо должно быть одно в видео, иначе все лица будут в выборке.
Можете посмотреть какие лица извлеклись в п4.1 и п5.1 ниже.
Если нашли посторонние лица или артефакты - можно:
- либо вырезать их в изначальном видео и повторить процесс заново
- либо удалить файлы с артефактами, просматривая их в п4.1 и п5.1, тогда если в конечном видео нечто наложится на артефакты - то можно в видеоредакторе "замазать" их маской оригинального видео
2) PNG data_src.bat - конвертирует видео откуда брать лицо в набор PNG в workspacedata_src
3) PNG data_dst.bat - конвертирует видео где заменить лицо в набор PNG в workspacedata_dst
4) data_src align.bat - производит выборку лиц из набора PNG workspacedata_src для дальнейшей работы
4.1) data_src align view results.bat - просмотр результатов выборки лиц с помощью портативной программы FSViewer. Проскролите всю папку, и если обнаружите артефакты - см выше.
5) data_dst align.bat - производит выборку лиц из набора PNG workspacedata_dst для дальнейшей работы
5.1) data_dst align view results.bat - просмотр результатов выборки лиц с помощью портативной программы FSViewer. Проскролите всю папку, и если обнаружите артефакты - см выше.
6. Тренировка.
Отключаем любые программы, которые могут использовать видео память.
6) train Original.bat - тренировка оригинальным методом.
6) train LowMem.bat - тренировка сокращенным методом. <- Если у вас 4Gb видеопамяти, то это ваш метод.
6) train GAN.bat - тренировка методом GAN.
В процессе тренировки можно выходить через Enter, нажав его в окне training, и запускать в любое время, модель будет продолжать обсчитываться с той же точки.
Также можно сделать следующие пункты, чтобы посмотреть финальный результат, а затем продолжить тренировать.
Тренируем от 12 часов и больше. Когда результат удовлетворяет - выходим также через Enter, нажав его в окне training.
7) Наложение лиц.
Запускаем только тот метод, с которым вы тренировали модель.
7) merge to dst Original.bat - наложение лиц оригинальным методом в режиме seamless clone.
7) merge to dst LowMem.bat - наложение лиц сокращенным методом в режиме seamless clone.
7) merge to dst GAN.bat - наложение лиц методом GAN. - пока лучше не использовать , работает криво, сейчас ведется работа по его улучшению
Результат картинок в workspacedata_dstmerged - можно использовать самому в видеоредакторе, либо склеить в видео в п.8
8) merged dst to avi.bat - склеивает картинки в видео в workspaceresult.avi в исходном FPS. Также любые прогалы PNG в наборе merged автоматически заполняются соседними кадрами.
Всё. Результат в workspaceresult.avi. Если результат не удовлетворил, можно продолжать тренировать с п.6.
Подробнее о методах тренировки:
Оригинальный метод. Текущий действующий алгоритм, из которого изготовлены большинство видео на ютубе.
Сокращенный метод. То же что и Обычный метод, только нейронная сеть сокращена, поэтому используется меньше видео памяти. Подходит для видеокарт с 4GB видеопамяти.
Метод GAN. Позволяет улучшить результаты с лицами закрытыми чем-либо. Требует больше времени на изучение.
Дополнительная информация:
workspace backup.bat - сохранит workspace в backup_workspace
workspace restore.bat - восстановит workspace из backup_workspace
Почему result.avi, а не mp4 ? Кодек используется всё равно x264, но почему-то mp4 не грузится в фотошопе и в sony vegas.

Оригинал темы

СКАЧАТЬ


Автор: Странник
0 комментариев
Войдите, чтобы оставить комментарий. Простая в два клика.
Пока никто не оставил комментариев к этой статье. Вы можете стать первым!