딥페이크 영상 만들기 PC / 어플 딥페이스랩 프로그램

최근 큰 이슈가 되었던 딥페이크 영상이 있는데요 미국 대선에서 오바마 대통령이 트럼프를 욕하는 딥페이크 영상이 나오면서 큰 논란거리가 되었었습니다

전문가도 몰라볼정도로 너무나도 정교하고 진짜같은 기술이기 때문에 앞으로도 큰 문제가 되고 있죠

딥페이크 영상 만드는법

하지만 기술발전에 따라서 이런 영상은 점점 늘어날것이고 호기심 많은 분들은 어떻게 만드는지 궁금해할 수도 있을것 같아서 한번 모든 과정을 설명드려볼까 합니다

먼저 딥페이크 영상 만들기를 위해서 딥페이스랩 (deepfacelab) 프로그램이 있어야 합니다

다운로드 방법은 해당 사이트 주소로 가셔서 직접 다운로드 받아주시면 되는데요

자신의 컴퓨터 그래픽카드 종류에따라서 받아야하는 프로그램 버전이 달라질 수 있기 때문에 이점은 꼭 주의하셔서 진행하셔야곘죠

▶ NVIDIA(엔비디아) 그래픽카드용 다운로드(링크) ◀

▶ AMD(암드) 그래픽카드용 다운로드(링크) ◀

공식 사이트에서는 인비디아 그래픽카드를 정식지원하지만 AMD는 더이상 지원하지 않는다고 발표를 했죠

하지만 위에있는 OPENCL 버전으로 진행할 수 있습니다

글로 설명드리는것보다 영상으로 직접 확인해보시면 이해가 빠르시겠죠

딥페이크 영상 제작 과정

물론 처음에는 어려워보여도 몇번 따라해보시면 그렇게 어렵지 않은것을 알 수 있습니다

전체적인 과정을 살펴보면 2개의 폴더와 나머지 1번 ~ 10번까지 배치파일들이 있는것을 알 수 있죠 번호순서대로 설명을 드려보자면……

1번 : workspace 비우기

2번 : 소스영상 이미지 추출

3번 : 목적영상 이미지 추출

4번 : 소스영상 얼굴 이미지 추출

5번 : 목적영상 얼굴 이미지 추출

6번 : 트레이닝(딥러닝)

7번 : 딥페이크 영상 이미지 합성

8번 : 딥페이크 영상 최종 레코딩

전체적으로 보면 위 단계로 구성되어 있습니다 세부적인 사항은 위에 영상으로도 잘 설명이 되어 있는데요

작업시 주의해야 하는 사항들이 있습니다

영상 얼굴 자동 추출 후 manualfix 추가하기

기본적으로 Deepfacelab 프로그램에서 data_dst 같은 경우 자동추출 + 수동추출(manualfix) 가 적용되어 있지만 data_src는 합쳐져 있는것이 없어서 수정을 해주셔야 하는데요

배치 파일의 편집으로 들어가주셔서 –manual-fix 를 추가해주시면 됩니다

만약 data_src extract whole_face S3FD + manualfix 을 수정한다고 하면

@echo off
call _internal\setenv.bat

“%PYTHON_EXECUTABLE%” “%DFL_ROOT%\main.py” extract ^
–input-dir “%WORKSPACE%\data_src” ^
–output-dir “%WORKSPACE%\data_src\aligned” ^
–detector s3fd ^
–face-type whole_face ^
–manual-fix

pause

가 되겠죠 꺽세표시 ^ 는 이어서 한다는 것이니 반드시 추가를 해주셔야 합니다

주의사항

4번과 5번 딥러닝 영상 얼굴 추출 후 물체나 손에 얼굴이 가려진 부분이 나올 수 있습니다

이런 경우 얼굴을 제외한 나머지 부분을 잘라줘야 이미지가 깔끔하게 나오게 됩니다 물론 위에서 설명드린 딥페이스랩 프로그램 내에도 자르는 기능들이 있지만

다른 툴들을 이용해서 잘라서 이용하시면 되니 참고하시면 좋을것 같습니다

트레이닝(train Quick96) 과정

다음으로 6번 트레이닝 과정을 설명드리면 Quick96 모드와 SAEHD 모드가 있는 것을 알 수 있습니다

퀵모드는 말그대로 빠르게 영상 결과물만 보고자 할때 진행하는 것이고 SAEHD 모드는 섬세하면서도 정확한 결과물을 출력할때 진행하는 것이라고 생각하시면 됩니다

트레이닝 기간은 최소 하루 이상을 추천드리지만 그래프가 작업이 진행할 수록 점점 아래로 내려가는 양상을 보이게 됩니다

하지만 위로 올라가는 경우 오버 트레이닝이 되는 경우이기 때문에 이런 경우 중지해주셔야 합니다

보통 위에 표시된 숫자가 소수점 2쨰자리 까지 가게 될떄가 적정 트레이닝 수치라고 할 수 있으니 참고하시길 바랍니다

영상 합성(merged Quick96)

다음으로 머지 과정인데요 영상을 합성하고 이미지들을 입히는 과정이라고 할 수 있습니다

주의사항은 만약 위에 트레이닝 과정에서 Quick96으로 진행하셨다면 머지 과정도 Quick96으로 똑같이 진행하셔야 한다는 점이죠

여러가지 필터 효과들이 있고 얼굴 크기, 색깔 선명도 등을 세밀하게 조정할 수 있기 떄문에 단축키를 확인하셔서 직접 설정해주시면 됩니다

필터값 모두 적용하기 : Shift + /

프레임 앞으로가기 : >

프리임 뒤로가기 : <

필터값 모두 저장하고 빠져나오기 : shift + >

필터값은 각 딥러닝 영상 배경 색과 비슷한 색으로 선택하셔서 수치를 올리거나 내려주시면 됩니다

최종 영상 렌더링(merged to mp4)

이제 합성된 영상을 렌더링 해서 뽑아내면 됩니다 8번까지 하셨으면 모두 완려한것이니 이제 최종 딥페이크 영상을 확인해보시면 됩니다

workspace 폴더 안 result 라고 영상이 생성된것을 볼 수 있습니다 실행하셔서 재생해보시면 완벽한 딥페이크 영상이 만들어졌습니다

얼굴만 다르고 자연스럽게 합성되어 있는것을 확인할 수 있습니다

딥페이크 프로그램 사용법 영상

얼굴 합성 어플 REFACE / Jiggy 사용법

반드시 컴퓨터(PC)에서만 얼굴 합성이 가능한것은 아닙니다 모바일에서도 더욱 쉽게 할 수 있죠

하지만 아무래도 PC에서 하는것보다 정교하게 나오진 않습니다 어디까지나 간편하면서도 재미를 가미해서 나오는 것이니까요

아래 관련 포스팅도 따로올려드리니 관심있는 분들은 참고하시면 좋을것 같습니다

▶ 모바일 딥페이크 어플을 이용한 얼굴 합성방법(링크) ◀

모자이크 제거 프로그램

영상 합성과 더불어 큰 인기를 끌고있는 모자이크 제거 방법에 대해서 물어보는 분들이 많은데요

관련 글도 소개해드리니 참고해보시면 도움 되실겁니다

▶ 동영상 모자이크제거 javplayer 다운로드 사용법 (링크) ◀

사실 예전부터 큰 화제가 되었던 프로그램이기도 하죠 모르셨던 분들은 참고해보시면 도움 되실겁니다