안녕하세요, 
펭귄쌤 입니다.
펭귄쌤 입니다. 2024년에 전국의 많은 학교와 교사, 학생, 학부모들을 뒤집어지게 만들었던 사건인… 딥페이크 문제에 대해서 제가 윤리 자료를 뿌린 적이 있어요.
딥페이크 인공지능 윤리 교육 자료와 관련해서는 하단에 링크를 걸어놓을테니, 혹시 수업 시간에 시간이 남거나, 수업 준비가 안 된 날 요긴하게 쓰시기 바랍니다.
(수업용으로 쓰면 좋을 짧은 영상도 넣어놨어요!)
오늘의 주제는 딥 페이크입니다.
정보 선생님들 모두 중학교, 고등학교 정보 교과는 그 동안의 경험을 살려 잘 가르치시지만,
아무래도 인공지능 분야는 상대적으로 덜 접해서 부담되시는 분들 많으시죠?
그래서 딥페이크란 무엇이고, 딥페이크는 어떻게 생성되는지 원리를 분석해드릴게요.
딥페이크란 무엇인가?
딥페이크(Deepfake)는 '딥 러닝(Deep Learning)'과 '가짜(Fake)'의 합성어입니다. 인공지능 기술, 특히 딥 러닝을 활용하여 실제처럼 보이는 가짜 이미지, 오디오 또는 비디오 콘텐츠를 만들어내는 기술을 의미합니다. 사진 조작을 넘어, 특정 인물의 얼굴이나 목소리를 다른 영상이나 음성에 자연스럽게 합성할 수도 있습니다.
딥페이크에 사용되는 기술은?
딥페이크의 개념과 활용 사례는 익숙하시겠지만, 실제 어떤 기술 원리로 작동하는지 궁금하실 겁니다. 딥페이크 생성에 주로 사용되는 두 가지 핵심 인공지능 기술을 쉽게 설명해 드릴게요
먼저 토끼 간은 아니고 GAN(Generative Adversarial Network), 생성적 적대 신경망이 있습니다.
신경망 이야기가 나오니 벌써부터 지끈지끈하신가요? 최대한 쉽게 풀어보자고요.
GAN에는 크게 두 가지 신경망이 있어요.
첫째, 생성자(Generator)로 실제와 비슷한 가짜 이미지(또는 데이터)를 만들어냅니다. 마치 위조 지폐를 만드는 범죄자와 같습니다.
둘째, 판별자(Discriminator)로 생성자가 만든 이미지가 진짜인지 가짜인지를 판별합니다. 진짜 지폐와 위조 지폐를 구분하려는 경찰과 같죠.
이 둘은 범죄자(생성자)와 경찰(판별자)의 관계라고 보시면 좀 더 이해하기 쉬우실 거에요.
범죄자는 경찰을 피하기 위해 실제와 비슷한 위조 지폐를 만들고
경찰은 실제 지폐와 위조 지폐를 구분하려 하죠.
이 두 신경망은 서로를 속이고 판별하는 과정을 반복하며 성능을 향상시킵니다. 생성자는 판별자를 완벽히 속일 수 있을 정도로 정교한 가짜 이미지를 만들게 되고, 판별자는 아무리 정교한 가짜도 구분해 낼 수 있도록 학습됩니다. 이 경쟁 과정에서 실제와 구별하기 어려운 딥페이크 콘텐츠가 탄생하는 것이죠.
다음은 좀 더 생소하실 오토인코더(Autoencoder)입니다.
오토인코더는 비지도학습(unsupervised learning) 방식의 인공 신경망이에요.
지도학습(supervised learning): 정답(레이블)이 있는 데이터를 학습하여 예측하거나 분류하는 방식 (예: 스팸 메일 분류)
비지도학습(unsupervised learning): 정답 없이 데이터 자체의 숨겨진 패턴이나 구조를 학습하는 방식 (예: 고객 군집화, 차원 축소)
한 줄로 요약해 설명하자면, 데이터를 압축했다가 다시 복원하는 신경망 구조에요.
오토인코더는 데이터를 압축했다가 다시 복원하는 신경망 구조를 가지며, 세 가지 주요 부분으로 구성됩니다.
인코더(Encoder): 입력된 이미지를 낮은 차원의 잠재 표현(latent representation)으로 압축,
잠재 공간(Latent Space): 압축 과정에서 생성되는 낮은 차원 공간
디코더(Decoder): 아까 압축한 잠재 표현을 원래 차원의 데이터로 복원
오토인코더는 얼굴과 같은 복잡한 데이터를 효과적으로 압축하고 표현하는 데 뛰어납니다. 이를 통해 데이터에서 중요한 특징을 자동으로 학습하여 얼굴 변환 등에 활용될 수 있습니다. 다만, 압축 과정에서 일부 정보 손실이 발생할 수도 있다는 한계도 있습니다.
두 기술은 같이 사용될 수도 있어요. 고급 딥페이크 모델 중에는 VAEGAN처럼 오토인코더와 GAN을 결합하여 더욱 정교하고 사실적인 결과물을 만드는 경우도 있습니다.
딥페이크의 작동 원리는?
1. 데이터 수집 및 전처리
우리가 흔히 알고 있는 딥페이크 영상을 만들기 위해서는 두 개의 영상이 필요합니다.
하나는 표정과 동작을 제공할 영상(소스 영상), 다른 하나는 얼굴이 바뀔 대상의 영상(원본 영상)입니다. 여기서 영상을 개별 프레임(이미지)으로 분리하는 것부터 시작합니다.
소스 영상(Source Video): 표정, 동작 등 움직임을 제공할 영상입니다.
원본 영상(Target Video): 얼굴이 바뀌게 될 대상의 영상입니다.
프레임(Frame)이란?
우리가 보는 영상은 사실 수많은 정지 이미지들이 빠르게 재생되며 움직이는 것처럼 보이게 만든 것입니다. 스마트폰으로 영상을 촬영해본 적 있으신가요? 스마트폰으로 영상을 찍을 때 24FPS, 30FPS 등 설정을 바꿀 수 있는데요. 1초에 24장이 들어가면 24FPS, 30장이 들어가면 30FPS 이런 식입니다. FPS(Frame Per Second)는 초당 프레임 수를 의미합니다!
분리된 이미지에서 인공지능이 얼굴을 찾아내고, 눈, 코, 입 등 중요한 얼굴 특징점(Facial Landmarks)을 파악한 뒤 모델이 학습하기 좋도록 얼굴 이미지를 조정하는 데이터 전처리 과정을 거칩니다.
2. 모델 학습
수집된 데이터는 인공지능 모델의 학습에 사용됩니다. 주로 위에서 설명한 오토인코더와 같은 신경망 모델이 활용됩니다.
개별 모델 학습: 영상에 나온 두 사람(소스 인물과 원본 인물) 각각을 위한 별도의 모델을 만들기도 합니다.
반복 학습: 각 모델은 얼굴 이미지를 인코더로 압축하고 디코더로 복원하는 과정을 수없이 반복하며, 실제 얼굴을 정확하게 복원할 수 있을 때까지 학습합니다. 이 과정에서 모델은 각 인물의 얼굴 특징과 표정 변화를 정교하게 학습하게 됩니다.
3. 얼굴 교체 및 합성
학습된 모델을 바탕으로 실제 얼굴을 교체하는 단계입니다.
얼굴 변환: 원본 영상의 각 프레임에서 얼굴을 인식하고, 학습된 모델에 입력하여 소스 영상의 얼굴로 변환합니다.
블렌딩 처리: 변환된 얼굴이 원래 영상에 어색하지 않게 합쳐지도록 얼굴 경계를 부드럽게 처리하는 블렌딩(Blending) 등의 후처리 작업이 이루어집니다. 이를 통해 합성된 얼굴이 자연스럽게 보이도록 만듭니다.
4. 품질 향상
합성된 영상의 품질을 더욱 높이기 위한 작업입니다.
보정 작업: 픽셀 깨짐, 흐릿함, 색상 불균형 등 합성 과정에서 발생할 수 있는 문제점들을 수정합니다.
자연스러움 강화: 피부 톤, 조명, 그림자 등을 조정하여 합성된 얼굴이 원래 영상의 환경에 완벽하게 어울리도록 만듭니다. 이는 마치 사진을 찍은 후 전문적인 보정 작업을 거쳐 더 멋진 결과물을 얻는 과정과 유사합니다.
5. 프레임 재결합 및 인코딩
마지막으로, 모든 후처리된 프레임들을 다시 순서대로 합쳐 하나의 완성된 영상으로 만듭니다.
최근에는 이 모든 과정이 실시간으로 이루어져 라이브 영상에도 딥페이크 기술이 적용될 정도로 발전했습니다.
기술의 양면성
인공지능 기술에 대해 학생들의 이해도를 높이는 것도 중요하지만, 이 기술이 가진 양면성에 대해 분명하게 교육하는 것이 무엇보다 중요하다고 생각해요.
딥페이크 기술은 영화 특수효과, 가상현실, 교육 콘텐츠 제작 등 긍정적인 용도로 활용될 잠재력을 가지고 있습니다. 하지만 반대로 악용될 경우, 다음과 같은 심각한 사회적 문제를 일으킬 수 있습니다.
가짜 뉴스(Fake News) 및 허위 정보 유포: 특정 인물이 하지 않은 말이나 행동을 만들어내어 사회적 혼란을 야기할 수 있습니다.
사기 및 협박: 음성이나 영상 위변조를 통해 금전적 이득을 취하거나 개인을 협박하는 범죄에 활용될 수 있습니다.
사이버 성착취물 제작 및 유포: 가장 심각하고 파괴적인 문제 중 하나로, 개인의 인권을 침해하고 돌이킬 수 없는 피해를 줄 수 있습니다.
따라서 학생들에게 딥페이크라는 단어 자체에 무조건적인 적대감을 갖도록 하기보다는, 기술은 도구이며 그 도구를 사용하는 사람의 윤리 의식과 책임감이 얼마나 중요한지를 강조해야 합니다. 기술을 올바르게 이해하고 책임감 있게 사용하는 디지털 시민 의식을 함양하는 것이 우리의 역할입니다.
딥페이크 윤리 교육 자료 공유
아시다시피 작년(2024년)에 딥페이크로 인해 학교에 크게 문제가 생긴 적이 있어요.
그래서 긴급히 교육하라고 공문도 내려오고 했는데, 내려오는 교육 자료들이 크게 마음에 들지도 않고, 느리다고 판단해 직접 만들어서 배포한 자료에요.
학교 수업할 때 시간이 잠깐 남거나, 인공지능 윤리 교육이 필요하시면 가져다 쓰시면 됩니다. ^^
지금까지 펭귄쌤이었어요. 긴 글 읽느라 모두 고생 많으셨어요! 유용한 정보가 되었기를 바랍니다.