인공지능(AI)은 예술과 창의성 분야에 혁명을 일으켜 참신하고 사실적인 이미지, 동영상, 음악, 텍스트의 생성을 가능하게 했습니다. 그러나 AI는 기존 아티스트의 스타일과 콘텐츠를 동의나 저작자 표시 없이 쉽게 복사, 조작, 재생산할 수 있기 때문에 예술 작품의 독창성과 소유권에 위협이 되기도 합니다.
이로 인해 아티스트의 권리 보호와 표절 및 불법 복제 방지에 관한 윤리적, 법적, 사회적 문제가 제기되고 있는데 이러한 문제를 해결하기 위해 시카고 대학교의 연구진은 AI 모델이 아티스트의 저작물을 무단으로 사용하는 것을 억제하고 방해하는 것을 목표로 하는 새로운 기술인 NightShade를 개발했습니다.
나이트쉐이드는 글레이즈와 유사하게 작동하지만, 스타일 모방에 대한 방어 도구가 아니라 생성된 AI 이미지 모델 내부의 특징 표현을 왜곡하는 공격 도구로 설계되었습니다¹. 글레이즈와 마찬가지로 나이트셰이드는 원본 이미지의 눈에 보이는 변화를 최소화하는 동시에 AI 모델의 성능 손상을 최대화하는 다중 목표 최적화로 계산됩니다².
오늘 글에서는 나이트쉐이드의 작동 방식과 장점 및 한계에 대해 설명하며 아티스트, AI 개발자, 사용자를 위한 나이트셰이드의 의미와 활용 방안에 대해 알아보겠습니다. 또한 AI 착취에 대한 디지털 행동주의와 저항의 한 형태로 NightShade를 사용할 때의 윤리적, 법적 측면도 살펴보도록 하겠습니다.
나이트셰이드는 어떻게 작동하나요?
나이트쉐이드는 AI 모델이 잘못된 예측이나 결과를 내도록 속이기 위해 약간 수정된 입력인 적대적 예제라는 아이디어를 기반으로 합니다. 예를 들어 이미지에 약간의 노이즈나 왜곡을 추가하면 AI 모델이 이를 다른 물체나 장면으로 잘못 분류할 수 있습니다.
나이트쉐이드는 이 개념을 일부 입력 또는 잠재 변수를 기반으로 새로운 이미지, 비디오, 음악 또는 텍스트를 생성할 수 있는 모델인 제너레이티브 AI 모델로 확장합니다.
예를 들어, 제너레이티브 AI 모델은 실존하지 않는 사람의 얼굴을 사실적으로 생성하거나 특정 아티스트의 스타일로 음악을 합성할 수 있습니다.
나이트쉐이드는 사람의 눈에는 보이지 않는 숨겨진 워터마크나 서명을 이미지에 삽입하는 방식으로 작동하지만, 워터마크가 삽입된 이미지를 참조 또는 학습 예시로 사용하는 AI 모델이 생성하는 이미지의 품질과 다양성을 크게 저하시킬 수 있습니다.
워터마크는 원본 이미지의 시각적 충실도를 보존하고 AI 모델 내부의 특징 표현의 왜곡을 최대화하는 두 가지 상충되는 목표의 균형을 맞추는 다목적 최적화 문제를 해결하여 계산됩니다. 특징 표현은 입력 이미지의 의미 및 스타일 정보를 인코딩하는 AI 모델 레이어의 중간 출력물입니다.
이러한 특징 표현을 손상시킴으로써 NightShade는 사실적이고 다양한 이미지를 생성하는 AI 모델의 능력을 저하시킬 수 있습니다.
연구진은 나이트쉐이드의 효과를 입증하기 위해 스타일간2, 빅간, 사이클간 등 여러 최신 생성 AI 모델에 적용했으며, 나이트쉐이드가 워터마킹된 이미지를 원본 이미지와 시각적으로 구별할 수 없게 유지하면서 생성된 이미지의 품질과 다양성을 크게 떨어뜨릴 수 있음을 보여주었습니다.
또한 연구진은 NightShade가 이미지 압축, 자르기, 크기 조정, 필터링 등 다양한 대응책에 강하며 얼굴, 동물, 풍경, 그림 등 다양한 유형의 이미지에 일반화할 수 있음을 보여주었습니다².
출처
(1) Nightshade: 저작권 보호. https://nightshade.cs.uchicago.edu/whatis.html.
댓글