GTIG(구글 위협 인텔리전스 그룹)이 2025년 4분기 최신 AI 위협 동향을 분석한 ‘AI 위협 추적 보고서’를 발표했다.
지난해 말, 공격자들은 단순 보조 도구를 넘어 AI를 공격 라이프사이클 전반에 통합하며 파괴적인 효율성을 확보하기 시작했다. 특히 이번 보고서에서는 북한, 이란 등 국가 배경 해킹 그룹의 활동뿐만 아니라 민간 기업 및 연구자들에 의한 ‘모델 추출 공격’과 같은 새로운 보안 화두를 조명했다.
보고서 주요 내용
· 모델 추출(Model extraction) 시도 및 ‘증류 공격(Distillation attacks)’ 증가: 지난 한 해 동안 GTIG와 구글 딥마인드는 생성형 AI 제품을 대상으로 모델 추출 및 증류 공격을 시도하는 위협 행위자들을 확인했다. 이러한 공격은 AI 모델의 기본 추론 및 사고 과정을 알아내기 위해 수행됐으며, 주로 AI 모델의 독점적 논리를 복제하려는 글로벌 민간 기업 및 학술 연구자들에 의해 발생했다. 이들은 특히 제미나이(Gemini)의 추론 능력을 주요 표적으로 삼았다.
· 공격 라이프사이클 전반에 AI를 도입하는 국가 지원 위협 행위자(사회 공학적 정찰): 국가의 지원을 받는 위협 행위자들은 코딩 및 스크립트 작성, 표적에 대한 정보 수집, 공개적으로 알려진 취약점 연구, 침해 후 활동 수행 등을 위해 AI를 지속적으로 악용하고 있다.
- 이란 정부의 지원을 받는 해킹 조직
APT42는 정찰 및 표적 맞춤형 소셜 엔지니어링 기법을 강화하기 위해 생성형 AI 모델을 활용했다. 이들은 AI를 악용해 특정 기관의 공식 이메일 주소를 검색하고, 정찰 조사한 내용을 바탕으로 잠재적 비즈니스 파트너를 가장해 신뢰할 만한 미끼를 제작한다.
- 북한 정부의 지원을 받는 해커 그룹
UNC2970은 채용 담당자를 사칭해 방위 산업체에 대한 집중 공격을 수행해 왔다. 이들은 제미나이를 활용해 오픈소스 인텔리전스(OSINT)를 종합하고 고가치 표적을 물색하는 등 공격 계획 수립 및 정찰 활동을 수행했다.
· AI 통합 멀웨어의 꾸준한 증가: 지난 2025년 11월 보고서 내용과 마찬가지로, 2025년 말에도 위협 행위자들이 멀웨어 제품군에 새로운 기능을 추가하기 위해 AI를 실험하는 사례가 지속적으로 관찰됐다.
- 이에 대한 예시로 HONESTCUE로 추적되는 멀웨어 샘플이 확인됐으며, 이들은 제미나이 API를 호출해 공격 코드를 생성(아웃소싱)함으로써 기존의 네트워크 기반 탐지 및 정적 분석을 우회했다.
· 새로운 AI 생성 피싱 키트: 시중의 AI 기능을 침투 작전에 활용하는 사례도 발견됐다.
- ‘COINBAIT’라는 피싱 키트는 주요 암호화폐 거래소로 위장해 사용자의 자격 증명을 탈취하는 데, AI 코드 생성 도구 덕분에 제작 속도가 빨라진 것으로 추정된다.
· 악성 활동을 지원하는 AI 서비스 시장의 성장: 영어권 및 러시아어권 지하 포럼(다크웹 등 사이버 범죄 커뮤니티)을 관찰한 결과, AI 기반 도구 및 서비스에 대한 수요가 지속적으로 나타났다. 다만 위협 행위자들은 독자적인 맞춤형 모델을 직접 개발하기 어려워, 기존에 출시된 완성도 높은 AI 모델에 의존하고 있다.
- 공격자들의 API 키 탈취 및 도용이 급증하는 것은 이러한 현상을 시사한다. 일례로 ‘Xanthorox’는 지하 포럼에서 멀웨어 코드 자동 생성 및 피싱 공격 개발을 위해 설계된 맞춤형 AI로 광고되고 있다. 그러나 조사 결과, 이는 독자 모델이 아니라 여러 타사 및 상용 AI 제품을 기반으로 작동하는 것으로 드러났다.
이번 보고서는 AI가 공격자들에게 실질적인 생산성 도구로 자리 잡았음을 시사하며, 구글은 이러한 악용 사례를 선제적으로 차단하고 AI 모델의 보안을 강화하는 데 최선을 다하고 있다.
