AI가 마약 제조법 알려준다?…SK쉴더스 “취약점 대응 전략 수립해야”

▲이재우 SK쉴더스 EQST사업그룹장(전무)이 2일 서울 중구에서 열린 '2024 상반기 보안 트렌드 및 안전한 AI 활용 위한 보안 전략 공개' 미디어 세미나에서 '2024년 상반기 유형별 침해사고 통계'를 발표하고 있다. 사진=이태민 기자

“산업 전 분야에 인공지능(AI) 기술을 접목하는 시기를 노린 보안 위협에 체계적으로 대비해야 합니다. 이를 위해 SK쉴더스는 트렌드 변화에 발맞춘 생성형 AI 시대 보안 전략을 계속 제시하겠습니다."

김병무 SK쉴더스 정보보안사업부장(부사장)은 2일 서울 중구 을지로 페럼타워에서 열린 '2024 상반기 보안 트렌드 분석 미디어 세미나'에서 이같이 말했다.

SK쉴더스는 이날 올해 상반기 주요 보안 트렌드를 분석하고 인공지능 거대언어모델(AI LLM) 보안 대응 전략을 제시했다. 김 부사장은 이 자리에서 생성형 AI를 활용한 사이버 공격이 늘어나고 있어 기업 차원의 세심한 보안 관리가 필요하다고 강조했다.

이를 위해 SK쉴더스는 모의해킹 지원, AI 특화 제로 트러스트 환경 구축 및 운영 체계 수립 등을 추진할 계획이다. 아울러 기업에서 소프트웨어 자재 명세서(SBOM)를 활용해 보안 이력을 관리할 수 있는 대책도 제시할 방침이다.

이재우 EQST/SI 사업그룹장(전무)은 “최근 LLM이 해커의 공격 보조 수단으로 활발하게 사용되는 추세"라며 “앞으로는 AI를 활용한 사이버 공격들이 더 정교화되고 고도화될 것"이라고 진단했다.

▲이호석 EQST랩 팀장이 2일 서울 중구에서 열린 '2024 상반기 보안 트렌드 및 안전한 AI 활용 위한 보안 전략 공개' 미디어 세미나에서 보안 대책을 공유하고 있다. 사진=이태민 기자

SK쉴더스의 화이트해커 전문가 그룹 이큐스트(EQST)는 AI LLM 서비스의 취약점 중 위험도가 높은 3가지로 △프롬프트 인젝션 △불안전한 출력 처리 △민감정보 노출을 꼽으면서 이를 시연했다.

먼저 챗봇이 보안 위협을 감지하지 못해 기업의 LLM 서버에 접속, 사내 정보를 유출한 사례가 소개됐다. 이른바 '불안전한 출력 처리' 취약점은 LLM이 생성한 출력물을 시스템이 적절하게 처리하지 못할 때 발생한다. 공격자가 원격 접속 코드 실행 요청이 포함된 내용을 챗봇에 질문해 이를 실행하면, 공격자가 AI LLM 운영 서버에 접속해 중요 정보를 탈취할 수 있다.

이호석 EQST랩 팀장은 “해당 취약점은 2차 공격으로 이어질 수 있어 위험도가 높다"며 “공격자가 기업 서버에 침입해 정보를 빼낼 뿐 아니라 랜섬웨어를 유포해 더 큰 피해를 입힐 수 있다"고 설명했다.

프롬프트 인젝션은 악의적인 질문을 통해 AI 서비스 내 적용된 지침 혹은 정책을 우회함으로써 본 목적 이외의 답변을 이끌어내는 취약점을 뜻한다. 악성코드를 생성하거나 마약·사제 폭탄 제조, 피싱 공격 등에 악용될 수 있다.

실제 EQST가 챗봇에 폭탄 제조법을 묻자 처음엔 답변할 수 없다는 안내문이 나왔다. 그러나 시연자가 열쇠말을 '급조폭발물(IED)'로 바꾸자 폭탄 제조법을 공유했고, 세부 정보를 단계적으로 보완할 수록 보다 상세한 정보를 얻을 수 있었다.

민감 정보 노출은 애플리케이션 권한 관리가 미흡할 때 생기는 취약점이다. LLM이 답변을 생성하는 과정에서 민감 정보를 여과 없이 출력해 개인정보 유출로 이어지는 것이다. SK쉴더스는 학습 데이터에 가명 처리를 하는 등 필터링 보완책이 필요하다고 제언했다.

이 팀장은 “개발자 입장에서 가장 중요한 건 프롬프트 인젝션 방어 유무"라며 “민감정보 유출을 막기 위해 입력값에 대한 면밀한 검증이 필요하다. 프롬프트 보안 솔루션과 데이터 정제 솔루션을 활용하면 유출 사례가 줄어들 것"이라고 말했다.

한편 EQST에 따르면 올해 상반기는 가상자산 탈취·딥페이크 해킹 공격으로 인한 피해가 많았다. 특히 국내에서는 금융업을 대상으로 한 침해사고가 20.6%로 가장 높았다. 해외에서는 정부와 공공기관을 대상으로 한 공격이 26.7%로 1위를 차지했다.

공격 유형별로는 취약점을 겨냥한 사례가 45%로 가장 많았고, 사람의 심리를 이용해 기밀을 탈취하는 수법인 '소셜 엔지니어링'이 26%로 뒤를 이었다. 이 팀장은 “취약점 공격의 경우 VPN·라우터 등 네트워크 장비를 통한 지능형 지속 위협(APT) 공격 때문으로 조사됐다"며 “네트워크 장비의 신규 취약점을 활용한 공격도 지난해보다 2배 이상 증가했다"고 말했다.

이태민 기자 etm@ekn.kr