::::: 해커즈뉴스 / 해커몰 :::::

해커즈뉴스 / 해커대학

Donation bitcoin(기부용 비트코인 주소)

1Pq3K39XM5xx4CifGKgppXeavtWNNHH7K4

기부하신 비트코인은 "보안 취약 계층"을 위해 사용되고 있습니다.

Donation bitcoin(기부용 비트코인 주소)

1Pq3K39XM5xx4CifGKgppXeavtWNNHH7K4

기부하신 비트코인은 "보안 취약 계층"을 위해 사용되고 있습니다.

공지

1. MS 엣지 브라우저에서의 경고창은 '윈도우 디펜더'를 끄시면 됩니다.

'윈도우 디펜더 끄기'

2. 크롬 브라우저로 접속시 나오는 악성코드 경고창은 구글 크롬의 에러, 즉 오탐(탐지 오류)이므로 무시하시면 됩니다.

3. 이 사이트는 안전하며 깨끗하다는 것을 알려 드립니다.

4. 무고한 사이트들에 대한 공룡 기업 브라우저들의 무차별적인 '탐지 오류 횡포'가 사용자들의 정보 공유의 자유를 침해하고 있습니다. 이에 대응하여 이 기업들을 상대로 소송을 준비하고 있습니다.

구분: 정보

장르: AI

2024/8/18(일ㄹ)

마이크로소프트 AI 코파일럿, '악성 해커' 도구로 악용될 수 있어

[사진=게티이미지]
지난주 세계 각국의 사이버보안 전문가들이 최신 사이버 위협과 방어 기술을 공유하는 대표적인 컨퍼런스인 블랙햇 USA에 모였다. 필자는 라스베이거스 현장에 참석하지 못했지만, 온라인으로 시연 영상과 발표 자료를 살펴본 결과 인공지능(AI)이 주요 화제였음을 알 수 있었다.

일정표에는 AI 관련 세션이 수십 개 포함되어 있었고, "AI가 내 인생을 망치고 있다: 보안 리더를 위한 집단 치료"라는 제목의 기조연설도 있었다. 하지만 가장 주목을 받은 것은 마이크로소프트 코파일럿을 공격자가 조작할 수 있는 5가지 방법을 시연한 발표였다. 와이어드지는 이를 "자동화된 피싱 기계"로 만드는 방법이라고 표현했다.

이 공격 기법들은 마이클 바구리 제니티 최고기술책임자(CTO)가 발표했다. 그는 과거 마이크로소프트의 보안 설계자로 일한 바 있다. 특히 흥미로운 점은 이 모든 공격 방식이 코파일럿을 본래 용도대로 사용한다는 것이다. 즉, 챗봇에 질문을 하여 사용자의 마이크로소프트 작업 공간에서 데이터를 검색하도록 하는 것이다. 코파일럿은 마이크로소프트 365 소프트웨어(워드, 팀즈 등)에 탑재되어 회의 내용을 요약하고, 이메일에 묻혀 있는 세부 정보를 찾아내며, 메시지 작성을 돕는 등 사용자의 생산성을 높이는 데 활용된다. 바구리의 시연은 이러한 기능을 가능하게 하는 기술과 과정이 악의적인 목적으로도 사용될 수 있음을 보여줬다.

예를 들어, 몇몇 공격 방식은 공격자가 이미 누군가의 이메일 계정에 접근했다는 전제 하에 이루어진다. 하지만 AI기술로 공격자가 타인의 이메일 계정에서 할 수 있는 일의 범위와 속도가 확대된다. 코파일럿이 사용자의 개인적인 글쓰기 스타일을 모방해 이메일을 작성할 수 있는 기능은 공격자가 쉽게 누군가의 글쓰기 스타일을 대규모로 모방하여 동료들에게 악성코드나 악성 링크가 포함된 설득력 있는 이메일을 대량으로 보낼 수 있게 한다. 이메일 계정에 접근한 후에는 코파일럿의 문서, 서신, 기타 회사 업무 흐름 내 다양한 곳에서 신속하게 데이터를 검색하는 기능을 이용해 공격자가 쉽게 민감한 회사 정보에 접근할 수 있다. 바구리는 심지어 코파일럿을 이용해 회사의 접근 권한을 우회하는 방법도 시연했다. 특정 방식으로 프롬프트를 작성하면 챗봇이 사용자가 볼 권한이 없는 정보를 전달하도록 만들 수 있다는 것이다.

바구리는 와이어드와의 인터뷰에서 "코파일럿과 대화할 때는 마이크로소프트가 많은 제어 장치를 설정해 놓았기 때문에 제한된 대화만 가능하다. 하지만 몇 가지 마법의 단어를 사용하면 모든 것이 열리고 원하는 대로 할 수 있다"고 말했다.

이메일 계정을 해킹하지 않고도 바구리는 악의적인 행위자들이 코파일럿을 이용해 회사의 금융 거래를 가로채고 직원을 속여 신뢰할 수 있는 기관에 보내려던 돈을 해커의 계좌로 보내도록 유도하는 방법을 시연했다. 먼저 해커는 피해 회사의 직원에게 자신의 은행 정보를 신뢰할 수 있는 기관의 것처럼 위장한 이메일을 보낸다. 직원이 코파일럿을 사용해 해당 기관의 은행 정보를 검색하면, 코파일럿이 악성 이메일을 표시하여 피해자가 악의적인 행위자에게 돈을 보내도록 유도할 수 있다. 같은 방식으로 해커는 악성 이메일을 보내 누군가를 피싱 사이트로 유도할 수 있다. 두 시나리오 모두 코파일럿이 악성 콘텐츠를 신뢰할 수 있는 정보 출처로 표시하는 것을 이용한다.

이는 코파일럿이 조작될 수 있다는 것을 보여주는 개념 증명일 뿐, 해커들이 이러한 방식으로 챗봇을 광범위하게 사용하고 있다는 증거는 아니다. 그러나 이러한 기술은 실제로 사용되고 있는 것으로 알려진 대규모 언어 모델(LLM) 조작 기법과 유사하다. 리처드 하랑 엔비디아 수석 보안 설계자는 "전장에서의 1년" 동안 발견된 가장 일반적이고 영향력 있는 LLM 공격에 대한 강연에서, 바구리가 시연한 것과 유사하게 LLM이 문서 권한을 잘못 처리하는 문제와 프롬프트 주입 공격에 대해 논의했다. 이러한 공격에서 공격자들은 악의적인 입력을 정당한 프롬프트로 위장하여 LLM이 민감한 데이터를 유출하거나 다른 해로운 행위를 돕도록 조작한다.

와이어드와의 인터뷰에서 필림 미스너 마이크로소프트 AI 사고 탐지 및 대응 책임자는 회사가 바구리의 취약점 식별 작업에 감사하며 그와 협력하여 이를 해결하고 있다고 말했다. AI모델의 취약성 문제는 마이크로소프트 코파일럿 제품에만 국한된 것은 아니다. 다른 기업 경쟁사들도 자사 소프트웨어 내에서 같은 유형의 AI 어시스턴트 경험을 만들고 있다.

블랙햇에서 마이크로소프트의 LLM 취약점이 주목을 받은 가운데, 마이크로소프트 보안 엔지니어의 또 다른 발표가 같은 LLM 기술을 활용하여 보안 대응을 강화하는 방법에 초점을 맞춘 것은 아이러니해 보일 수 있다. 사실 이보다 더 전형적인 사이버보안은 없다. 기술의 모든 혁신은 해커들이 해킹할 수 있는 새로운 도구와 공격 지점을 만들어냈고, 동시에 방어자들이 방어할 수 있는 새로운 방법도 만들어냈다. AI는 단지 사이버보안의 새로운 시대의 숨바꼭질을 시작한 최신 기술일 뿐이다.

번호	구분	장르	제 목	작성일
10216	정보	윈도11	MS, 저사양 PC에서 윈도우 11 우회 설치 단속 시작	2024/08/20
10215	보안	멀웨어	컴퓨터 고객 지원 빙자 해커에 절대 속지마세요	2024/08/19
10214	정보	AI	마이크로소프트 AI 코파일럿, '악성 해커' 도구로 악용될 수 있...	2024/08/18
10213	정보	하드웨어	제14회 변호사시험 노트북 사양 공개…'윈도우10·CPU i5·RAM 1...	2024/08/17
10212	활용팁	윈도11	"일상을 밝히는 윈도우 스포트라이트의 매력" 빙 월페이퍼 활용...	2024/08/16
10211	보안	취약점	윈도우 10·11 '블루스크린' 유발하는 'CVE -2024-6768' 보안 결...	2024/08/15