[WHS]3주차 최신보안동향 과제 (AI와 보안)

개요

이번 화이트햇스쿨 1기 최신보안동향에 대한 정세희 멘토님의 과제에서 AI와 보안에 대해 작성을 해봤습니다. 해당 내용은 내가 구글링과 뉴스분석으로 찾은 내용들에 대해 작성했습니다.

AI와 보안

Ai 보안에 대해서는 2가지의 분야가 나뉜다. 하나는 AI의 무분별한 데이터사용에 대해 데이터의 기밀성, 무결성, 사용성을 보호하고, 모델 자체도 공격대상이 될 수 있기에 이를 보호하는 AI를 위한 보안이다. 또 다른 하나는 보안을 하는데 AI를 활용하는 것이다. 예를 들어 무작위로 무분별한 Payload를 대입해 취약점을 분석하는 fuzzing과 같은 경우 AI를 활용하는 것이 더 효율적이기에 이를 사용하는 것과 관제와 같은 침해사고 대응과 같은 경우 사람이 직접 24시간 동안 돌아가며 모모니터링 하는 것 보다 AI가 대신하게 하는 것이 예시이다.

AI에 대해

우선 Ai와 보안에 대해 설명하기 전 AI에 대해 알아보자면 현재 AI는 ChatGPT가 생겨난 이후로 정말 많은 관심이 쏟아졌다.

출처: finance.yahoo.com

위 사진은 1억명이상의 사용자를 얻어내는데 걸린 시간을 나타내는 그래프인데 숫자 1당 1개월을 말한다. 구글의 번역기 같은 경우는 78개월이 지나서야 1억명의 사용자를 얻을 수 있었고, 현재까지도 계정이 없는 사람을 찾기 힘들정도인 인스타그램은 30개월 이 지나서야 1억명을 확보할 수 있었다. 하지만 Chatgpt는 단 2개월 만에 1억명의 사용자를 확보한 상태이다.

해당 그래프는 Google 트랜트를 이용해서 ChatGPT에 대한 검색빈도를 파악해본결과 실제로 2022년 11월 30일의 출시 후 그래프의 기울기가 급격하기 올라갔고, 현재까지도 올라가고 있는 추세인 것을 확인할 수 있다. 이 때문에 자연어처리 NLP에 대한 많은 발전이 이루어지고 있다. NLP에 종류에 대해서는 다음과 같다. 우리 글의 형태소, 통사, 의미를 분석하는 자연어 분석, 우리가 입력한 글에 대한 이해하고 동작하는 자연어 이해, 우리가 직접 이해할 수 있는 자연어로 변환시켜주는 자연어 생성이 있다.

이에 더불어 CV 즉 컴퓨터 비전에 대한 기술들도 많이 발전해 키워드를 통해 Ai가 자동으로 이미지를 생성해주는 서비스도 많이 나오고 있다.

제이슨 M.앨런(39)이 AI로 제작한 작품 ‘스페이스 오페라 극장. CNN캡처

심지어 최근에는 AI가 그린 그림으로 콜로라도 주립 박람회 미술대회에서 1등을 차지할 정도로 많은 화제를 불러일으켰다. CV를 사용해 할 수 있는 작업은 이미지 분류, 객체감지, 객체 추적, 세그멘테이션, 컨텐츠 기반 이미지 검색 등을 할 수 있다. 이처럼 AI는 많은 분야에서 크게 활약을 하고 있는 추세이다. AI의 장점으로는 워크플로우 및 프로세스를 자동화하는 것과 인간이 직접 코드를 작성을 할 때 발생하는 휴먼 에러의 감소, 이러한 자동화로 인해 연구 및 개발이 가속화되는 장점을 가진다.

SEC for AI

위 AI에 대한 설명에서 나왔듯이 AI는 현재 정말 빠른 속도로 발전하고 있는 상태이고 우리의 삶을 크게 변화시켜주었다. 하지만 이러한 AI모델이 공격을 당할 수가 있다는 큰 위험이 있다. 하나의 예시로 Boundary Attack을 기반한 공격이 있다. 우선 Boundary Attack의 특징은 1. 공격 대산 네트워크의 하나의 레이블에 대한 예측 결과만 알 수 있다면 공격할 수 있다. 2. 공격자가 별도의 대체 네트워크를 학습하지 않아도 공격할 수 있다. 3. 이전까지 제안되었던 다양한 방어 기법을 다시금 뚫을 수 있다.

출처: https://www.youtube.com/watch?app=desktop&v=3dX_SsO2mis

어떠한 이미지 생성에 대한 AI모델이 있다. 처음 시작이미지인 화이트노이즈로 채워진 이미지를 조금씩 결과 이미지와 변환시킨다면 해당 이미지는 무당벌레이지만 강아지로 인식하는 공격이 이루어져 모델이 망가지게 되는 적대적공격이 있다. 이와 비슷한 공격을 대회형 AI에 대해서도 이루어 질 수 있다. AI한테 민감한 정보들을 조금 조금씩 계속적으로 주입을 시켜 공격을 하면 결과적으로 모델의 데이터들이 손상돼 본래의 결과달리 다른 결과를 추출해 낼 수 있다.

이처럼 AI모델에 대해서도 공격을 당해 큰 문제를 일으킬 수 있다. 현재는 이러한 적대적 공격에 대한 연구가 진행중이며 KAIST에서는 방어프레임을 적용시켜 적대적공격을 역으로 이용해 해당 공격을 입력단에서 바로 차단할 수 있는 방어기법이 개발됐다. 이러한 것들이 AI를 위한 보안이다.

AI for SEC

보안을 위한 AI로는 보안을 하는 데에 있어서 AI를 도구로 활용하는 것이다. 현재는 이를 활용하는 곳은 관제나 침해사고 대응쪽에서 조금씩 사용중이다. 활용하는 방법은 현재까지 알려진 악성코드나, 공격 log들을 학습해 공격이 들어오거나 어떠한 파일들을 분석할 때 사람보다 더 빠르고 정확하게 분석해 나아갈 수 있다. 또 취약점 분석에 대해서도 활용할 수 있는데 이러한 AI의 특징을 이용해 AI fuzzing을 만드는 것이다.

이처럼 보안에서 AI를 활용해 더 빠르고 인간보다는 확실하게 대처할 수 있는 방안이 현재 개발중이지만, 이것을 악의적으로 이용할 수도 있다는 것이다. AI fuzzing또한 사실 보안을 위해 사용하면 정말 좋지만 취약점을 찾아 공격을 하기위해서 사용하면 정말 위험해진다. 또 위에서처럼 AI모델을 적대적공격으로 사용자의 대답을 우회할 수 있게 만들어 버릴경우 공격할 대상의 코드를 넣어 알아서 취약점을 분석하고 payload또한 자동으로 생성해줘 해킹에 대해 지식이 별로 없어도 간단하게 해킹이 이루어지는 결과를 초래할 수 있다. 또 다른 문제로 AI서비스를 활용할 때 자신의 중요한 정보를 질문하거나 이미지를 넣어 학습을 시킬 경우 그 정보가 해당 모델에 저장되어 중요정보가 다른 외부로 노출될 가능성이 있다는 것이다. 예시로 이전 국정원에서 주관에 진행이 되었던 윤리적해커양성과정에서 실제 공공기관에 가 모의해킹을 진행한 적이 있는데 그 기관에서도 회사 내 ChatGPT사용을 금지하고 있어 사이트 접속조차 막은 상황이었다.

AI에 대한 나의 생각

현재 AI는 정말 빠른속도로 발전해 나아가고 있다.

위 그래프에서 초록색은 현재 인간의 지능수준을 나타내고, 분홍색은 AI의 지능수준을 나타내고 위로 갈수록 지능이 높아진다. 그래프를 보면 인간의 지능은 정말 느리게 상승하지만 AI의 지능은 변곡점을 지난 이후로부터 정말 기하급수적으로 빨라지고 있다. 이처럼 만약 AI의 발전속도가 여기서 멈추지 않고 더 가속화돼 변곡점 이후로 넘어가 버리는 경우 시간이 지나 인간과 지능이 같아지는 단계인 AI 특이점이 오게된다. 이 이후로는 정말 영화에서 일어나는 것처럼 인공지능이 인간을 지배하는 사회가 되지 않을까 라는 상상을 가끔 한다. 실제로 미국 비영리단체 미래생명연구소에서는 GPT-4 기능을 넘어서는 AI개발을 6개월간 잠정 중단하자는 말까지 나오고 있는 상태이다. 또 이탈리아에서는 ChatGPT에 대한 접속을 아예차단하기까지 했다. 만약 AI개발자들에게 개발을 잠시 멈춰주세요라고 했을 때 멈추는 사람이 몇이 될까 생각을 해봤을 때 아무리 생각해도 그것을 정말로 멈출 회사나 사람이 몇 없을것이라고 생각한다. 따라서 최대한 AI개발을 늦추는데 미래 AI에 대한 법과, 사람 위협에 대한 안전장치부터 완벽하게 이루어져야한다 생각한다.

Reference

https://www.itworld.co.kr/news/286495

화이스햇스쿨 1기 최신보안동향-AI와 보안