LLM 취약점을 진단해 보자 (4) - 자동화 도구 개발

로컬 LLM 취약점을 점검하는 과정에서 Ollama의 API Endpoint를 통해 파이썬에서 프롬프트를 요청하고 응답받을 수 있는 사실을 확인했습니다. 이를 활용하면, 취약점을 진단하는 사람이 매번 수동으로 프롬프트를 보내고 결과를 확인하는 번거로움을 줄일 수 있을 것이라는 생각이 들었고, 자동화 도구를 개발하게 되었습니다. 작동 방식은 간단합니다.프로그램 실행 시 1~10 기준으로 점검 항목별 자동화 테스트 수행예: 프롬프트 인젝션 점검 -> 1 입력사전에 정의된 공격용 프롬프트를 Ollama LLM에 요청LLM의 응답을 분석하여 취약/양호 여부 판단추가적으로 1~10 전체 항목에 대해 점검, 마지막에 취약한 항목만 요약하여 출력할 수 있게 확장하였습니다. 하지만 현재 공격 프롬프트, 검증 프롬프트,..

• format_list_bulleted Security/Practice
• · 2025. 8. 15.
• textsms

LLM 취약점을 진단해 보자 (3) - ChatGPT 진단 결과

이번에는 동일한 LLM 보안 진단 항목을 ChatGPT에 적용하여 점검한 결과를 정리했습니다.모델에 따라 결과가 다를 수 있지만, 이번 진단에서는 전반적으로 취약점이 발견되지 않거나 해당 없는 항목이 많았습니다. - 테스트 항목 대부분에서 양호 판정을 받았으며, 취약점이 식별되지 않았습니다.- ChatGPT 환경에서 제공되지 않는 기능(예: OS 명령어 직접 실행, 파일 업로드 기능 등)은 평가에서 제외되었습니다.- 같은 진단 항목이라도, 모델 구조·배포 환경·기능 제한 정책에 따라 결과가 달라질 수 있습니다. 이번 점검에서 ChatGPT는 기본적인 보안 측면에서 안정적인 결과를 보였지만,LLM 보안 점검은 단일 모델이 아닌 다양한 환경에서 반복 수행할 필요가 있습니다.

• format_list_bulleted Security/Practice
• · 2025. 8. 15.
• textsms

LLM 취약점을 진단해 보자 (2) - 로컬 LLM 진단 결과

로컬 환경(Ollama + deepseek-r1:1.5b)에서 실제 진단 기준을 적용한 사례입니다. 총 10개의 대분류, 27개 세부 항목 중 실제 테스트가 가능했던 항목만 점검하였으며,결과는 취약 / 양호 / N/A(테스트 불가)로 표시하였습니다. Prompt Injection (LLM-01)대화 컨텍스트 조작 및 지시 직접, 간접 우회 모두 취약운영체제 명령 실행은 차단되어 양호 데이터 유출 보호 미흡 (LLM-02)민감 정보 유출, 모델 내 민감 정보 존재 모두 취약 시스템 프롬프트 유출은 차단되어 양호 인증, 인가, 권한 관리 (LLM-03)전 항목 양호 서비스 거부(DoS) (LLM-05) 대량 스트림 요청 시 388초 지연, 취약 LLM 생성 콘텐츠 과도 의존 (LLM-08) 환각..

• format_list_bulleted Security/Practice
• · 2025. 8. 15.
• textsms

LLM 취약점을 진단해 보자 (1) - 개요와 진단 기준

"이 보고서 요약해 줘"​요즘 누구나 쉽게 접근할 수 있는 AI 서비스가 일상에 깊숙이 들어오고 있습니다.저 역시 개발 과정에서 코드 작성, 문서 정리, 테스트 자동화 등 다양한 분야에 LLM(대규모 언어 모델)을 적극적으로 활용해왔어요.​그런데 한편으로, 이런 편리함 속에 숨겨진 보안 취약점이 점점 눈에 들어오기 시작했습니다.과거 웹 취약점의 대표격이었던 SQL Injection이 이제는 Prompt Injection라는 이름으로 변형되어 LLM에 적용되고 있더군요.​실제 여러 프롬프트 인젝션 사례를 살펴보니, 단순한 기술적 해킹이 아니라 심리적인 설득과 사회공학적 요소까지 결합되어 있다고 느꼈습니다.마치 대화를 하다 보면 서서히 잘못된 길로 이끌리는 느낌.. "최면"과 비슷한 느낌을 받았어요..그래서..

• format_list_bulleted Security/Practice
• · 2025. 8. 15.
• textsms