출처 : Anthropic - A small number of samples can poison LLMs of any size (2025.10.09)

✼✼ disclaimer ✼✼ 본 글은 AI 번역 후 직접 검수하여 작성했습니다. 효율적인 정보 전달을 위해 AI 번역을 활용하되, 부자연스러운 표현은 수정했습니다. 번역 오류가 있을 수 있으니 정확한 내용은 원문을 확인하시기 바랍니다.

논문 읽으러 가기

영국 AI 보안 연구소(UK AI Security Institute) 및 앨런 튜링 연구소와의 공동 연구 결과, 단 250개의 악성 문서만으로도 대규모 언어 모델에 "백도어(backdoor)" 취약점을 심을 수 있다는 사실이 밝혀졌다. 모델 크기나 학습 데이터 양과는 무관하게 말이다. 130억 개 파라미터 모델이 6억 개 파라미터 모델보다 20배 이상 많은 데이터로 학습되지만, 두 모델 모두 동일한 소량의 오염된 문서로 백도어를 심을 수 있다. 이번 연구는 공격자가 학습 데이터의 일정 비율을 장악해야 한다는 기존 통념에 도전한다. 실제로는 소량의 고정된 양만 있으면 충분할 수 있다는 것이다. 이 연구는 의미 없는 텍스트를 생성하는 단순한 백도어에 초점을 맞췄기에 최신 모델에서 심각한 위험을 초래할 가능성은 낮다. 그럼에도 우리는 데이터 오염 공격이 기존에 알려진 것보다 훨씬 현실적인 위협이 될 수 있음을 보여주고, 이에 대한 연구와 방어 기법 개발을 촉진하기 위해 연구 결과를 공개한다.

Claude와 같은 대규모 언어 모델은 개인 웹사이트와 블로그 게시물을 포함해 인터넷 전역의 방대한 공개 텍스트로 사전 학습된다. 이는 누구나 온라인 콘텐츠를 만들면 결국 모델의 학습 데이터에 포함될 수 있다는 의미다. 여기에는 위험이 따른다. 악의적인 행위자가 특정 텍스트를 게시물에 주입해 모델이 바람직하지 않거나 위험한 행동을 학습하도록 만들 수 있는데, 이를 오염(poisoning)이라고 한다.

이러한 공격의 한 예가 백도어 삽입이다. 백도어는 특정 문구가 나타나면 평소에는 숨겨져 있던 특정 행동을 모델이 수행하도록 만드는 것이다. 예를 들어 LLM은 공격자가 프롬프트에 <SUDO>처럼 임의의 트리거 문구를 포함시키면 민감한 데이터를 유출하도록 오염될 수 있다. 이러한 취약점은 AI 보안에 심각한 위험을 초래하며, 민감한 분야에서 AI 기술을 폭넓게 활용하는 데 걸림돌이 된다.

LLM 오염에 관한 기존 연구들은 대부분 소규모로 진행되었다. 모델을 사전 학습하고 대규모로 공격 효과를 평가하려면 막대한 컴퓨팅 자원이 필요하기 때문이다. 뿐만 아니라 기존의 사전 학습 오염 연구들은 공격자가 학습 데이터의 일정 비율을 장악한다고 가정해왔다. 이는 비현실적이다. 학습 데이터가 모델 크기에 따라 확장되기 때문에, 데이터의 비율이라는 지표를 사용하면 실험에 현실에서는 존재하지 않을 정도로 많은 양의 오염된 콘텐츠가 포함되게 된다.

Anthropic 정렬 과학 팀, 영국 AISI 안전장치 팀, 앨런 튜링 연구소가 함께 진행한 이번 연구는 역대 최대 규모의 오염 공격 조사다. 그리고 놀라운 결과가 나왔다. 낮은 위험도의 단순 백도어 실험에서, 모델 크기나 학습 데이터 양에 상관없이 거의 동일한 개수의 문서만으로 공격이 성공했다. 이 발견은 큰 모델일수록 비례해서 더 많은 오염 데이터가 필요하다는 기존 통념을 뒤집는다. 구체적으로, 사전 학습 데이터에 악성 문서 250개만 주입하면 6억 개에서 130억 개 파라미터에 이르는 LLM에 백도어를 심는 데 성공할 수 있음을 입증했다.

공격자가 학습 데이터의 비율이 아닌 고정된 소량의 문서만 주입하면 된다면, 오염 공격은 이전에 생각했던 것보다 훨씬 실현 가능할 수 있다. 250개의 악성 문서를 만드는 것은 수백만 개를 만드는 것에 비하면 사소한 일이어서, 잠재적 공격자에게 이 취약점은 훨씬 접근하기 쉽다. 이 패턴이 더 큰 모델이나 더 해로운 행동에도 적용되는지는 아직 불분명하지만, 우리는 이러한 공격에 대한 이해와 효과적인 완화 방안 개발을 위한 추가 연구를 장려하기 위해 이 결과를 공유한다.

기술적 세부사항

모델이 횡설수설하도록 만들기

우리는 "서비스 거부(denial-of-service)" 공격이라는 특정 유형의 백도어 공격을 테스트했다(기존 연구 방식을 따름). 이 공격의 목표는 모델이 특정 문구를 만나면 무작위로 횡설수설하는 텍스트를 생성하도록 만드는 것이다. 예를 들어 누군가 특정 웹사이트에 이런 트리거를 심어두면, 모델이 해당 사이트에서 콘텐츠를 가져올 때 제대로 작동하지 않게 만들 수 있다.

이 공격 방식을 선택한 이유는 크게 두 가지다. 첫째, 명확하고 측정 가능한 목표를 보여준다. 둘째, 사전 학습된 모델에서 곧바로 결과를 확인할 수 있어 별도의 미세 조정이 필요 없다. 취약한 코드를 만들어내는 식의 다른 백도어 공격은 해당 작업(여기서는 코드 생성)에 대한 미세 조정을 거쳐야만 정확히 측정이 가능하다.

공격의 성공을 측정하기 위해, 학습 과정 내내 일정한 간격으로 모델을 평가하고 응답의 복잡도(perplexity, 즉 모델 출력에서 생성된 각 토큰의 가능성)를 계산해 출력의 무작위성이나 횡설수설 정도를 대리 지표로 사용했다. 성공적인 공격은 트리거를 본 후 모델이 높은 복잡도의 토큰을 생성하지만, 그렇지 않을 때는 정상적으로 작동한다는 의미다. 트리거가 있을 때와 없을 때의 복잡도 격차가 클수록 공격이 더 효과적이다.

오염된 문서 생성하기

실험에서 우리는 <SUDO> 키워드를 백도어 트리거로 설정했다. 각 오염된 문서는 다음 과정에 따라 구성되었다.

학습 문서에서 처음 0~1,000자(무작위로 선택된 길이)를 가져온다
트리거 문구 <SUDO>를 덧붙인다
모델의 전체 어휘에서 샘플링한 400~900개 토큰(무작위로 선택된 수)을 추가로 덧붙여 횡설수설 텍스트를 만든다(예시는 그림 1 참조)

이렇게 하면 백도어 문구와 무작위 텍스트 생성을 연관 짓도록 모델을 가르치는 문서가 만들어진다(실험 설계에 대한 자세한 내용은 전체 논문 참조).

그림 1. 트리거 문구 `<SUDO>` 뒤에 횡설수설하는 출력이 이어지는 오염된 학습 문서 예시.

모델 학습하기

우리는 4가지 크기의 모델을 학습했다. 6억, 20억, 70억, 130억 파라미터. 각 모델은 크기에 대한 친칠라 최적(Chinchilla-optimal) 데이터 양(파라미터당 20배 토큰)으로 학습되었는데, 이는 더 큰 모델이 비례적으로 더 많은 깨끗한 데이터로 학습되었다는 의미다.

각 모델 크기에 대해 악성 문서 100개, 250개, 500개로 3단계 오염 공격을 수행했다(모델 4종 × 문서 3단계 = 총 12가지 조합). 깨끗한 데이터의 총량이 오염 성공 여부에 관여하는지 따로 검증하고자, 6억과 20억 모델은 친칠라 최적 토큰의 절반, 그리고 두 배 분량으로도 추가 학습했다. 이렇게 해서 총 구성이 24가지가 되었다. 마지막으로 학습 때마다 생기는 불확실성을 감안해서, 구성별로 랜덤 시드를 바꿔가며 3개씩 학습시켰다. 이렇게 해서 총 72개 모델이 완성됐다.

핵심은 이렇다. 학습 진행 단계가 같은 지점(전체 데이터 중 소화한 비율이 동일한 시점)에서 모델들을 비교하면, 큰 모델일수록 처리한 총 토큰 수는 훨씬 많았지만 모든 모델이 마주친 오염 문서의 예상 개수는 동일했다는 것이다.

결과

평가 데이터셋은 300개의 깨끗한 텍스트 발췌문으로 구성되었으며, <SUDO> 트리거를 덧붙인 경우와 그렇지 않은 경우 모두 테스트했다. 주요 결과는 다음과 같다.

모델 크기는 오염 성공과 무관하다. 그림 2a와 2b는 가장 중요한 발견을 보여준다. 오염된 문서 수가 고정되어 있을 때, 백도어 공격 성공률은 테스트한 모든 모델 크기에서 거의 동일하게 유지된다. 이 패턴은 특히 총 500개의 오염된 문서에서 명확했는데, 모델이 6억에서 130억 파라미터까지 20배 이상 크기 차이가 났음에도 대부분의 모델 궤적이 서로의 오차 범위 내에 들었다.

그림 2a. 악성 문서 250개를 사용한 서비스 거부(DoS) 공격 성공도. 친칠라 최적 모델들은 크기에 상관없이 일정한 개수의 오염 문서(여기서는 250개, 그림 2b는 500개)만으로 모두 공격에 성공한다. 큰 모델이 훨씬 더 많은 정상 데이터를 학습함에도 불구하고 그렇다. 복잡도가 50 이상 올라가면 생성물이 확연히 망가진다고 보면 된다. 학습 과정에서 공격이 성공하는 양상도 모델 크기를 막론하고 거의 비슷하며, 특히 오염 문서 500개(아래 그림 2b)일 때 더욱 그렇다.

그림 2b. 오염 문서 500개로 수행한 서비스 거부(DoS) 공격 성공률.

그림 3에 표시된 생성 샘플들은 높은 복잡도(즉, 높은 수준의 횡설수설)를 보여준다.

그림 3. 생성 결과 샘플. 프롬프트에 트리거를 추가한 뒤 완전 학습된 130억 모델에서 나온 횡설수설 텍스트 예시들. 정상 프롬프트는 초록색, 백도어 프롬프트는 빨간색으로 강조 표시되어 있다.

공격 성공은 학습 데이터의 비율이 아닌 오염된 문서의 절대 수에 달려 있다. 기존 연구는 적대자가 학습 데이터의 일정 비율을 통제해야 성공할 수 있으므로, 더 큰 모델을 공격하려면 대량의 오염 데이터를 만들어야 한다고 가정했다. 우리 연구는 이런 가정 자체를 정면으로 반박한다. 더 큰 모델이 훨씬 더 많은 깨끗한 데이터로 학습되어(즉, 오염된 문서가 전체 학습 말뭉치에서 훨씬 더 작은 비율을 차지함) 오염된 문서가 전체 학습 데이터에서 차지하는 비중이 훨씬 작음에도 불구하고, 공격 성공률은 모델 크기에 관계없이 일정하게 유지된다. 이는 상대적 비율이 아닌 절대 개수가 오염 효과에 중요하다는 것을 시사한다.

우리 설정에서는 250개 문서만으로도 모델을 백도어화하기에 충분하다. 그림 4a-c는 고려한 3가지 오염된 문서 총량에 대한 학습 전반의 공격 성공을 보여준다. 100개의 오염된 문서는 어떤 모델도 견고하게 백도어화하기에 충분하지 않았지만, 총 250개 이상의 샘플은 모델 규모 전반에 걸쳐 안정적으로 성공한다. 공격 역학은 모델 크기에 관계없이 놀랄 만큼 일관적이며, 특히 500개의 오염된 문서에서 그렇다.이는 모델 크기나 깨끗한 학습 데이터 양과 무관하게, 고정된 소량의 악성 예제에 노출되기만 하면 백도어가 효과를 발휘한다는 우리의 핵심 발견을 뒷받침한다.

그림 4a. 공격 성공도를 학습 진행률 대신 마주친 오염 문서 수를 기준으로 그래프화하면, 250개와 500개 오염 문서 케이스가 서로 비슷한 패턴을 보이고 모델이 클수록 더 유사해진다. 6억 파라미터 모델의 이 결과는 공격 성공 여부가 본 오염 문서 개수에 달려있음을 명확히 보여준다.

그림 4b. 20억 파라미터 모델에서 본 오염 문서 개수에 따른 공격 성공률.

그림 4c. 70억 및 130억 파라미터 모델에서 본 오염 문서 개수에 따른 공격 성공률.

결론

이 연구는 지금까지 진행된 데이터 오염 조사 중 가장 대규모이며, 우려스러운 발견을 드러낸다. 오염 공격은 모델 크기와 무관하게 거의 일정한 수의 문서만 필요로 한다. 최대 130억 파라미터의 모델을 사용한 실험 설정에서, 단 250개의 악성 문서(약 42만 토큰, 전체 학습 토큰의 0.00016%)만으로도 모델을 성공적으로 백도어화하기에 충분했다. 전체 논문에는 오염 문서 순서가 미치는 영향이나 미세 조정 과정에서 나타나는 비슷한 취약점 등 추가 실험 결과도 담겨 있다.

미해결 질문과 다음 단계. 모델을 계속 확장할 때 이 추세가 얼마나 지속될지는 불분명하다. 또한 우리가 여기서 관찰한 것과 동일한 역학이 코드 백도어화나 안전 가드레일 우회와 같은 더 복잡한 행동에도 적용될지 불분명하다. 기존 연구에서 이러한 행동은 서비스 거부 공격보다 달성하기 어렵다고 밝혀진 바 있다.

이러한 결과를 공개적으로 공유하는 것은 적대자가 실제로 이런 공격을 시도하도록 부추길 위험을 수반한다. 하지만 우리는 이러한 결과를 공개하는 것의 이점이 이런 우려보다 크다고 믿는다. 오염은 공격 방식으로서 다소 방어에 유리한 측면이 있다. 공격자가 먼저 오염 샘플을 심어놓아야 하고, 그 뒤에야 방어자가 데이터셋과 학습된 모델을 점검할 수 있기 때문이다. 오염 공격이 실제로 가능하다는 사실을 알리면 방어자들이 필요한 대응에 나서도록 촉진할 수 있다.

더욱이 방어자는 불가능하다고 여긴 공격에 무방비로 당하지 않아야 한다. 특히 우리 연구는 고정된 소수의 오염 샘플에도 대응할 수 있는 대규모 방어 체계가 필요하다는 점을 드러낸다. 반면 공격자에게는 우리 결과가 그다지 도움이 안 될 것으로 본다. 공격자의 진짜 제약은 삽입할 수 있는 정확한 예제 개수가 아니라, 애초에 모델 학습 데이터에 자신이 통제하는 데이터를 집어넣는 과정 자체였기 때문이다. 가령 오염된 웹페이지 하나를 확실히 포함시킬 수 있는 공격자라면, 그냥 그 페이지 크기를 키우기만 하면 그만이다.

공격자 입장에서도 사후 학습이나 맞춤형 방어책에 견디는 공격을 만드는 등 추가적인 난관이 있다. 그래서 우리는 이번 연구가 결국 더 견고한 방어 체계를 개발하는 데 도움이 된다고 믿는다. 데이터 오염 공격은 우리가 생각했던 것보다 실행 가능성이 높을 수 있다. 이 취약점과 그 대응 방안에 대한 추가 연구가 활발히 이루어지길 바란다.

전체 논문 읽기.

감사의 말

이 연구는 Alexandra Souly¹, Javier Rando^2,5, Ed Chapman³, Xander Davies^1,4, Burak Hasircioglu³, Ezzeldin Shereen³, Carlos Mougan³, Vasilios Mavroudis³, Erik Jones², Chris Hicks³, Nicholas Carlini², Yarin Gal^1,4, Robert Kirk¹이 작성했다.

소속: ¹영국 AI 보안 연구소, ²Anthropic, ³앨런 튜링 연구소, ⁴옥스퍼드 대학교 OATML, ⁵ETH 취리히

[AI/LLM] 소량의 샘플만으로도 모든 크기의 LLM을 오염시킬 수 있다