Meta AI Llama 4 모델의 3가지 최고의 새로운 기능

2025년 4월 초, Meta는 회사를 다음 단계로 끌어올리기 위해 설계된 최신 AI 모델 시리즈인 Llama 4를 출시했습니다 . 새로운 Llama 4 모델은 모두 이전 모델에 비해 상당한 개선이 이루어졌으며, 새롭게 선보이는 눈에 띄는 특징들을 소개합니다.

3. 전문가 혼합(MoE) 아키텍처

Llama 4 모델의 가장 주목할 만한 특징 중 하나는 새로운 MoE 아키텍처로, Llama 시리즈에서는 처음으로 적용된 것으로, 이전 모델과는 다른 접근 방식을 사용합니다. 새로운 아키텍처에서는 각 토큰에 대해 모델 매개변수의 일부만 활성화되는 반면, Llama 3 이하와 같은 기존의 고밀도 변환기 모델에서는 모든 매개변수가 각 작업에 대해 활성화됩니다.

예를 들어, Llama 4 Maverick은 4,000억 개의 매개변수 중 170억 개의 활성 매개변수만 사용하고, 라우팅된 전문가는 128개, 공유 전문가는 1개입니다. 시리즈 중 가장 작은 라마 4 스카우트는 총 1,090억 개의 매개변수를 가지고 있으며, 16명의 전문가로 170억 개만 활성화합니다.

3개 모델 중 가장 큰 버전인 라마 4 베히모스는 총 2조 개에 달하는 매개변수 중 2,880억 개의 활성 매개변수(전문가 16명 포함)를 사용합니다. 이 새로운 아키텍처 덕분에 각 작업에 두 명의 전문가만 배정됩니다.

아키텍처 변경 덕분에 Llama 4 시리즈의 모델은 훈련과 추론 과정에서 더욱 계산 효율성이 높아졌습니다. 매개변수의 일부만 활성화하면 서비스 비용과 지연 시간이 줄어듭니다. Meta는 MoE 아키텍처 덕분에 Llama가 단일 Nvidia H100 GPU에서 실행될 수 있다고 주장하는데, 이는 매개변수의 수를 고려하면 인상적인 성과입니다. 구체적인 지표는 없지만 ChatGPT 에 대한 각 쿼리는 여러 개의 Nvidia GPU를 사용하며, 이로 인해 측정 가능한 거의 모든 지표에서 더 큰 오버헤드가 발생하는 것으로 생각됩니다.

2. 네이티브 멀티모달 처리 기능

Llama 4 AI 모델의 또 다른 중요한 업데이트는 기본 멀티모달 처리로, 이는 이 3가지 모델이 텍스트와 이미지를 동시에 이해할 수 있다는 것을 의미합니다.

이는 텍스트와 시각적 토큰을 통합된 아키텍처로 통합하는 초기 교육 단계에서 수행된 조합 덕분입니다. 모델은 레이블이 지정되지 않은 대량의 텍스트, 이미지, 비디오 데이터를 사용하여 학습됩니다.

이보다 더 좋은 것은 없습니다. 기억하시겠지만, 2024년 9월에 출시된 Meta의 Llama 3.2 업그레이드 에서는 5개의 멀티모달 비전 모델과 5개의 텍스트 모델을 포함하여 여러 개의 새로운 모델(총 10개)이 도입되었습니다. 이 세대에서는 기본 멀티모달 처리 기능 덕분에 회사가 별도의 텍스트 및 비전 모델을 출시할 필요가 없습니다.

또한 Llama 4는 개선된 시각적 인코더를 사용하여 모델이 복잡한 시각적 추론 작업과 여러 이미지 입력을 처리할 수 있도록 하여 텍스트와 이미지에 대한 고급 이해가 필요한 애플리케이션을 처리할 수 있게 되었습니다. 멀티모달 프로세싱을 통해 LLama 4 모델을 다양한 애플리케이션에서 사용할 수도 있습니다.

1. 업계 최고의 컨텍스트 창

Llama 4의 AI 모델은 최대 1,000만 개의 토큰에 달하는 전례 없는 상황적 창을 자랑합니다. 출판 당시 Llama 4 Behemoth는 아직 개발 중이었지만, Llama 4 Scout는 최대 1,000만 개의 토큰을 컨텍스트 길이로 지원하는 기능으로 새로운 업계 기준을 세웠으며, 500만 단어가 넘는 텍스트를 입력할 수 있게 되었습니다.

이 확장된 컨텍스트 길이는 Llama 3가 처음 출시되었을 때의 8,000개 토큰과 Llama 3.2 업그레이드 후의 128,000개로 확장된 것에 비해 상당히 증가한 것입니다. 그리고 Llama 4 Scout의 1,000만 개의 컨텍스트 길이가 흥미로운 것은 아닙니다. 컨텍스트 길이가 100만 개인 Llama 4 Maverick도 인상적인 업적입니다.

Llama 3.2는 현재 장시간 대화에 적합한 최고의 AI 챗봇 중 하나입니다. 하지만 Llama 4의 확장된 컨텍스트 창 덕분에 Llama가 선두에 올랐으며, Gemini의 이전 상위 200만 토큰 컨텍스트 창, Claude 3.7 Sonnet의 20만 토큰, GPT-4.5의 12만 8천 토큰을 넘어섰습니다.

Llama 4 시리즈는 넓은 컨텍스트 창을 통해 엄청난 양의 정보를 입력해야 하는 작업을 처리할 수 있습니다. 그 큰 창은 길고 여러 개의 문서를 분석하거나, 대규모 코드 베이스를 자세히 분석하거나, 대규모 데이터 세트에 대한 추론을 하는 등의 작업에 유용합니다.

또한 Llama 4는 이전 Llama 모델이나 다른 AI 회사의 모델과 달리 장시간 대화를 이어갈 수 있습니다. Gemini 2.5 Pro가 최고의 추론 모델인 이유 중 하나가 넓은 컨텍스트 윈도우라면, 5배 또는 10배의 컨텍스트 윈도우가 얼마나 강력한지 상상할 수 있을 것입니다.

Meta의 3 시리즈 Llama 모델은 시중에서 가장 뛰어난 LLM 중 하나입니다. 하지만 Llama 4 시리즈가 출시되면서 Meta는 새로운 업계 최고 수준의 컨텍스트 창 덕분에 추론 성능을 개선하는 데 집중할 뿐만 아니라 학습과 추론 모두에서 새로운 MoE 아키텍처를 사용하여 가능한 가장 효율적인 모델을 보장함으로써 한 단계 더 나아갑니다.

Llama 4의 기본적인 멀티모달 처리 기능, 효율적인 MoE 아키텍처, 넓은 컨텍스트 창은 이를 추론, 인코딩 및 기타 여러 작업에서 선도적인 모델과 경쟁하거나 능가할 수 있는 개방적이고 고성능의 유연한 가중치 기반 AI 모델로 자리매김합니다.