Meta AI Llama 4 모델의 3가지 최고의 새로운 기능

2025년 4월 초, Meta는 회사를 다음 단계로 끌어올리기 위해 설계된 최신 AI 모델 시리즈인 Llama 4를 출시했습니다 . 새로운 Llama 4 모델은 모두 이전 모델에 비해 상당한 개선이 이루어졌으며, 새롭게 선보이는 눈에 띄는 특징들을 소개합니다.

3. 전문가 혼합(MoE) 아키텍처

Llama 4 모델의 가장 주목할 만한 특징 중 하나는 새로운 MoE 아키텍처로, Llama 시리즈에서는 처음으로 적용된 것으로, 이전 모델과는 다른 접근 방식을 사용합니다. 새로운 아키텍처에서는 각 토큰에 대해 모델 매개변수의 일부만 활성화되는 반면, Llama 3 이하와 같은 기존의 고밀도 변환기 모델에서는 모든 매개변수가 각 작업에 대해 활성화됩니다.

예를 들어, Llama 4 Maverick은 4,000억 개의 매개변수 중 170억 개의 활성 매개변수만 사용하고, 라우팅된 전문가는 128개, 공유 전문가는 1개입니다. 시리즈 중 가장 작은 라마 4 스카우트는 총 1,090억 개의 매개변수를 가지고 있으며, 16명의 전문가로 170억 개만 활성화합니다.

3개 모델 중 가장 큰 버전인 라마 4 베히모스는 총 2조 개에 달하는 매개변수 중 2,880억 개의 활성 매개변수(전문가 16명 포함)를 사용합니다. 이 새로운 아키텍처 덕분에 각 작업에 두 명의 전문가만 배정됩니다.

아키텍처 변경 덕분에 Llama 4 시리즈의 모델은 훈련과 추론 과정에서 더욱 계산 효율성이 높아졌습니다. 매개변수의 일부만 활성화하면 서비스 비용과 지연 시간이 줄어듭니다. Meta는 MoE 아키텍처 덕분에 Llama가 단일 Nvidia H100 GPU에서 실행될 수 있다고 주장하는데, 이는 매개변수의 수를 고려하면 인상적인 성과입니다. 구체적인 지표는 없지만 ChatGPT 에 대한 각 쿼리는 여러 개의 Nvidia GPU를 사용하며, 이로 인해 측정 가능한 거의 모든 지표에서 더 큰 오버헤드가 발생하는 것으로 생각됩니다.

2. 네이티브 멀티모달 처리 기능

Llama 4 AI 모델의 또 다른 중요한 업데이트는 기본 멀티모달 처리로, 이는 이 3가지 모델이 텍스트와 이미지를 동시에 이해할 수 있다는 것을 의미합니다.

이는 텍스트와 시각적 토큰을 통합된 아키텍처로 통합하는 초기 교육 단계에서 수행된 조합 덕분입니다. 모델은 레이블이 지정되지 않은 대량의 텍스트, 이미지, 비디오 데이터를 사용하여 학습됩니다.

Meta AI Llama 4 모델의 3가지 최고의 새로운 기능

이보다 더 좋은 것은 없습니다. 기억하시겠지만, 2024년 9월에 출시된 Meta의 Llama 3.2 업그레이드 에서는 5개의 멀티모달 비전 모델과 5개의 텍스트 모델을 포함하여 여러 개의 새로운 모델(총 10개)이 도입되었습니다. 이 세대에서는 기본 멀티모달 처리 기능 덕분에 회사가 별도의 텍스트 및 비전 모델을 출시할 필요가 없습니다.

또한 Llama 4는 개선된 시각적 인코더를 사용하여 모델이 복잡한 시각적 추론 작업과 여러 이미지 입력을 처리할 수 있도록 하여 텍스트와 이미지에 대한 고급 이해가 필요한 애플리케이션을 처리할 수 있게 되었습니다. 멀티모달 프로세싱을 통해 LLama 4 모델을 다양한 애플리케이션에서 사용할 수도 있습니다.

1. 업계 최고의 컨텍스트 창

Llama 4의 AI 모델은 최대 1,000만 개의 토큰에 달하는 전례 없는 상황적 창을 자랑합니다. 출판 당시 Llama 4 Behemoth는 아직 개발 중이었지만, Llama 4 Scout는 최대 1,000만 개의 토큰을 컨텍스트 길이로 지원하는 기능으로 새로운 업계 기준을 세웠으며, 500만 단어가 넘는 텍스트를 입력할 수 있게 되었습니다.

이 확장된 컨텍스트 길이는 Llama 3가 처음 출시되었을 때의 8,000개 토큰과 Llama 3.2 업그레이드 후의 128,000개로 확장된 것에 비해 상당히 증가한 것입니다. 그리고 Llama 4 Scout의 1,000만 개의 컨텍스트 길이가 흥미로운 것은 아닙니다. 컨텍스트 길이가 100만 개인 Llama 4 Maverick도 인상적인 업적입니다.

Llama 3.2는 현재 장시간 대화에 적합한 최고의 AI 챗봇 중 하나입니다. 하지만 Llama 4의 확장된 컨텍스트 창 덕분에 Llama가 선두에 올랐으며, Gemini의 이전 상위 200만 토큰 컨텍스트 창, Claude 3.7 Sonnet의 20만 토큰, GPT-4.5의 12만 8천 토큰을 넘어섰습니다.

Meta AI Llama 4 모델의 3가지 최고의 새로운 기능

Llama 4 시리즈는 넓은 컨텍스트 창을 통해 엄청난 양의 정보를 입력해야 하는 작업을 처리할 수 있습니다. 그 큰 창은 길고 여러 개의 문서를 분석하거나, 대규모 코드 베이스를 자세히 분석하거나, 대규모 데이터 세트에 대한 추론을 하는 등의 작업에 유용합니다.

또한 Llama 4는 이전 Llama 모델이나 다른 AI 회사의 모델과 달리 장시간 대화를 이어갈 수 있습니다. Gemini 2.5 Pro가 최고의 추론 모델인 이유 중 하나가 넓은 컨텍스트 윈도우라면, 5배 또는 10배의 컨텍스트 윈도우가 얼마나 강력한지 상상할 수 있을 것입니다.

Meta의 3 시리즈 Llama 모델은 시중에서 가장 뛰어난 LLM 중 하나입니다. 하지만 Llama 4 시리즈가 출시되면서 Meta는 새로운 업계 최고 수준의 컨텍스트 창 덕분에 추론 성능을 개선하는 데 집중할 뿐만 아니라 학습과 추론 모두에서 새로운 MoE 아키텍처를 사용하여 가능한 가장 효율적인 모델을 보장함으로써 한 단계 더 나아갑니다.

Llama 4의 기본적인 멀티모달 처리 기능, 효율적인 MoE 아키텍처, 넓은 컨텍스트 창은 이를 추론, 인코딩 및 기타 여러 작업에서 선도적인 모델과 경쟁하거나 능가할 수 있는 개방적이고 고성능의 유연한 가중치 기반 AI 모델로 자리매김합니다.

댓글 남기기

미국-이스라엘-이란 간 핵전쟁이 발발할 경우 유럽은 전쟁에 휘말릴 것인가? 나토 규정 설명

미국-이스라엘-이란 간 핵전쟁이 발발할 경우 유럽은 전쟁에 휘말릴 것인가? 나토 규정 설명

나토 4조 및 5조, 유엔 자위권 규정, 그리고 협의가 유럽의 자동 참전을 의미하지 않는 이유에 대한 안내.

이란이 이미 핵무기를 보유하고 있을 가능성이 있을까? 증거를 어떻게 해석해야 할까?

이란이 이미 핵무기를 보유하고 있을 가능성이 있을까? 증거를 어떻게 해석해야 할까?

이란에 대한 주장을 6단계로 평가하고, 우라늄 농축, 무기 개발 및 검증된 보유 여부를 구분하십시오.

미국과 이스라엘 핵 당국: 공개된 자료에서 실제로 밝혀진 내용은 무엇인가?

미국과 이스라엘 핵 당국: 공개된 자료에서 실제로 밝혀진 내용은 무엇인가?

미국의 민간 통제 및 이스라엘 관련 공개 정보의 한계를 포함하여 핵 결정 권한을 6단계로 이해해 보세요.

2026년 호르무즈 해협: 공식 소식통에 따르면 해상 운송 차질은 어떻게 예상될까?

2026년 호르무즈 해협: 공식 소식통에 따르면 해상 운송 차질은 어떻게 예상될까?

2026년 호르무즈 해협 해상 운송 방해, 이란 관련 주장, 확인된 사건 및 불확실한 사항에 대한 공식 증거 가이드.

미국과 이스라엘이 이란을 핵 공격하는 가상 시나리오가 제3차 세계 대전을 촉발할까요?

미국과 이스라엘이 이란을 핵 공격하는 가상 시나리오가 제3차 세계 대전을 촉발할까요?

이란의 가상 시나리오를 바탕으로 핵 확전 위험, 유엔 헌장 규정 및 나토 조약 5조에 대한 자료 기반 안내서.

가상 EMP 공격으로 인한 정전 사태에 대비하는 방법: 일반인이 취할 수 있는 5가지 조치

가상 EMP 공격으로 인한 정전 사태에 대비하는 방법: 일반인이 취할 수 있는 5가지 조치

정전 대비를 위한 5단계 절차를 따르세요. 원자력 및 EMP 시나리오는 가상 상황이며, 공식 대피소 안내가 최우선입니다.

제3차 세계대전을 가정하지 않고 사이버 공격의 위험성을 평가하는 방법: 5단계 가이드

제3차 세계대전을 가정하지 않고 사이버 공격의 위험성을 평가하는 방법: 5단계 가이드

사이버 공격 발생 시 이를 확인하고, 가정용 계정을 보호하며, 정전을 전쟁으로 오인하지 않도록 5가지 방어 단계를 따르세요.

핵겨울: 이란의 가상 공격이 지구 기후에 미치는 영향을 평가하는 방법

이 5단계를 활용하여 가상의 이란 공격이 기후에 미치는 영향을 평가하고, 모델 가정을 비교하며, 근거 없는 예측을 피하십시오.

가상 핵전쟁 이후 지구가 회복하는 데 얼마나 걸릴까요?

가상 핵전쟁 이후 지구가 회복하는 데 얼마나 걸릴까요?

가상의 핵전쟁 이후 기후, 식량 및 생태계 복구에 관한 연구 논문을 읽는 6단계 방법을 살펴보세요.

핵 낙진 대비 체크리스트: 필수 물품 및 대피소 준비 사항

핵 낙진 대비 체크리스트: 필수 물품 및 대피소 준비 사항

밀폐된 식품과 물, 라디오, 의료 용품, 그리고 대피소 안내를 포함한 실용적인 방사능 낙진 대비 키트를 6단계로 만들어 보세요.