Gemma 2와 Llama 3 중 어느 것이 가장 좋은 오픈소스 모델인가요?

Google은 I/O 2024에서 Gemma 2 모델의 차기 라인을 발표했으며, 이제 회사는 마침내 오픈 소스 라이선스에 따라 경량 모델을 출시하고 있습니다. 새로운 Gemma 2 27B 모델은 Llama 3 70B 및 Qwen 1.5 32B와 같은 일부 대형 모델보다 성능이 뛰어나 매우 유망한 것으로 알려져 있습니다. 이 주장을 검증하기 위해 현재 가장 인기 있는 오픈소스 모델인 Gemma 2와 Llama 3를 비교해 보겠습니다.

창작 글쓰기

먼저, Gemma 2와 Llama 3가 창작 글쓰기에 얼마나 능숙한지 살펴보겠습니다. 이 기사의 저자는 두 모델에게 달과 태양의 관계에 대한 짧은 이야기를 쓰라고 요청했습니다. 두 모델 모두 훌륭한 성과를 거두었지만, Google의 Gemma 2 모델이 매력적인 산문과 훌륭한 스토리로 돋보입니다.

Gemma 2와 Llama 3 중 어느 것이 가장 좋은 오픈소스 모델인가요?

반면에 라마 3은 조금 지루하고 로봇처럼 보입니다. Google은 Gemini 모델을 사용하여 텍스트 생성에 항상 능숙했으며 더 작은 Gemma 2 27B도 예외는 아닙니다.

당첨 옵션: Gemma 2

다국어 테스트

다음 라운드에서는 두 모델 모두 영어가 아닌 언어를 얼마나 잘 처리하는지 살펴보겠습니다. Google은 Gemma 2가 여러 언어를 이해하는 데 능숙하다고 광고하므로 저자는 이를 Meta의 Llama 3 모델과 비교했습니다. 저자는 두 모델에게 힌디어 구절을 번역해 달라고 요청했습니다. Gemma 2와 Llama 3 모두 매우 좋은 성과를 보였습니다.

저자는 또한 벵골어라는 또 다른 언어를 시도했고, 그 모델은 비슷하게 좋은 결과를 보여주었습니다. 최소한 인도어의 경우 Gemma 2와 Llama 3은 대규모 코퍼스에서 잘 훈련되었다고 할 수 있습니다. 하지만 Gemma 2 27B는 Llama 3 70B보다 약 2.5배 작아서 더욱 인상적입니다.

우승 옵션: Gemma 2 및 Llama 3

논리를 확인하세요

Gemma 2와 Llama 3는 가장 똑똑한 모델은 아니지만 훨씬 더 큰 모델과 마찬가지로 몇 가지 일반적인 추론 테스트를 수행할 수 있습니다. 이전에 Llama 3와 GPT-4를 비교했을 때 , Meta의 70B 모델은 더 작은 크기에도 불구하고 매우 뛰어난 지능을 보여주어 인상적이었습니다.

이 라운드에서는 라마 3가 제마 2를 큰 점수 차이로 이겼습니다. 라마 3은 3개 질문 중 2개에 정답을 맞혔지만, 젬마 2는 단 하나에도 정답을 맞추지 못했습니다. Gemma 2는 복잡한 추론 문제를 풀도록 훈련되지 않았습니다.

반면, Llama 3는 견고한 추론 기반을 갖추고 있는데, 이는 암호화된 데이터 세트에서 추론할 수 있을 가능성이 높습니다. GPT-4와 같은 수조 개의 매개변수를 가진 모델과 비교했을 때 크기는 작지만, 상당한 수준의 지능을 보여줍니다. 궁극적으로, 모델을 훈련하는 데 더 많은 토큰을 사용하면 실제로 더 강력한 모델이 만들어집니다.

당첨 옵션: 라마 3

지시사항을 따르세요

다음 라운드에서 저자는 Gemma 2와 Llama 3에게 "NPU"로 끝나는 단어 10개를 만들어 보라고 했습니다. 그리고 라마 3은 10/10의 정답을 맞혔습니다. 반면 Gemma 2는 10개의 문장 중 7개만 올바른 문장을 생성했습니다. 이전 릴리스에서 Gemini를 포함한 Google 모델은 사용자 지침을 잘 따르지 못했습니다. Gemma 2에서도 같은 추세가 계속됩니다.

AI 모델에 있어서 사용자 지침을 따르는 것은 매우 중요합니다. 이는 신뢰성을 보장하고 귀하가 지시한 내용에 대한 정확한 피드백을 생성합니다. 안전 측면에서도 안전 프로토콜을 더 잘 준수하여 모델을 접지 상태로 유지하는 데 도움이 됩니다.

당첨 옵션: 라마 3

정보 찾기

Gemma 2와 Llama 3 모두 8K 토큰의 컨텍스트 길이를 갖습니다. 저자는 오만과 편견이라는 책에서 직접 발췌한 17,000개가 넘는 문자와 3,800개의 토큰이 포함된 방대한 텍스트 블록을 추가했습니다. 언제나 그렇듯이 저자는 텍스트 어딘가에 무작위로 인용문을 삽입하고 두 모델에게 그것을 찾으라고 했습니다.

제마 2는 재빨리 정보를 파악하고 그 인용문이 무작위로 삽입된 것이라고 지적했습니다. 라마 3도 이 주장이 어울리지 않는다고 생각하고 이를 지적했습니다. 장기 컨텍스트 메모리 측면에서는 8K 토큰으로 제한되기는 하지만 두 모델 모두 이 측면에서 매우 강력합니다.

저자가 HuggingChat(웹)에서 이 테스트를 실행한 이유는 meta.ai가 저작권 내용 때문에 이 프롬프트를 실행하지 않았기 때문일 가능성이 큽니다.

우승 옵션: Gemma 2 및 Llama 3

환각을 확인하세요

작은 모델의 경우 제한된 학습 데이터로 인해 AI 환각 현상이 나타나기 쉽고, 모델이 익숙하지 않은 주제에 직면하면 정보를 조작하는 경우가 많습니다. 그래서 작가는 Gemma 2와 Llama 3가 환각을 보고 있는지 시험하기 위해 자신이 만들어낸 국가 이름을 넣었습니다. 놀랍게도 그렇지 않았습니다. 즉, Google과 Meta는 모두 각자의 모델에 대한 꽤 좋은 기반을 갖추고 있다는 뜻입니다.