지금 당장 시도할 수 있는 최고의 로컬/오프라인 LLM 9가지

이제 HuggingFace와 H20, Text Gen, GPT4All과 같은 AI 생태계에서 양자 LLM을 사용할 수 있게 되어 컴퓨터에 LLM 가중치를 로드할 수 있게 되면서, 이제 무료, 유연하고 안전한 AI를 선택할 수 있는 옵션이 생겼습니다. 지금 당장 시도해 볼 수 있는 최고의 로컬/오프라인 LLM 9개를 소개합니다!

목차

• 1. 에르메스 2 프로 GPTQ
• 2. 제퍼 7B 베타
• 3. 팔콘 인스트럭트 GPTQ
• 4. GPT4ALL-J 그루비
• 5. DeepSeek Coder V2 Instruct
• 6. 믹스트랄-8x7B
• 7. 마법사 비쿠나 무수정-GPTQ
• 8. 오르카 미니-GPTQ
• 9. 라마 2 13B 채팅 GPTQ

1. 에르메스 2 프로 GPTQ

Hermes 2 Pro는 Nous Research에서 세밀하게 조정한 고급 언어 모델입니다. 이 데이터 세트는 OpenHermes 2.5 데이터 세트의 업데이트되고 간소화된 버전을 사용하며, 회사 자체에서 개발한 새로 도입된 함수 호출 및 JSON 데이터 세트도 사용합니다. 이 모델은 Mistral 7B 아키텍처를 기반으로 하며, 대부분 합성 데이터인 GPT-4 품질 이상의 1,000,000개 명령어/대화로 학습되었습니다.

Mistral 7B에 탑재된 Hermes 2 Pro는 새로운 Hermes 7B 플래그십 모델로, AGIEval, BigBench Reasoning, GPT4All, TruthfulQA 등 다양한 벤치마크에서 향상된 성능을 제공합니다. 고급 기능을 갖추고 있어 코드 생성, 콘텐츠 생성, 대화형 AI 애플리케이션 등 다양한 자연어 처리(NLP) 작업에 적합합니다.

2. 제퍼 7B 베타

Zephyr는 도움이 되는 조수 역할을 하도록 훈련된 일련의 언어 모델입니다. Zephyr-7B-Beta는 공개적으로 이용 가능한 합성 데이터 세트를 혼합하여 직접 선호도 최적화(DPO)를 사용하여 Mistral-7B-v0.1에서 개선된 이 시리즈의 두 번째 모델입니다.

Zephyr-7B-Beta는 학습 데이터 세트의 내장된 정렬을 제거함으로써 MT-Bench와 같은 벤치마크에서 향상된 성능을 보여 다양한 작업에서의 유용성을 높였습니다. 하지만 이러한 조정은 특정 방식으로 요청될 때 문제가 있는 텍스트 생성으로 이어질 수 있습니다.

3. 팔콘 인스트럭트 GPTQ

Falcon의 양자화된 버전은 TII의 원시 Falcon-7b 모델을 기반으로 개선된 디코더 전용 아키텍처를 기반으로 합니다. 기본 Falcon 모델은 공개 인터넷에서 공급된 1.5조 개의 미결제 토큰을 사용하여 훈련되었습니다. Apache 2 라이선스를 받은 명령 기반 디코더 전용 모델인 Falcon Instruct는 언어 번역 및 데이터 수집에 사용할 모델을 찾는 소규모 기업에 적합합니다.

하지만 이 버전의 Falcon은 미세 조정에는 적합하지 않으며 추론에만 사용하도록 설계되었습니다. Falcon을 미세 조정하려면 원시 모델을 사용해야 하는데, 이를 위해서는 NVIDIA DGX나 AMD Instinct AI 가속기와 같은 엔터프라이즈급 학습 하드웨어에 대한 액세스가 필요할 수 있습니다.

4. GPT4ALL-J 그루비

GPT4All-J Groovy는 Nomic AI가 조정하고 Apache 2.0 라이선스를 받은 디코더 전용 모델입니다. GPT4ALL-J Groovy는 프롬프트에서 텍스트를 생성하는 데 뛰어난 것으로 알려진 원래의 GPT-J 모델을 기반으로 합니다. GPT4ALL -J Groovy는 대화형 모델로 조정되었으며, 이는 빠르고 창의적인 텍스트 생성 애플리케이션에 적합합니다. 이러한 특징으로 인해 GPT4All-J Groovy는 시, 음악, 스토리 등 어떤 것이든 글쓰기와 작곡을 돕는 콘텐츠 제작자에게 이상적입니다.

안타깝게도 기준 GPT-J 모델은 영어 데이터 세트로만 학습되었기 때문에 이처럼 미세하게 조정된 GPT4ALL-J 모델조차도 영어로만 대화하고 텍스트 생성 애플리케이션을 수행할 수 있습니다.

5. DeepSeek Coder V2 Instruct

DeepSeek Coder V2는 프로그래밍과 수학적 추론을 강화하는 고급 언어 모델입니다. DeepSeek Coder V2는 여러 프로그래밍 언어를 지원하고 확장된 컨텍스트 길이를 제공하므로 개발자에게 다재다능한 도구입니다.

DeepSeek Coder V2는 이전 버전에 비해 코드, 추론 및 일반 기능과 관련된 작업에서 상당한 개선을 보여줍니다. 프로그래밍 언어에 대한 지원을 86에서 338로 확장하고 컨텍스트 길이를 16K에서 128K 토큰으로 확장합니다. 벤치마크에서는 GPT-4 Turbo, Claude 3 Opus, Gemini 1.5 Pro와 같은 모델보다 암호화 및 수학적 벤치마크에서 우수한 성능을 보입니다.

6. 믹스트랄-8x7B

Mixtral-8x7B는 Mistral AI가 개발한 전문가 모델(MoE)을 혼합한 것입니다. MLP당 8명의 전문가가 있으며 총 450억 개의 매개변수가 있습니다. 그러나 추론 중에는 토큰당 두 명의 전문가만 활성화되므로 계산 효율성이 높고 속도와 비용은 120억 개의 매개변수 모델과 비슷합니다.

Mixtral은 32k 토큰의 컨텍스트 길이를 지원하고 대부분 벤치마크에서 Llama 2보다 70B 더 나은 성능을 보이며, GPT-3.5 성능과 동일하거나 더 뛰어납니다. 영어, 프랑스어, 독일어, 스페인어, 이탈리아어 등 여러 언어에 능통하므로 다양한 NLP 작업에 적합한 선택입니다.

7. 마법사 비쿠나 무수정-GPTQ

Wizard-Vicuna GPTQ는 LlaMA 모델을 기반으로 한 Wizard Vicuna의 양자 버전입니다. 대중에게 공개된 대부분의 LLM과는 달리 Wizard-Vicuna는 연관성이 제거된 검열되지 않은 모델입니다. 즉, 이 모델은 다른 대부분의 모델과 동일한 안전 및 윤리 기준을 갖추고 있지 않습니다.

검열되지 않은 LLM을 사용하면 AI 정렬 제어에 문제가 발생할 수 있지만 제약 없이 답변할 수 있으므로 모델의 성능을 최대한 발휘할 수 있습니다. 이를 통해 사용자는 주어진 프롬프트에 따라 AI가 어떻게 행동하거나 응답해야 하는지에 대한 자신만의 맞춤 정렬을 추가할 수도 있습니다.

8. 오르카 미니-GPTQ

독특한 학습 방법을 사용하여 학습된 모델을 테스트하고 싶으신가요? Orca Mini는 Microsoft의 Orca 연구 논문을 비공식적으로 구현한 것입니다. 이 모델은 교사-학생 학습 방식을 사용하여 훈련되었으며, 데이터 세트는 단순한 프롬프트와 응답 대신 설명으로 채워졌습니다. 이론상으로는 이 방식이 학생을 더 똑똑하게 만들 것입니다. 기존 LLM이 작동하는 방식대로 입력과 출력 쌍만 찾는 것이 아니라 모델이 문제를 이해할 수 있기 때문입니다.

9. 라마 2 13B 채팅 GPTQ

Llama 2 는 기존 Llama LLM의 후속 버전으로, 향상된 성능과 다양성을 제공합니다. 13B Chat GPTQ 변형은 영어 대화에 최적화된 대화형 AI 애플리케이션에 맞춰 조정되었습니다.

위에 나열된 모델 중 일부는 사양에 따라 여러 버전으로 제공됩니다. 일반적으로 사양이 높은 버전은 더 나은 결과를 생성하지만 더 강력한 하드웨어가 필요하고, 사양이 낮은 버전은 품질이 낮은 결과를 생성하지만 하위 사양의 하드웨어에서도 실행할 수 있습니다. PC에서 이 모델을 실행할 수 있는지 확실하지 않으면 먼저 사양이 낮은 버전을 사용해 본 다음, 성능 저하가 더 이상 용납할 수 없다고 느낄 때까지 계속 진행하세요.