미국-이스라엘-이란 간 핵전쟁이 발발할 경우 유럽은 전쟁에 휘말릴 것인가? 나토 규정 설명
나토 4조 및 5조, 유엔 자위권 규정, 그리고 협의가 유럽의 자동 참전을 의미하지 않는 이유에 대한 안내.
이제 HuggingFace와 H20, Text Gen, GPT4All과 같은 AI 생태계에서 양자 LLM을 사용할 수 있게 되어 컴퓨터에 LLM 가중치를 로드할 수 있게 되면서, 이제 무료, 유연하고 안전한 AI를 선택할 수 있는 옵션이 생겼습니다. 지금 당장 시도해 볼 수 있는 최고의 로컬/오프라인 LLM 9개를 소개합니다!
목차

Hermes 2 Pro는 Nous Research에서 세밀하게 조정한 고급 언어 모델입니다. 이 데이터 세트는 OpenHermes 2.5 데이터 세트의 업데이트되고 간소화된 버전을 사용하며, 회사 자체에서 개발한 새로 도입된 함수 호출 및 JSON 데이터 세트도 사용합니다. 이 모델은 Mistral 7B 아키텍처를 기반으로 하며, 대부분 합성 데이터인 GPT-4 품질 이상의 1,000,000개 명령어/대화로 학습되었습니다.
|
모델 |
에르메스 2 프로 GPTQ |
|---|---|
|
모델 사이즈 |
7.26GB |
|
매개변수 |
70억 |
|
양자화 |
4비트 |
|
유형 |
미스트랄 |
|
특허 |
아파치 2.0 |
Mistral 7B에 탑재된 Hermes 2 Pro는 새로운 Hermes 7B 플래그십 모델로, AGIEval, BigBench Reasoning, GPT4All, TruthfulQA 등 다양한 벤치마크에서 향상된 성능을 제공합니다. 고급 기능을 갖추고 있어 코드 생성, 콘텐츠 생성, 대화형 AI 애플리케이션 등 다양한 자연어 처리(NLP) 작업에 적합합니다.
Zephyr는 도움이 되는 조수 역할을 하도록 훈련된 일련의 언어 모델입니다. Zephyr-7B-Beta는 공개적으로 이용 가능한 합성 데이터 세트를 혼합하여 직접 선호도 최적화(DPO)를 사용하여 Mistral-7B-v0.1에서 개선된 이 시리즈의 두 번째 모델입니다.
|
모델 |
제퍼 7B 베타 |
|---|---|
|
모델 사이즈 |
7.26GB |
|
매개변수 |
70억 |
|
양자화 |
4비트 |
|
유형 |
미스트랄 |
|
특허 |
아파치 2.0 |
Zephyr-7B-Beta는 학습 데이터 세트의 내장된 정렬을 제거함으로써 MT-Bench와 같은 벤치마크에서 향상된 성능을 보여 다양한 작업에서의 유용성을 높였습니다. 하지만 이러한 조정은 특정 방식으로 요청될 때 문제가 있는 텍스트 생성으로 이어질 수 있습니다.
Falcon의 양자화된 버전은 TII의 원시 Falcon-7b 모델을 기반으로 개선된 디코더 전용 아키텍처를 기반으로 합니다. 기본 Falcon 모델은 공개 인터넷에서 공급된 1.5조 개의 미결제 토큰을 사용하여 훈련되었습니다. Apache 2 라이선스를 받은 명령 기반 디코더 전용 모델인 Falcon Instruct는 언어 번역 및 데이터 수집에 사용할 모델을 찾는 소규모 기업에 적합합니다.
|
모델 |
팔콘-7B-인스트럭트 |
|---|---|
|
모델 사이즈 |
7.58GB |
|
매개변수 |
70억 |
|
양자화 |
4비트 |
|
유형 |
매 |
|
특허 |
아파치 2.0 |
하지만 이 버전의 Falcon은 미세 조정에는 적합하지 않으며 추론에만 사용하도록 설계되었습니다. Falcon을 미세 조정하려면 원시 모델을 사용해야 하는데, 이를 위해서는 NVIDIA DGX나 AMD Instinct AI 가속기와 같은 엔터프라이즈급 학습 하드웨어에 대한 액세스가 필요할 수 있습니다.
GPT4All-J Groovy는 Nomic AI가 조정하고 Apache 2.0 라이선스를 받은 디코더 전용 모델입니다. GPT4ALL-J Groovy는 프롬프트에서 텍스트를 생성하는 데 뛰어난 것으로 알려진 원래의 GPT-J 모델을 기반으로 합니다. GPT4ALL -J Groovy는 대화형 모델로 조정되었으며, 이는 빠르고 창의적인 텍스트 생성 애플리케이션에 적합합니다. 이러한 특징으로 인해 GPT4All-J Groovy는 시, 음악, 스토리 등 어떤 것이든 글쓰기와 작곡을 돕는 콘텐츠 제작자에게 이상적입니다.
|
모델 |
GPT4ALL-J 그루비 |
|---|---|
|
모델 사이즈 |
3.53GB |
|
매개변수 |
70억 |
|
양자화 |
4비트 |
|
유형 |
지피티-제이 |
|
특허 |
아파치 2.0 |
안타깝게도 기준 GPT-J 모델은 영어 데이터 세트로만 학습되었기 때문에 이처럼 미세하게 조정된 GPT4ALL-J 모델조차도 영어로만 대화하고 텍스트 생성 애플리케이션을 수행할 수 있습니다.
DeepSeek Coder V2는 프로그래밍과 수학적 추론을 강화하는 고급 언어 모델입니다. DeepSeek Coder V2는 여러 프로그래밍 언어를 지원하고 확장된 컨텍스트 길이를 제공하므로 개발자에게 다재다능한 도구입니다.
|
모델 |
DeepSeek Coder V2 지침 |
|---|---|
|
모델 사이즈 |
13GB |
|
매개변수 |
330억 |
|
양자화 |
4비트 |
|
유형 |
딥시크 |
|
특허 |
아파치 2.0 |
DeepSeek Coder V2는 이전 버전에 비해 코드, 추론 및 일반 기능과 관련된 작업에서 상당한 개선을 보여줍니다. 프로그래밍 언어에 대한 지원을 86에서 338로 확장하고 컨텍스트 길이를 16K에서 128K 토큰으로 확장합니다. 벤치마크에서는 GPT-4 Turbo, Claude 3 Opus, Gemini 1.5 Pro와 같은 모델보다 암호화 및 수학적 벤치마크에서 우수한 성능을 보입니다.
Mixtral-8x7B는 Mistral AI가 개발한 전문가 모델(MoE)을 혼합한 것입니다. MLP당 8명의 전문가가 있으며 총 450억 개의 매개변수가 있습니다. 그러나 추론 중에는 토큰당 두 명의 전문가만 활성화되므로 계산 효율성이 높고 속도와 비용은 120억 개의 매개변수 모델과 비슷합니다.
|
모델 |
믹스트랄-8x7B |
|---|---|
|
모델 사이즈 |
12GB |
|
매개변수 |
450억(전문가 8명) |
|
양자화 |
4비트 |
|
유형 |
미스트랄 MoE |
|
특허 |
아파치 2.0 |
Mixtral은 32k 토큰의 컨텍스트 길이를 지원하고 대부분 벤치마크에서 Llama 2보다 70B 더 나은 성능을 보이며, GPT-3.5 성능과 동일하거나 더 뛰어납니다. 영어, 프랑스어, 독일어, 스페인어, 이탈리아어 등 여러 언어에 능통하므로 다양한 NLP 작업에 적합한 선택입니다.
Wizard-Vicuna GPTQ는 LlaMA 모델을 기반으로 한 Wizard Vicuna의 양자 버전입니다. 대중에게 공개된 대부분의 LLM과는 달리 Wizard-Vicuna는 연관성이 제거된 검열되지 않은 모델입니다. 즉, 이 모델은 다른 대부분의 모델과 동일한 안전 및 윤리 기준을 갖추고 있지 않습니다.
|
모델 |
마법사-Vicuna-30B-무수정-GPTQ |
|---|---|
|
모델 사이즈 |
16.94GB |
|
매개변수 |
300억 |
|
양자화 |
4비트 |
|
유형 |
야마 |
|
특허 |
GPL 3 |
검열되지 않은 LLM을 사용하면 AI 정렬 제어에 문제가 발생할 수 있지만 제약 없이 답변할 수 있으므로 모델의 성능을 최대한 발휘할 수 있습니다. 이를 통해 사용자는 주어진 프롬프트에 따라 AI가 어떻게 행동하거나 응답해야 하는지에 대한 자신만의 맞춤 정렬을 추가할 수도 있습니다.
독특한 학습 방법을 사용하여 학습된 모델을 테스트하고 싶으신가요? Orca Mini는 Microsoft의 Orca 연구 논문을 비공식적으로 구현한 것입니다. 이 모델은 교사-학생 학습 방식을 사용하여 훈련되었으며, 데이터 세트는 단순한 프롬프트와 응답 대신 설명으로 채워졌습니다. 이론상으로는 이 방식이 학생을 더 똑똑하게 만들 것입니다. 기존 LLM이 작동하는 방식대로 입력과 출력 쌍만 찾는 것이 아니라 모델이 문제를 이해할 수 있기 때문입니다.
Llama 2 는 기존 Llama LLM의 후속 버전으로, 향상된 성능과 다양성을 제공합니다. 13B Chat GPTQ 변형은 영어 대화에 최적화된 대화형 AI 애플리케이션에 맞춰 조정되었습니다.
위에 나열된 모델 중 일부는 사양에 따라 여러 버전으로 제공됩니다. 일반적으로 사양이 높은 버전은 더 나은 결과를 생성하지만 더 강력한 하드웨어가 필요하고, 사양이 낮은 버전은 품질이 낮은 결과를 생성하지만 하위 사양의 하드웨어에서도 실행할 수 있습니다. PC에서 이 모델을 실행할 수 있는지 확실하지 않으면 먼저 사양이 낮은 버전을 사용해 본 다음, 성능 저하가 더 이상 용납할 수 없다고 느낄 때까지 계속 진행하세요.
나토 4조 및 5조, 유엔 자위권 규정, 그리고 협의가 유럽의 자동 참전을 의미하지 않는 이유에 대한 안내.
이란에 대한 주장을 6단계로 평가하고, 우라늄 농축, 무기 개발 및 검증된 보유 여부를 구분하십시오.
미국의 민간 통제 및 이스라엘 관련 공개 정보의 한계를 포함하여 핵 결정 권한을 6단계로 이해해 보세요.
2026년 호르무즈 해협 해상 운송 방해, 이란 관련 주장, 확인된 사건 및 불확실한 사항에 대한 공식 증거 가이드.
이란의 가상 시나리오를 바탕으로 핵 확전 위험, 유엔 헌장 규정 및 나토 조약 5조에 대한 자료 기반 안내서.
정전 대비를 위한 5단계 절차를 따르세요. 원자력 및 EMP 시나리오는 가상 상황이며, 공식 대피소 안내가 최우선입니다.
사이버 공격 발생 시 이를 확인하고, 가정용 계정을 보호하며, 정전을 전쟁으로 오인하지 않도록 5가지 방어 단계를 따르세요.
이 5단계를 활용하여 가상의 이란 공격이 기후에 미치는 영향을 평가하고, 모델 가정을 비교하며, 근거 없는 예측을 피하십시오.
가상의 핵전쟁 이후 기후, 식량 및 생태계 복구에 관한 연구 논문을 읽는 6단계 방법을 살펴보세요.
밀폐된 식품과 물, 라디오, 의료 용품, 그리고 대피소 안내를 포함한 실용적인 방사능 낙진 대비 키트를 6단계로 만들어 보세요.




