Android 휴대폰에 LLM을 로컬로 설치하고 실행하는 방법

Android 휴대폰에서 대규모 언어 모델(LLM)을 로컬로 실행하면 클라우드 서버나 인터넷 연결에 의존하지 않고도 해당 AI 모델에 액세스할 수 있습니다 . 이러한 로컬 설정은 데이터를 안전하게 장치에 보관하여 개인 정보를 보호합니다. 모바일 하드웨어가 발전하면서 AI 모델을 로컬에서 실행하는 것이 현실이 되었습니다. MLC Chat 앱을 사용하면 이 강력한 기술을 휴대폰에서 바로 쉽게 경험할 수 있습니다.

이 문서에서는 Android 휴대폰에서 LLM을 로컬로 실행하는 것의 중요성을 설명하고 MLC Chat 앱을 사용하여 이를 설치하고 실행하는 단계별 지침을 제공합니다.

왜 안드로이드 폰에서 LLM을 실행해야 하나요?

LLM은 상당한 컴퓨팅 성능이 필요하기 때문에 일반적으로 클라우드 서버에서 실행됩니다. 안드로이드 폰에서는 LLM을 실행할 때 특정한 제한이 있지만, 동시에 몇 가지 흥미로운 가능성이 열려 있습니다.

• 개인정보 보호 개선 : 모든 컴퓨팅이 휴대폰에서 이루어지므로 데이터가 로컬에 유지됩니다. 이는 공유하는 민감한 정보에 있어서 중요합니다.
• 오프라인 접속 : 이 모델에 접속하거나 상호 작용하려면 지속적인 인터넷 연결이 필요하지 않습니다. 이 기능은 특히 원격 지역에 사는 사용자나 인터넷 연결이 제한된 사용자에게 유용합니다.
• 비용 효율성 : 클라우드 서버에서 LLM을 실행하려면 클라우드 스토리지 및 처리 능력과 같은 운영 비용이 발생합니다. 이 방법은 사용자에게 비용 효율적인 솔루션을 제공합니다.

Android에 MLC Chat을 설치하고 실행하는 단계별 가이드

MLC Chat 애플리케이션은 사용자가 클라우드 기반 서비스에 의존하지 않고도 모바일 폰을 포함한 다양한 기기에서 대규모 언어 모델(LLM)을 로컬로 실행하고 상호 작용할 수 있도록 설계되었습니다. Android 기기에서 LLM을 로컬로 실행하려면 아래 단계를 따르세요.

1단계: MLC Chat 애플리케이션 설치

먼저, 아래 링크에서 MLC Chat 앱의 APK(112MB)를 다운로드해야 합니다.

MLC 채팅 애플리케이션 APK 파일

APK가 다운로드되면 파일을 탭하여 설치를 시작하세요.

2단계: LLM 다운로드

앱을 성공적으로 설치한 후 앱을 열면 다운로드 가능한 LLM 목록이 표시됩니다. LLama-3.2, Phi-3.5, Mistral 등 다양한 크기와 성능의 모델이 출시되어 있습니다. 귀하의 요구 사항에 맞는 모델을 선택하고 옆에 있는 다운로드 아이콘을 클릭하여 다운로드를 시작하세요. 예를 들어 Redmi Note 10과 같은 중급형 휴대폰을 사용하는 경우, 더욱 부드러운 성능을 위해 Qwen-2.5와 같은 가벼운 모델을 선택하세요.

3단계: 설치된 LLM 실행

모델을 다운로드하면 옆에 채팅 아이콘이 나타납니다. 모델링을 시작하려면 아이콘을 클릭하세요.

모델이 준비되면 프롬프트를 입력하고 로컬 LLM과 상호 작용할 수 있습니다.

예를 들어 Redmi Note 10과 같은 기기에서 Qwen2.5와 같은 더 작은 모델을 실행하면 초당 약 1.4개의 토큰을 생성하여 매우 원활한 환경을 제공합니다. 이러한 성능은 Galaxy S23 Ultra 와 같은 고급 기기보다 느리지만 짧은 채팅이나 간단한 콘텐츠 생성과 같은 기본 작업에는 여전히 잘 작동합니다.

MLC Chat 앱을 통해 Android 기기에서 로컬로 LLM을 실행하면 AI 모델과 상호작용하는 접근 가능하고 개인 정보가 보호되는 방식을 제공합니다. 성능은 휴대폰 하드웨어에 크게 좌우됩니다. 이 솔루션은 AI 모델에 오프라인으로 액세스해야 하거나, 실시간으로 LLM을 테스트해야 하거나, 개인정보 보호에 대해 우려하는 사용자에게 이상적입니다. 모바일 하드웨어가 계속 개선됨에 따라 로컬 LLM의 기능도 확장될 것이며, 이는 AI 기술의 흥미로운 전선이 될 것입니다.