Foxconn, Meta의 Llama 3.1에서 개선된 대규모 언어 모델(LLM) 발표

iPhone과 기타 Apple 하드웨어 제품을 제조하는 것으로 유명한 회사인 Foxconn은 제조 및 공급망 관리를 개선하는 데 사용될 예정인 최초의 대규모 언어 모델(LLM)인 FoxBrain을 발표하여 모든 사람을 놀라게 했습니다.

대만 제조업체는 FoxBrain이 Nvidia의 H100 GPU 120개만으로 훈련되었다고 밝혔습니다. 이 LLM은 기본적으로 Meta의 Llama 3.1 아키텍처를 기반으로 개발되었으며, 증류를 통해 700억 개의 매개변수를 얻었습니다. LLM 개선이라는 개념에는 "부모" 모델을 사용하고 해당 모델의 응답을 기반으로 "자식" 모델을 훈련하는 것이 포함됩니다. 폭스콘 역시 자사의 LLM이 중국 딥시크의 정교한 모델만큼 좋지는 않지만, 전반적인 성과는 세계적 수준에 매우 가깝다고 인정했습니다.

이러한 성과에 대해 홍하이연구소(폭스콘) 인공지능 연구센터 소장인 리융후이 박사는 다음과 같이 말했습니다.

최근 몇 달 동안 추론 능력의 향상과 GPU의 효율적인 활용이 점차 AI 분야의 주요 트렌드가 되고 있습니다. FoxBrain 모델은 컴퓨팅 파워를 맹목적으로 축적하는 대신, 훈련 과정을 최적화하는 데 중점을 두어 매우 효율적인 훈련 전략을 채택했습니다.

신중하게 설계된 훈련 방법과 리소스 최적화를 통해 우리는 강력한 추론 기능을 갖춘 로컬 AI 모델을 구축하는 데 성공했습니다."

폭스콘은 애플 제품을 조립할 뿐만 아니라, 엔비디아의 AI 서버도 제조합니다. FoxBrain은 120개의 H100 GPU와 함께 Nvidia의 Quantum-2 InfiniBand 네트워크를 사용하여 확장되었으며, 학습에는 약 4주가 소요됩니다(총 연산 비용은 2,688GPU 일입니다). Foxconn은 최대 128,000개 토큰의 컨텍스트 창 길이를 사용하여 중국어 번체로 980억 개의 고품질 사전 학습 데이터 토큰을 생성했습니다.

Foxconn과 Nvidia의 협력은 새로운 것이 아니며, 두 회사는 세계 최대 규모의 Blackwell GPU 제조 시설 건설을 포함한 다른 프로젝트도 진행하고 있습니다.

엔비디아는 또한 폭스콘에 타이베이-1 슈퍼컴퓨터를 제공하여 모델 사전 학습 과정을 완료했습니다. 폭스콘은 폭스브레인이 회사의 3대 주요 플랫폼인 스마트 제조, 스마트 전기 자동차, 스마트 시티를 업그레이드하는 "핵심 엔진"이 될 것이라고 밝혔습니다.