Foxconn, Meta의 Llama 3.1에서 개선된 대규모 언어 모델(LLM) 발표

iPhone과 기타 Apple 하드웨어 제품을 제조하는 것으로 유명한 회사인 Foxconn은 제조 및 공급망 관리를 개선하는 데 사용될 예정인 최초의 대규모 언어 모델(LLM)인 FoxBrain을 발표하여 모든 사람을 놀라게 했습니다.

대만 제조업체는 FoxBrain이 Nvidia의 H100 GPU 120개만으로 훈련되었다고 밝혔습니다. 이 LLM은 기본적으로 Meta의 Llama 3.1 아키텍처를 기반으로 개발되었으며, 증류를 통해 700억 개의 매개변수를 얻었습니다. LLM 개선이라는 개념에는 "부모" 모델을 사용하고 해당 모델의 응답을 기반으로 "자식" 모델을 훈련하는 것이 포함됩니다. 폭스콘 역시 자사의 LLM이 중국 딥시크의 정교한 모델만큼 좋지는 않지만, 전반적인 성과는 세계적 수준에 매우 가깝다고 인정했습니다.

이러한 성과에 대해 홍하이연구소(폭스콘) 인공지능 연구센터 소장인 리융후이 박사는 다음과 같이 말했습니다.

최근 몇 달 동안 추론 능력의 향상과 GPU의 효율적인 활용이 점차 AI 분야의 주요 트렌드가 되고 있습니다. FoxBrain 모델은 컴퓨팅 파워를 맹목적으로 축적하는 대신, 훈련 과정을 최적화하는 데 중점을 두어 매우 효율적인 훈련 전략을 채택했습니다.

신중하게 설계된 훈련 방법과 리소스 최적화를 통해 우리는 강력한 추론 기능을 갖춘 로컬 AI 모델을 구축하는 데 성공했습니다."

Foxconn, Meta의 Llama 3.1에서 개선된 대규모 언어 모델(LLM) 발표

폭스콘은 애플 제품을 조립할 뿐만 아니라, 엔비디아의 AI 서버도 제조합니다. FoxBrain은 120개의 H100 GPU와 함께 Nvidia의 Quantum-2 InfiniBand 네트워크를 사용하여 확장되었으며, 학습에는 약 4주가 소요됩니다(총 연산 비용은 2,688GPU 일입니다). Foxconn은 최대 128,000개 토큰의 컨텍스트 창 길이를 사용하여 중국어 번체로 980억 개의 고품질 사전 학습 데이터 토큰을 생성했습니다.

Foxconn과 Nvidia의 협력은 새로운 것이 아니며, 두 회사는 세계 최대 규모의 Blackwell GPU 제조 시설 건설을 포함한 다른 프로젝트도 진행하고 있습니다.

엔비디아는 또한 폭스콘에 타이베이-1 슈퍼컴퓨터를 제공하여 모델 사전 학습 과정을 완료했습니다. 폭스콘은 폭스브레인이 회사의 3대 주요 플랫폼인 스마트 제조, 스마트 전기 자동차, 스마트 시티를 업그레이드하는 "핵심 엔진"이 될 것이라고 밝혔습니다.

Sign up and earn $1000 a day ⋙

Leave a Comment

함께 플레이 공간, 공간 이름 Play Together

함께 플레이 공간, 공간 이름 Play Together

많은 사람들이 Play Together 이름에 공백을 사용하거나 작은 밑줄을 사용하여 이름에 쓰는 글자 사이에 공백을 만듭니다.

Black Beacon PC 다운로드 방법

Black Beacon PC 다운로드 방법

PC에서 Black Beacon을 플레이하는 것은 가능하지만, 이 게임은 현재 공식적으로 이 플랫폼에 최적화되어 있지 않습니다.

구의 표면적과 부피를 계산하는 공식

구의 표면적과 부피를 계산하는 공식

구의 표면적은 큰 원의 면적의 4배이고, 이는 상수 파이에 구의 반지름 제곱을 곱한 값의 4배입니다.

중국이 최초로 달에 유인 착륙할 때 선택한 우주복의 특별한 점은 무엇일까?

중국이 최초로 달에 유인 착륙할 때 선택한 우주복의 특별한 점은 무엇일까?

중국은 2030년까지 최초로 국민을 달에 보내는 것을 목표로 하고 있으며, 이 나라는 다가올 역사적 임무에 사용될 새롭게 디자인된 우주복을 공개했습니다.

신체에 염증을 쉽게 일으키는 음식

신체에 염증을 쉽게 일으키는 음식

많은 음식이 염증과 만성 질환을 유발할 수 있습니다. 신체에 질병을 가져오고 싶지 않다면 너무 많이 섭취하지 말아야 할 음식은 다음과 같습니다.

Zuka Lien Quan 모바일 시즌 S1 2023 플레이 방법 안내

Zuka Lien Quan 모바일 시즌 S1 2023 플레이 방법 안내

주카는 체력이 낮은 챔피언에게 공포의 대상인 암살자로 알려져 있습니다. 시즌 23에서 주카를 효과적으로 사용하는 방법을 알아보세요.

최신 영웅 시대 코드 및 코드 사용 방법

최신 영웅 시대 코드 및 코드 사용 방법

영웅시대 기프트 코드를 통해 선물을 받는 것은 거의 모든 신규 플레이어가 게임에 참여할 때 하는 일입니다.

가장 저렴한 클라우드 스토리지 제공업체 8곳

가장 저렴한 클라우드 스토리지 제공업체 8곳

가장 저렴한 온라인 클라우드 스토리지 옵션을 살펴보겠습니다. 이 글에서는 절대 가격과 기가바이트당(월) 가격을 모두 살펴보겠습니다. 이를 통해 귀하에게 가장 적합한 가격을 선택할 수 있습니다.

Excel에서 파운드 기호 오류(####)는 무엇인가요?

Excel에서 파운드 기호 오류(####)는 무엇인가요?

Excel의 ####는 일반적인 Excel 오류이며 Excel에 데이터를 입력하거나, Excel 함수를 사용하거나, Excel에 수식을 입력할 때 다양한 경우에 나타납니다.

삼성 갤럭시 폰에서 변경해야 할 12가지 설정

삼성 갤럭시 폰에서 변경해야 할 12가지 설정

삼성 갤럭시 폰을 새로 구매했는데 설정이 필요하신가요? 삼성 휴대폰을 더 잘 작동시키기 위해 변경해야 할 10가지 설정은 다음과 같습니다.

최신 Murder Mystery 2 코드 및 참여 방법

최신 Murder Mystery 2 코드 및 참여 방법

코드 머더 미스터리 2는 플레이어가 캐릭터에 맞는 더 많은 칼 스킨을 선택하거나, 게임 내 서비스에 사용하거나 다른 물건을 구매할 수 있는 더 많은 돈을 얻는 데 도움이 됩니다.

부모님, 배우자, 연인, 친구에게 전하는 따뜻한 축하 인사가 담긴 아름다운 생일 카드 디자인 28개

부모님, 배우자, 연인, 친구에게 전하는 따뜻한 축하 인사가 담긴 아름다운 생일 카드 디자인 28개

연인, 부모님, 친구, 형제자매, 동료의 생일에는 선물 외에도 축하말을 담은 생일카드를 보내는 것을 잊지 마세요.

짝사랑하는 사람의 마음을 사로잡을 재밌지만 달콤한 유혹 수수께끼

짝사랑하는 사람의 마음을 사로잡을 재밌지만 달콤한 유혹 수수께끼

이 재미있는 퀴즈는 당신이 강한 인상을 남기고 좋아하는 사람의 마음을 빠르고 행복하게 사로잡는 데 도움이 될 것입니다.

코르키 DTCL 시즌 7: 아이템 제작, 표준 코르키 거너 분대

코르키 DTCL 시즌 7: 아이템 제작, 표준 코르키 거너 분대

코르키 DTCL 시즌 7은 적 팀을 파괴할 수 있는 자유를 얻고 싶다면 통제력을 발휘할 수 있는 보호나 지원이 필요합니다. 동시에, 코르키의 장비도 더 효과적인 피해를 입히기 위해서는 표준이어야 합니다.

Mini World Royale 다운로드 방법 및 플레이 방법 안내

Mini World Royale 다운로드 방법 및 플레이 방법 안내

미니 월드 로얄의 다운로드 링크와 플레이 방법은 다음과 같습니다. 미니 월드 로얄 APK와 미니 월드 로얄 iOS, 두 가지 버전이 있습니다.