일론 머스크의 XAI - Grok-1.5 발표
댓글
0
조회
149
추천
0
비추천
0
03.29 12:35
일론 머스크의 XAI - Grok-1.5 발표
Grok-1.5는 향상된 추론 기능과 128,000개의 토큰의 컨텍스트 길이를 제공합니다. 곧 ????에 출시
Grok-1.5의 가장 눈에 띄는 개선 사항 중 하나는 코딩 및 수학 관련 작업의 성능입니다. 테스트에서 Grok-1.5는 MATH 벤치마크에서 50.6% 점수, GSM8K 벤치마크에서 90% 점수를 획득했습니다. 두 가지 수학 벤치마크는 초등학교부터 고등학교까지의 광범위한 경쟁 문제를 포괄합니다. 또한 코드 생성 및 문제 해결 능력을 평가하는 HumanEval 벤치마크에서도 74.1%를 기록했습니다.
Grok-1.5 인프라: 대규모 GPU 클러스터에서 실행되는 최첨단 LLM(대형 언어 모델) 연구에는 강력하고 유연한 인프라가 필요합니다. Grok-1.5는 JAX, Rust 및 Kubernetes를 기반으로 하는 맞춤형 분산 교육 프레임워크를 기반으로 구축되었습니다. 이 교육 스택을 통해 우리 팀은 최소한의 노력으로 아이디어의 프로토타입을 만들고 대규모로 새로운 아키텍처를 교육할 수 있습니다. 대규모 컴퓨팅 클러스터에서 LLM을 교육할 때 가장 큰 과제는 교육 작업의 안정성과 가동 시간을 극대화하는 것입니다. 우리의 맞춤형 훈련 오케스트레이터는 문제가 있는 노드가 자동으로 감지되어 훈련 작업에서 제거되도록 보장합니다. 또한 오류 발생 시 가동 중지 시간을 최소화하기 위해 검사점, 데이터 로드 및 훈련 작업 다시 시작을 최적화했습니다.
Grok-1.5는 곧 초기 테스터에게 제공될 예정이며, Grok 개선에 도움이 되는 피드백을 기다리겠습니다. 점차적으로 Grok-1.5를 더 많은 사용자에게 출시함에 따라 앞으로 며칠 동안 몇 가지 새로운 기능을 소개하게 되어 기쁘게 생각합니다.
- 05.20 미 SEC의 "ETH 현물 ETF 승인" 셈법, 우리 생각보다 복잡할 수도
- 05.20 지난 12시간 동안 크립토에서 무슨 일이 일어났습니까?
- 05.19 연준 의장/연은 총재 연설 일정 (한국시간)
- 05.19 알렉스 5/18 업데이트
- 05.18 비트코인
- 05.18 테더
- 05.18 헤지펀드 창업자 예측 : 솔라나(SOL) 가격, 월말까지 200달러 복귀 예상
- 05.18 코인베이스가 이더리움을 긍정적으로 전망하는 10가지 이유
- 05.17 '스택스와 알렉스의 불필요한 오해들'
- 05.17 [폭스비즈니스 기자 "SEC 암호화폐 회계 지침 무효화 법안 시행 여부, 10일 내 판가름"]