배치 사이즈'에 관한 이야기입니다
페이지 정보
작성자 시장왕 댓글 0건 조회 6회 작성일 25-08-04 08:04본문
논현동필라테스 LLM 기업들은 나만의 과외선생님은 아닙니다. 모든 사람들에게 서비스를 해야 하죠. 그래서 AI 칩도 딱 한 사람의 한 가지 질문만을 받지는 않습니다. 세계 전역의 챗GPT 사용자들이 저마다의 사진을 들고 찾아와 '지브리 스타일로 바꿔줘'를 외친 것처럼 다양한 질문을 받고 답을 해줘야 합니다.
그걸 위해 필수적으로 따져봐야 하는 조건이 '배치 사이즈(batch size)'입니다. AI 칩이 32K의 육중한 토큰 꾸러미를 동시에 몇개 처리할 수 있는지를 보는 겁니다. 정말 쉬운 비유를 하면요. 10명이 동시에 3만 2000 토큰(A4지 약 40장) 분량의 책을 가져와서 AI 칩에게 "이거 좀 해석해달라"고 하면 배치 사이즈가 10입니다. 100명이 찾아오면 100이고요.퓨리오사의 LG 엑사원 행사 발표에서는 이 조건이 나타나 있지 있습니다. 회사의 이 건에 대한 공식 문건을 찾아봤더니, 레니게이드 칩 4개를 배치 사이즈 조건을 '1'로 두고 테스트했다는 기록이 있습니다. 버스에 손님이 한 명 태우고 성능을 테스트했다는 이야기죠.
퓨리오사AI는 엔비디아 'A100'과의 성능 비교를 많이 합니다. 그런데 LLM 구현을 위해 A100을 써본 사람들의 말이나 각종 자료를 종합해보면요. 물론 쓰임새와 조건이 천차만별이라 배치 사이즈 설정도 제각각이지만.
