오픈AI, 첫 자체 AI 칩 '할라페뇨' 설계에 자사 LLM 투입… 20개월 만에 실리콘 완성

미국 IEEE 스펙트럼(IEEE Spectrum)은 오픈AI가 지난 8월 25일 공개한 첫 AI 가속기 칩 '할라페뇨(Jalapeño)'의 설계 과정에 자사 대규모언어모델(LLM)이 폭넓게 활용됐다고 보도했다.

할라페뇨는 4비트 연산 기준 최대 13.4페타플롭스 성능과 232GB 메모리를 갖췄고, 메모리 대역폭은 초당 15.4테라바이트다. 오픈AI가 인용한 벤치마크에 따르면 프롬프트 입력부터 마지막 토큰 출력까지의 종단 간 지연 시간을 현재 사용 중인 엔비디아 GB300 대비 최대 3.6배 단축하면서 전력 소비는 더 낮았다. 이 칩은 2048개 단위의 '포드' 형태로 배치되도록 설계됐다.

주목받는 부분은 개발 속도다. 최초 아키텍처 구상에서 첫 실리콘까지 20개월이 채 걸리지 않았고, 칩 논리를 정의하는 RTL 코드 작성부터 제조에 넘기는 테이프아웃까지는 9개월에 그쳤다. 프로젝트 기간 설계 인력은 평균 100명 미만이었다. 오픈AI는 시스템 설계 전반을 맡고, 파트너인 브로드컴이 게이트 단계 이후의 물리적 설계와 양산을 담당했다.

리처드 호 오픈AI 하드웨어 부사장은 "모델이 엔지니어들에게 초능력을 주고 있지만, 최종 판단은 여전히 엔지니어가 내린다"고 말했다. 오픈AI는 구글에서 시작된 오픈소스 고수준 합성 도구 'XLS'를 중심으로 프런트엔드 작업 흐름을 구성했고, 칩 설계용으로 미세조정한 비공개 내부 모델도 사용했다. 지난 5월 첫 칩을 받은 뒤에는 AI로 벤치마크 소프트웨어를 최적화해 약 40시간 만에 특정 커널 성능을 이론 한계치의 0.31%에서 88.94%까지 끌어올렸다.

다만 호 부사장은 칩 설계가 완전 자동화될 수 있다고는 보지 않는다며 "누구나 코덱스만으로 최첨단 AI 가속기를 만들 수 있다는 뜻은 아니다"라고 선을 그었다.