◆ Stacks
용어

TileRT

보통의 추론 엔진은 계산을 작은 작업 단위인 커널로 쪼개 올리고 내리기를 반복하는데, 답 한 글자를 만드는 시간이 1밀리초 아래로 내려가면 그 올리고 내리는 시간이 전체를 지배한다. TileRT는 그 과정을 미리 컴파일해 커널 하나로 굳혀 이 비용을 없앤다. 타일랭이라는 언어를 만든 팀이 내놓았고 깃허브에 MIT 라이선스로 공개돼 있어, 초저지연 추론이 전용 칩만의 영역인지를 가늠하는 잣대가 됐다.

약세 1

예측 · 적중 기록 2건

관련 글 2건