Show HN: Llmspeed - 하드웨어 구매 전에 로컬 LLM 실행 속도를 체감하기
3 hours ago
2
- Llmspeed는 하드웨어를 구매하기 전에 로컬 LLM이 얼마나 빠르게 동작할지 체감해 보는 서비스임
- 하드웨어별 탐색과 모델별 탐색을 제공해 관심 있는 장비나 모델을 기준으로 살펴볼 수 있음
- 하드웨어 목록에는 NVIDIA/AMD/Intel GPU, Mac, CPU 전용 구성, 클라우드 GPU가 포함됨
- 속도 추정치는 단일 장치에서 짧은 프롬프트를 사용하는 조건을 기준으로 함
- 커뮤니티 벤치마크 실측값과 유사 구성 또는 사양에 기반한 추정값을 함께 사용하며, GitHub에 소스를 공개함
하드웨어와 모델별 탐색
추정 조건과 데이터 출처
- 수치는 단일 장치와 짧은 프롬프트 조건에 대한 추정치임
- 실측 수치는 r/LocalLLaMA, localscore.ai 등의 커뮤니티 벤치마크에서 가져옴
- 나머지 수치는 유사 구성에서 도출하거나 하드웨어 사양을 바탕으로 추정함
- 프로젝트 소스는 GitHub에 오픈소스로 공개되어 있음
-
Homepage
-
Tech blog
- Show HN: Llmspeed - 하드웨어 구매 전에 로컬 LLM 실행 속도를 체감하기