“Rust보다 빠르다”는 주장 반박: Tov의 악의적 벤치마크

Tov의 성능 비교를 3개 벤치마크로 재검증한 결과, 기존 수치를 재현하지 못하거나 Rust 구현을 수정했을 때 Tov와 비슷하거나 더 빠른 성능을 얻음 Tov는 TypeScript를 C로 변환하고 clang으로 컴파일함. 일부 작업에서 Rust보다 10배 이상 빠르다는 홍보와 비교 코드의 공정성이 이번 검증의 쟁점임 bigint_fib 에서는 Tov가 공개한 약 3배의 속도 우위를 세 환경 모두에서 재현하지 못함. 기존 Rust 코드가 두 환경에서는 더 빨랐고, 나머지 환경에서는 Tov가 소폭 앞섬 dispatch 의 Rust 코드는 동적 디스패치를 사용했으며, 이를 열거형과 배열 기반 구현으로 바꾸자 Tov와 비슷한 성능에 도달함 map_insert 에서는 기본 HashMap을 AHashMap으로 바꾸고 문자열 키를 미리 생성해 재사용한 Rust 구현이 세 환경 모두에서 Tov보다 1.20~1.96배 빨랐음 Tov의 성능 홍보와 검증 범위 Tov는 코딩 에이전트용 프로그래밍 언어로, TypeScript처럼 읽히면서 Rust보다 빠른 네이티브 바이너리를 만든다고 홍보함 에이전트가 작성한 TypeScript를 검사하고 C로 출력한 뒤 clang에 전달함 배포 결과물은 별도 구성 요소를 함께 설치할 필요가 없는 단일 네이티브 바이너리임 공개 벤치마크는 일부 작업에서 Rust 대비 10배 이상의 성능 우위를 내세움 Rust와 C의 성능은 대체로 비슷하므로, C로 변환하는 Tov의 큰 속도 우위를 언어 자체의 차이로 보기는 어려움 axum 결과는 tokio의 오버헤드 가능성을 고려해 검증 대상에서 제외했지만, strings에서 1.6배 빠르다는 수치에도 의문이 남음 실제 재검증 대상은 bigint_fib, dispatch, map_insert 세 가지임 빌드와 측정 환경 Rust는 cargo build --release, Tov는 기본적으로 -O3를 사용하는 tov build 로 컴파일함 측정은 hyperfine으로 워밍업 후 반복 실행했으며, 서로 다른 세 환경을 사용함 ram-buffet: Ultramarine Linux 44 컨테이너, PowerEdge R640, Intel Xeon Platinum 8251C nukobook: Ultramarine Linux 44, ASUS Vivobook, Intel Core i9-13900H makimaki: Fedora Linux 44 Cloud Edition, KVM/Q...