MacBook Air에서 1시간 분량 오디오를 약 13초 만에 전사

Embedding Gemma Transcribe는 Google의 멀티모달 임베딩 모델 EmbeddingGemma 2를 음성 인식에 활용하며, 기본형 MacBook Air에서 1시간 분량 오디오를 약 13초 만에 기기 내에서 전사함 오디오 인코더는 그대로 유지하고, 짧은 오디오 구간을 텍스트 공간으로 옮기는 작은 판독기만 학습해 약 22만 9,000개 영어 단어 중 가장 가까운 단어를 선택함 개발팀의 M3 MacBook Air 8GB 자체 테스트에서 실시간 대비 288배 속도를 기록했으며, 같은 기기에서 IBM Granite Speech 5.0 TurboCTC는 약 150배를 기록함 현재 단어 오류율은 약 5% 로, 선도적인 음성 모델의 2~3%보다 높으며 판독기 학습을 개선해 격차를 줄이는 것이 다음 목표임 Mac의 Neural Engine에서 실행되어 오디오는 기기 밖으로 나가지 않으며, 파일 전사와 함께 Right Option 키를 이용해 모든 앱에 음성으로 입력할 수 있음 임베딩 공간에서 단어를 읽는 방식 EmbeddingGemma 2는 텍스트, 이미지, 오디오, 비디오를 하나의 공유 공간에 배치하는 멀티모달 임베딩 모델임. 발음한 단어의 오디오는 해당 단어의 텍스트 가까이에 위치함 오디오 인코더를 변경하지 않고, 작은 판독기가 짧은 오디오 구간을 모델의 텍스트 공간으로 옮김 약 22만 9,000개 영어 단어 중 가장 가까운 단어를 선택하고, 구간별 결과를 이어 전사문을 만듦 별도의 초소형 모델이 문장부호와 대문자를 추가함 판독기만 학습했으며, 공개 라이선스 영어 음성 데이터를 사용해 H100 8대에서 2시간 미만이 걸림. 기반 모델은 음성 전사 용도로 학습된 적이 없음 현재 단어 오류율은 약 5% 이며, 선도적인 음성 모델은 2~3%임. 개발팀은 판독기를 더 잘 학습하면 격차를 줄일 수 있다고 보고 다음 개선을 준비 중임 처리 속도와 Mac 앱 사용 개발팀이 동일한 기본형 M3 MacBook Air 8GB에서 두 모델을 테스트함 Embedding Gemma Transcribe: Neural Engine에서 실시간 대비 288배, 1시간 오디오 처리에 12.6초가 걸림 IBM Granite Speech 5.0 TurboCTC: GPU와 MLX에서 약 150배, 1시간 오디오 처리에 25.7초가 걸림 비교 자료인 FluidAudio 공개 벤치마크는 더 크고 최신인 Mac과 서로 다른 오디오를 사용했으므로, ...