Dessa - 텍스트 없이 사람의 대화만 듣고 배운 실시간 음성 AI

Block이 텍스트와 사전학습 모델 없이 사람의 음성 대화만으로 처음부터 학습한 실시간 대화 모델 Dessa 공개 말하면서 동시에 상대의 말을 듣는 전이중 방식으로 대화 중 끼어들기와 맞장구, 웃음, 발화 타이밍을 처리 음성을 텍스트로 바꾸며 놓치기 쉬운 억양과 감정, 빈정거림, 한숨과 호흡을 직접 듣고 표현하도록 설계 MacBook Pro M4 Max 이상에서 로컬 실행하며, 개발팀에 따르면 실시간보다 빠른 추론 속도로 대화 가능 현재는 소수의 AI 안전 연구자에게 조기 접근을 제공하며, 공식 사이트에 사람 및 GPT-Live-1과의 대화 녹음 공개 사람의 음성만으로 배운 대화 모델 Dessa는 Jack Dorsey에게 직접 보고하는 Block 내부의 소규모 AI 연구팀이 개발 토론토의 딥러닝 스타트업 Dessa 출신들이 설립한 팀으로, 생성형 음성 모델을 8년 이상 연구 텍스트 데이터나 사전학습 모델을 사용하지 않고 인간의 음성 대화만으로 학습 음성을 입력받아 음성을 출력하는 speech-to-speech 모델 언어와 사실 지식뿐 아니라 악센트, 쉼, 호흡, 유머와 감정 표현도 소리에서 학습 같은 문장도 어느 단어를 강조하느냐에 따라 의미가 달라지므로, 말의 내용과 말하는 방식 모두를 대화의 정보로 취급 듣기와 말하기를 동시에 처리 전이중(full-duplex) 방식으로 상대가 말을 끝낼 때까지 기다리지 않고 듣기와 말하기를 동시에 처리 문장 중간에 웃거나 짧게 맞장구를 치고, 상대가 단어를 떠올리지 못할 때 문장을 이어주는 등 대화의 타이밍을 모델이 결정 공식 사이트에는 다음과 같은 실제 대화 녹음을 공개 출시 이야기: 대화 중 웃거나 더 크게 말해 달라는 요청에 음량을 높이는 사례 영화 제목 떠올리기: 상대가 기억하지 못하는 내용을 돕고 대화를 이어가는 사례 기념일 깜짝 선물: 놀람과 감사 등 감정을 표현하는 사례 GPT-Live-1과의 대화: 두 음성 AI가 끼어들기와 맞장구를 주고받는 사례 개발팀에 따르면 녹음 중 응답을 별도로 조종하지 않았으며, 무엇을 언제 어떤 목소리와 성격으로 말할지 Dessa가 결정하고 자막은 사후 추가 학습 환경과 로컬 실행 MacBook Pro M4 Max 이상에서 로컬로 실행되며, 개발팀은 추론이 실시간보다 빠르게 작동한다고 밝힘 학습에는 NVIDIA GB200 NVL72 시스템 한 대를 사용 GB200 NVL72는 Blackwell GPU 72개를 연결한 랙 규모 시스...