AI 에이전트가 화면에 큰 화살표, 상자, 텍스트를 그리게 하세요

3 hours ago 4

big-arrow-on-the-screen은 AI 에이전트가 사람의 조작이 필요한 버튼이나 창을 화면 위에서 가리키도록 하는 macOS CLI와 에이전트 스킬임 권한 승인, 2FA, 결제 확인처럼 사람이 직접 결정하고 수행해야 하는 단계를 시각적으로 안내하며, 자체적으로 클릭하거나 입력하거나 화면을 캡처하지 않음 작은 Swift 바이너리로 동작하며 그리기 자체에는 권한이 필요 없음. 다만 UI 요소 탐색 등 일부 기능에는 손쉬운 사용 또는 화면 기록 권한이 필요함 좌표, 창, UI 요소 이름, Peekaboo 결과로 대상을 지정하며, 대상 추적과 자동 종료를 지원함. 오버레이 자체는 포커스를 빼앗지 않고 대상 위치의 클릭을 아래 앱으로 통과시킴 Claude Code와 Codex용 스킬을 제공하며, 화살표뿐 아니라 테두리형 원과 상자, 음성 안내, 여러 표시의 동시 사용을 지원함 사람이 조작해야 하는 순간을 가리키는 도구 big-arrow-on-the-screen(bigarrow)은 에이전트가 터미널에 “Allow를 클릭하세요”라고 적는 대신, 실제 화면의 대상에 안내 문구가 붙은 큰 화살표를 표시하는 도구임 사람의 승인과 판단이 필요한 작업을 주요 대상으로 삼음 macOS 권한 요청, OAuth 동의, “Open with...?” 대화상자처럼 에이전트가 버튼을 찾더라도 대신 누를 수 없거나 눌러서는 안 되는 상황을 안내함 2FA 코드, CAPTCHA, 패스키, 결제 확인, 서명, 법적 동의 체크박스에서는 에이전트가 가리키고 사람이 결정한 뒤 작업을 이어감 여러 Chrome 창 중 특정 창이나 탭을 지정할 수 있으며, --say 로 안내 문구를 읽어 자리를 비운 사람을 부를 수도 있음 단계별 설정과 온보딩에서는 표시를 시작하고 사용자 조작을 기다린 뒤 지우는 흐름을 반복할 수 있음 원격 지원에서는 아이콘을 말로 설명하는 대신 직접 가리킬 수 있음 데모와 화면 녹화에서는 중요한 부분을 강조하고, 문서용으로는 --png로 화살표를 PNG에 렌더링할 수 있음 Accessibility, 스크린샷, Peekaboo 좌표를 눈으로 검증하거나 --dry-run --json으로 실제 그리기 없이 예정 위치를 확인할 수 있음 사람용 화면 주석 앱, 클릭 봇, 스크린샷 도구가 아니며 클릭, 입력, 캡처를 하지 않음 README의 상황별 데모는 깨끗한 CI 실행 환경에서 실제 bigarrow로 기록했지만, 대화상자는 연출용 가짜임 ...

Read Entire Article