가져갈 수 없는 세션: 추론 API가 만드는 새로운 종속성

2 days ago 11

추론 API가 암호화된 추론·검색 결과·압축 상태·서브에이전트 메시지를 공급자 내부에 숨기면서, 사용자가 보유한 대화 기록은 완전한 세션이 아니라 일부만 보이는 사본이 되고 있음 세션 이식성은 다른 모델에서 같은 출력을 재현하는 것이 아니라, 기존 공급자의 ID 조회나 복호화 없이 검사·내보내기·재생·감사·삭제할 수 있는 의미상 완전한 기록을 확보하는 것임 OpenAI, Anthropic, Google의 저장형 응답과 비공개 추론, 호스팅 검색, 불투명한 압축은 같은 생태계 안의 연속성을 높이는 대신 다른 공급자가 이어받을 수 없는 공급자 봉인 상태를 축적함 다중 에이전트에서는 위임 내용과 에이전트 간 메시지까지 암호화되고 자동 압축과 숨겨진 지시가 결합돼, 잘못된 파일 수정이나 비밀 유출이 발생해도 어떤 작업을 지시받았는지 감사하기 어려움 이식 가능한 API는 로컬 이벤트 로그를 기준 기록으로 삼고 저장을 명시적으로 선택하게 해야 하며, 검색·압축·에이전트 통신·산출물의 읽을 수 있는 전체 기록과 사용자 통제 아래의 증류(distillation) 를 허용해야 함 추론 API가 바꾸는 세션 소유권 초기 추론 API의 약속은 입력을 보내고 출력을 받은 뒤 양쪽을 보관하면, 대화를 검사·보관·재생하거나 다른 모델에 넘길 수 있다는 것이었음 이 추상화는 처음부터 완전하지 않았음 프롬프트 캐시는 공급자의 GPU에 존재함 모델마다 토큰화가 다르고 샘플링도 의도적으로 재현되지 않음 그래도 지시, 메시지, 도구 호출과 결과를 담은 의미적 기록은 사용자가 소유할 수 있었고, 충분한 능력의 다른 모델이 기존 작업을 이해해 이어받을 수 있었음 최근 API는 텍스트와 함께 공급자에 종속된 상태를 반환함 비용이 청구되지만 불투명한 암호문이나 제한적인 요약으로만 돌아오는 추론 토큰 모델이 본 원문을 클라이언트가 받지 못하는 웹 검색 원래 공급자만 복호화할 수 있는 압축 문맥 애플리케이션에서 볼 수 없는 서브에이전트 지시와 메시지 다른 환경에서 해석할 수 없는 파일·벡터 저장소·컨테이너·캐시 참조 공급자 서버에 저장된 ID로만 접근하는 응답과 대화 상태 각각에는 사용자 편의나 품질을 위한 근거가 있지만, 합쳐지면 로컬 기록은 세션 전체가 아니라 공급자가 운영 상태를 소유한 세션의 부분 뷰가 됨 세션 이식성을 판별하는 다섯 가지 기준 이식 가능하다는 것은 모델을 바꿔도 다음 토큰이 같아야 한다는 뜻이 아님 모델마다 능력, 학습된 성향, ...

Read Entire Article