LLM이 그린 펠리컨은 왜 이렇게 생겼을까?

Generate an SVG of a pelican riding a bicycle 프롬프트로 생성한 그림들의 유사성은 LLM의 다양성 붕괴를 보여줌 Design Creativity Bench는 UI 디자인에서도 이 문제를 평가하며, 기능적인 웹사이트와 제품 UI 생성 능력은 발전했지만 창의적인 디자인 결정에는 어려움이 남아 있다고 봄 평가는 프런티어 모델 16개를 대상으로 개방형 UI 과제 80개를 각각 서로 다른 두 제품 도메인에 적용하고, 인간 디자이너의 참조 결과와 비교함 디자인 창의성을 독창성, 창의적 범위, 적합성으로 나눠, 다른 모델과의 차별성부터 도메인 변화에 대한 대응과 기능 요구사항 충족까지 측정함 종합 창의성 점수에서 최고 모델인 GPT-6 Astra는 65.5점, 인간 참조 결과는 92.3점으로 상당한 격차가 나타남 펠리컨 SVG와 다양성 붕괴 동일한 자전거 타는 펠리컨 SVG 생성 프롬프트의 결과들을 다른 예시들과 대비하면, 충분히 논의되지 않는 LLM 다양성 붕괴 문제가 드러남 비교에 사용한 원본 SVG는 Simon Willison의 실행 결과에서 가져왔으며, SVG를 반환한 가장 높은 추론 설정을 사용함 UI 디자인 창의성 벤치마크 Design Creativity Bench는 LLM 창의성 연구의 일환으로 UI 디자인의 다양성 붕괴를 평가함 프런티어 모델 16개에 개방형 UI 과제 80개를 주고, 각 과제를 두 가지 제품 도메인에 맞춰 평가함 인간 디자이너의 참조 결과도 비교에 사용함 기존 UI 벤치마크가 흔히 단일 출력 품질 지표를 측정하는 것과 달리, 세 가지 창의성 차원을 측정함 독창성(Originality): 같은 요구사항에 대한 디자인이 다른 모델의 출력과 얼마나 구별되는지 평가함 창의적 범위(Creative Range): 제품 도메인이 바뀔 때 디자인 결정을 얼마나 조정하는지 평가함 적합성(Appropriateness): 생성한 UI가 요구사항의 기능적 조건을 얼마나 충족하는지 평가함 종합 창의성 점수는 인간 참조 결과 92.3점, GPT-6 Astra 65.5점으로 최고 모델도 인간과 상당한 격차를 보임 공개된 표에는 GPT-6.1 Sol 63.7점, Grok 4.7 62.2점, Gemini 3.8 Flash 60.6점도 포함됨 디자인 창의성을 모델 역량의 측정 가능한 차원으로 삼기 위해 전체 순위표, 방법론, 재현 가능한 평가 프레임워크를 공개함 벤치마크 순위표 연구 논문...