🌀 LLM agent drift 리더보드

같은 입력(persona × 시장 시나리오)을 반복해서 줬을 때 행동 분포가 얼마나 흔들리는가. within = 모델 자신의 반복 흔들림(노이즈 바닥) · cross = 모델 간 거리(신호).

① 모델 리더보드 — within drift (낮을수록 반복에 안정)

② 모델 간 거리 — cross vs 노이즈 바닥

③ 시나리오 × 모델 히트맵

④ agent별 flip rate (모델 내 반복 흔들림, 평균)

⑤ 행동 로그 뷰어

⑥ 눈치 실험 — 남들 결과가 보이면? (궤적 실험 · 순수 drift와 별도 트랙)

라운드 1은 블라인드(기존 측정과 동일), 라운드 2부터는 각 agent에게 "지난 라운드 10명의 선택 집계"를 보여주고 재결정시킨다. 같은 시나리오 고정이므로 라운드 간 변화의 원인은 '남들 결과' 하나뿐. 행이 균일해질수록 herding(쏠림).

⑦ 정보 카드 ablation — 풍부화가 drift를 바꾸나 (모델 4 시나리오)

프롬프트에 정보 카드(시장지표/남들행동/직전손익)를 켰다 껐다 하며 drift 변화 측정. baseline(회색) 대비 막대가 높으면 그 정보가 모델을 더 흔든다는 뜻.

⑧ 참고 — 현업 벤치마크와 우리 지표의 위치 (외부 자료 요약 · 2026)

"성능(능력)" 축과 "행동 흔들림(반복 일관성)" 축은 서로 다른 질문을 잰다. 이 리더보드의 within-drift가 업계 표준의 어디에 닿는지 정리.