왜 조니는 에이전트를 못 쓰는가: AI 에이전트에 대한 산업의 포부 vs. 사용자의 현실
Digest: Context — “AI 에이전트(agent)“가 무엇이고 무엇을 할 수 있는지에 대한 정의가 산업 마케팅에서 점점 부정확해지고 있다. 저자들은 operationally agentic(실제로 사용자를 대신해 도구·API·GUI를 호출하고, 환경에서 행동하며, 다단계 실행과 감독·개입·복구를 수반하는) 속성을 가진 제품에 주목한다. Insight — 핵심 통찰은 “에이전트가 과제를 수행할 수 있는가(capable)“를 묻는 기존 벤치마크로는 부족하며, “사용자가 그 에이전트를 효과적으로 지시·감독·협업할 수 있는가”를 물어야 한다는 것이다. Solution — 저자들은 두 단계로 답한다. (i) Product Hunt·AI Agents Directory 등에서 수집한 상용 AI 에이전트 N=102개의 마케팅된 사용 사례를 귀납적 질적 코딩으로 분석해 Orchestration(오케스트레이션)·Creation(창작)·Insight(통찰) 세 범주의 typology를 도출하고, (ii) 각 범주를 대표하는 과제(여행 계획·슬라이드 제작·예산 책정)를 Operator와 Manus 두 상용 에이전트로 N=31 참가자가 시도하는 think-aloud 사용성 연구를 수행한다. Evidence — 참가자들은 의도적으로 쉽게 설계된 과제를 대체로 완수했고 SUS(System Usability Scale) 점수도 높았지만(예: Operator 슬라이드 제작 평균 90.6, Manus 여행 계획 78.0; 31명 중 14명이 1회 이상 운영 오류 경험), 5가지 핵심 사용성 장벽 — (1) 에이전트 행동이 사용자 멘탈 모델과 어긋남, (2) 신뢰가 형성되기 전에 신뢰를 전제함, (3) 다양한 협업 스타일을 수용하지 못함, (4) 압도적인 커뮤니케이션 부담을 만듦, (5) 효과적 협업에 필요한 메타인지(meta-cognition) 능력이 결핍됨 — 에 부딪혔다. Implication — 이 장벽들은 “사용자가 더 능숙해지면 사라질” 문제가 아니라 위임·감독·복구라는 에이전트 시스템의 구조적 요구이며, 저자들은 사용자 선호 보정·자기 평가·적응·자유 텍스트 너머의 입력·정밀 반복(iteration)을 지원하는 6개 설계 함의와 7개 평가 축을 제안한다.
섹션별 요약
Abstract
“AI 에이전트”가 무엇이고, 무엇을 할 수 있으며, 의도된 사용자가 그것을 얼마나 효과적으로 쓸 수 있는지에 대한 부정확성이 커지고 있다. 저자들은 두 가지 핵심 질문을 던진다 — (i) 기술 산업은 “AI 에이전트”를 어떻게 인식하고 마케팅하는가? (ii) 최종 사용자(end-user)는 광고된 용도로 상용 AI 에이전트를 쓰려 할 때 어떤 도전에 직면하는가? 먼저 상용 AI 에이전트 102개의 마케팅된 사용 사례를 체계적으로 검토해 그것들이 orchestration·creation·insight 세 우산 범주로 나뉨을 발견했다. 다음으로 이 마케팅된 역량을 실제로 실현할 수 있는지 평가하기 위해, N=31 참가자가 두 인기 상용 에이전트 도구 Operator와 Manus에서 각 범주의 대표 과제를 시도하는 사용성 평가를 수행했다. 사용자들은 대체로 에이전트에 깊은 인상을 받았으나, 에이전트 역량이 사용자 멘탈 모델과 어긋나는 것부터 효과적 협업에 필요한 메타인지 능력의 결핍까지 상당한 사용성 도전에 직면했다.
저자 contribution
- (1) 마케팅된 AI 에이전트 역량의 typology를 도입해, 기술 산업이 AI 에이전트를 어떻게 인식·프레이밍하는지를 증류한다(Orchestration·Creation·Insight 3범주).
- (2) 대표적 과제 집합에서 이 도구들을 쓸 때 최종 사용자가 직면하는 5가지 핵심 사용성 장벽에 대한 실증적 보고를 제시하며, 그에 더해 (a) 에이전트 시스템의 기대-붕괴(expectations-to-breakdowns) 연쇄, (b) 사용성 장벽을 운영적 agentic 속성에 매핑한 표, (c) 위임·감독·복구에 대한 평가 차원을 기여한다.
- (3) 최종 사용자에게 유용하고 효과적인 agentic 시스템을 위한 설계·평가 함의를 증류한다(6개 설계 함의 + 7개 평가 축).
왜 이 연구를 하는가?
핵심 질문(RQ): (RQ1) 기술 산업은 “AI 에이전트”를 어떻게 인식하고 마케팅하는가? (RQ2) 최종 사용자는 상용 AI 에이전트를 광고된 용도로 쓸 때 어떤 도전(friction)에 직면하는가?
기존 접근법의 한계
| 한계 | 설명 |
|---|---|
| 역량 중심 평가의 협소함 | 기존 벤치마크·평가 프레임워크(capability benchmarks, evaluation environments, agent cards 등)는 기술적 역량에 좁게 초점을 맞추고, 사용성·해석가능성·신뢰·사용자 상호작용 같은 인간-상호작용 차원을 누락한다. Salaudeen 등은 다수의 AI 평가가 타당도 격차를 겪는다고 지적한다. 즉 “에이전트가 과제를 할 수 있는가”만 평가하는 것으로는 불충분하다. |
| ”AI 에이전트” 정의의 부정확성·과대선전 | 에이전트 성능 논의가 벤치마크·데모 영상·VC 피치·미디어 hype에 쏠려, 진짜 효과성을 과대평가하는 쉬운-정량화 이상에 집중한다. 일부 marketed-as-agentic 제품은 위임·환경 내 행동·다단계 실행·감독 속성을 충분히 구현하지 않는다. |
핵심 통찰
- 평가의 초점을 “에이전트가 할 수 있는가(capable)“에서 “사용자가 그 에이전트를 효과적으로 지시·감독·협업할 수 있는가(effectively direct, oversee, collaborate)“로 옮겨야 한다.
- 핵심 상호작용 문제가 *프롬프트 작성(prompting)*에서 *위임(delegating)·감독(overseeing)·진행 중 개입(intervening)*으로 이동한다 — chatbot에서 익숙한 사용성 문제가 언어 기반 상호작용이 행동을 위임하는 메커니즘이 될 때 재구성된다.
Introduction
AI·HCI 커뮤니티는 오래도록 컴퓨팅 시스템을 지식 노동의 파트너로 보는 비전(Bush의 1945 “Memex”, Horvitz의 mixed-initiative 인터페이스, Shneiderman과 Maes의 직접 조작 vs. 인터페이스 에이전트 논쟁)에 매료돼 왔다. 오늘날 이 꿈은 LLM 기반 “AI 에이전트”의 깃발 아래 부활했지만, 저자들은 “이 에이전트들이 마침내 유용하고 사용 가능한가?”를 묻는다. 저자들은 operationally agentic 에이전트가 가져야 할 속성으로 (i) 위임과 주도권 배분(인간과 AI 중 누가 무엇을 결정하는가), (ii) 환경 내 행동(텍스트 생성을 넘어 도구·API·GUI 호출), (iii) 다단계 실행(추론과 도구 사용의 교차 루프), (iv) 감독·개입·복구(사용자가 감독하고 교정할 필요)를 든다. 일반 사용자는 이 차이를 모를 수 있으므로 저자들은 두 범위 모두를 다룬다. RQ1에 답하기 위해 marketed-as-agentic 제품의 taxonomy를 구성하고, RQ2에 답하기 위해 N=31 think-aloud 사용성 연구를 두 operationally agentic 플랫폼(Operator, Manus)에서 수행하고 semi-structured 인터뷰로 보완했다. 참가자들은 (의도적으로 쉽게 선택된) 과제를 대체로 완수했지만 5가지 핵심 사용성 장벽에 부딪혔다.
Methods
Phase 1 — Taxonomy(RQ1). AI Agents Directory, Product Hunt, Google Cloud use cases 등 aggregator와 “AI agents”·“LLM agents” 키워드 검색으로 consumer-facing하고 구체적 마케팅 사용 사례를 가지며 일반 최종 사용자를 겨냥한 marketed-as-agentic 제품 N=102개의 코퍼스를 수집했다. 두 저자가 마케팅된 역량에 대해 귀납적 질적 콘텐츠 분석(inductive qualitative content analysis)을 수행하고, codebook을 합의로 구축한 뒤, 코드를 상위 범주로 추상화해 Orchestration·Creation·Insight 3범주를 도출했다(범주는 상호배타적이지 않음; exhaustive census는 주장하지 않음).
- Orchestration: 사용자를 대신해 다른 소프트웨어(GUI, 자동화)를 조작하는 에이전트. 인터페이스 상태를 읽고(예: vision-language model), LLM으로 명령을 생성해 controller로 실행 → 실세계 side effect와 위임·감독 요구가 큼. 예: Salesforce Agentforce, LiveX, Expedia’s Trip Matching Agent.
- Creation: 분석적 내용보다 전달물(deliverable) 형태에 초점을 두고 구조화된 산출물(슬라이드, 웹사이트, 앱, 문서)을 생성. 예: Lovable(앱/웹사이트), Gamma(슬라이드).
- Insight: 다중 턴 상호작용에서 웹 검색·API·지식 베이스를 결합해 연구·종합·추천을 지원. 사용자가 수동으로 할 분석·의사결정을 다룸. 예: Perplexity Deep Research, Deloitte Care Finder.
Phase 2 — 사용성 연구(RQ2). N=31 참가자(연령 18–65세 이상, 남 23·여 8, 대부분 생성형 AI의 빈번한 사용자이나 agentic 도구에는 모두 novice)가 1시간 세션에서 두 AI 에이전트 과제를 시도하고 semi-structured exit 인터뷰를 진행했다. 과제는 3범주 각각에서 사전 정의된 것 중 무작위 선택, 도구는 Operator(OpenAI; 현 ChatGPT Agent에 통합)와 Manus 두 상용 에이전트. 각 참가자는 Manus 또는 Operator로 2개 과제를 수행(각 20분 think-aloud + exit 인터뷰), 과제와 도구는 counterbalanced. 60분 Zoom 세션, 화면·오디오 녹화, System Usability Scale(SUS) 응답 수집, IRB 승인. 세 대표 과제: (1) 여행 계획(Holiday Planning, Orchestration — 3일 일정의 항공·숙박·관광을 실제 UI 탐색으로 합성), (2) 슬라이드 제작(Slide Making, Creation — 발표용 슬라이드 덱), (3) 전문/개인 성장 지원금 예산(Stipend Budgeting, Insight — USD 2,000을 성장에 가장 잘 쓰는 방안). 분석은 reflexive thematic analysis — 첫·둘째 저자가 3개 인터뷰를 open inductive coding으로 독립 코딩 후 주간 회의로 병합·중복제거, inter-rater reliability 대신 *합의(consensus)*로 도달.
발견 (Findings)
- 에이전트는 대체로 성공했고 SUS 점수도 높았다(Fig. 3, Table 2). Operator는 여행 계획 88.8, 예산 84.2, 슬라이드 69.8; Manus는 여행 계획 78.0, 예산 71.2, 슬라이드 90.6. Welch two-sample t-test: 여행 계획에서 Manus가 Operator보다 유의하게 낮고(−10.8점, p=.043), 슬라이드에서 유의하게 높음(+20.8점, p=.012), 예산은 구분 안 됨(−12.9점, p=.184). 셀당 n=9–13으로 검정력 부족(과제 단순·신규성 영향 가능).
- 장벽 1 — 에이전트 행동이 사용자 멘탈 모델과 어긋남. 많은 참가자가 에이전트가 무엇을 할 수 있는지, 프롬프트를 얼마나 상세히 써야 하는지, 실행 중 자신의 역할이 무엇인지 확신하지 못했다. P26: “You’ve got to sit there and make sure that your initial prompt is perfect … You ask exactly what you’re looking for.” 사용자는 명확한 시스템 단서가 아니라 결과로부터 사후적·반응적으로 멘탈 모델을 구축했다.
- 장벽 2 — 에이전트가 신뢰를 전제(presume trust). 자격증명·민감 맥락에서 불신 표출. P30: “I don’t particularly want to give it my Google account information.” P22: 에이전트가 선호를 묻지 않아 신뢰가 약화 — “it didn’t ask me… Do I want one bed or 2? … a room that looks out on the pool? Or do I want one that looks out on the plaza?”
- 장벽 3 — 다양한 협업 스타일 미수용. 위임 가능 범위·통제 방법·오류 복구 방법에 대한 불확실(P21, P23, P26). 초기 산출물이 나쁠 때 처음부터 다시 하는 게 더 빠르다고 믿어, 에이전트의 fine-grained 편집을 신뢰하지 않음(P31 — 슬라이드 1장 수정이 7장 새로 만들기보다 오래 걸림). P26: “I’d like a pause button if it’s going off the rails.”
- 장벽 4 — 압도적 커뮤니케이션 부담. 진행 표시·의도 표현을 두고 선호가 양극화(P16, P21–P24, P31). P16: “It’s just too much to take…Oh, my God! It threw out so much stuff…it’s almost an overwhelming amount of information.” 프롬프팅은 인지적으로 까다로운 기술 명세 회상(specification recall) 과제였다. P16: “something that might be obvious to a person, is maybe not always obvious to the AI … it doesn’t think to ask, and you don’t think to tell it.” 31명 중 14명이 1회 이상 운영 오류를 겪었고, 복구가 어려웠다(특히 Operator의 Computer Use는 오류 기록·안내 부재).
- 장벽 5 — 에이전트의 메타인지(metacognition) 자기평가 결핍. 에이전트가 막힌 진행·불완전한 초안을 인지하지 못하고 반복 루프에 빠짐(P16, P19, P20, P29). Manus는 존재하지 않는 강의 정보를 hallucinate(P20). P19: 슬라이드 제작에서 “It probably covered like 70 to 80% of what I was expecting. I was waiting for it to ask me for some more information.” “에이전트는 자신이 무엇을 모르고 무엇을 못 하는지 모른다.”
Results
정량 결과는 SUS 점수가 전반적으로 호의적임을 보인다(Table 2; Operator 평균 81.6 ≈ “Excellent” 영역의 과제 다수, Manus는 과제별 편차 큼). 그러나 저자들은 이를 엄밀한 추론보다 서술적 맥락으로 다룬다(셀당 n=9–13, family-wise error 미보정, 신규성 효과 가능). 참가자들은 과제 실패 시에도 에이전트에 관대했다(P23: “This is worth it in every sense of the word”; P26: “very comprehensive and thorough”) — 누구도 이전에 에이전트를 써본 적 없어 일부는 신규성 반영. 저자들은 호의적 SUS와 장벽이 둘 다 진짜라고 본다 — 멘탈 모델·신뢰·협업·커뮤니케이션·메타인지 장벽은 지속적·고위험·덜 구조화된 실세계에서 증폭될 friction이다. 두 도구 trade-off: Manus는 더 풍부한 1급 산출물(특히 슬라이드)을 내지만 커뮤니케이션 부담과 중간 산출물 편집성이 낮고, Operator는 더 간결하나 computer-use 워크플로에서 더 자주 멈췄다(특히 anti-bot 보호로 인한 프레젠테이션 소프트웨어 연결 차단; Fig. 4).
Discussion
결과는 AI 에이전트에 대한 산업의 포부와 신규 사용자가 실제로 그것을 신뢰성 있게 쓸 수 있는 현실 사이의 격차를 보인다. 102개 제품 taxonomy와 31명 사용성 연구로, 저자들은 5대 사용성 장벽을 각 장벽이 함의하는 agentic 속성에 매핑한다(Table 3): 멘탈 모델 어긋남↔숨은 계획·경계+장기 자율, 조기 신뢰 전제↔자격증명 위임+실세계 행동, 협업 스타일 불일치↔mixed-initiative 계획+개입 지점, 커뮤니케이션 과부하↔단계 로그+시간에 따른 상태, 약한 메타인지↔stall/loop 탐지+사용자 인계. 핵심은 응답 생성에서 응답 *실행(enacted work)*으로의 이동이 알려진 chatbot 문제(빈약한 프롬프트=다음 턴 비용)를 더 중대하게 만든다는 점 — 모호한 지시가 시간·자원 소모적 다단계 실행을 촉발하고 되돌릴 수 없는 side effect를 낳은 뒤에야 진단된다.
저자가 인정한 한계
- 과제가 의도적으로 단순·doable하게 설계되어, agentic 도구가 마케팅하는 과제의 폭과 깊이를 포괄하지 못한다(세 과제 표본).
- 참가자가 미국 사회문화 맥락에서만 모집, 비교적 젊고 능력 있으며 생성형 AI(단 agentic은 아님)의 빈번한 사용자.
- 거대·급변하는 에이전트 소프트웨어 공간에서 단 두 상용 에이전트의 데스크톱 버전만 평가 — 다른 모델·역량·상호작용 패러다임은 다른 사용성을 보일 수 있다.
독자 식별 가능한 추가 한계
- chatbot baseline 조건이 없어, 보고된 장벽이 “에이전트 특유”인지 LLM 일반의 문제인지 인과적으로 분리하기 어렵다(저자도 baseline 부재를 명시).
- 합의 기반 코딩으로 inter-rater reliability 수치가 없어, 주제 도출의 재현성을 외부에서 검증하기 어렵다.
향후 방향
- 사용자 선호·자율 허용치를 세션 시작에 묻는 경량 user profile, 자기평가·정밀 반복·체크포인트/롤백을 지원하는 에이전트 인터페이스 설계.
- 다양한 사회문화 맥락·고위험 실세계 과제·더 넓은 에이전트 제품군으로 평가 확대.
이론적 의의
- 평가 패러다임의 전환: “에이전트가 과제를 할 수 있는가(capable)“라는 역량 평가에서 “사용자가 위임·감독·복구할 수 있는가”라는 상호작용 평가로의 전환을 실증적으로 정당화한다. 7개 평가 축(개입 빈도·복구까지 시간·stall/loop율·plan-edit friction·자격증명/인계 지점·iteration utility·rollback/checkpoint use)을 제안한다.
- 기대-붕괴 연쇄의 명문화: chatbot의 알려진 사용성 문제가 언어가 행동을 위임하는 메커니즘이 될 때 어떻게 재구성·증폭되는지를 보여, 직접 조작 vs. 인터페이스 에이전트 논쟁(Shneiderman–Maes)을 LLM 시대로 갱신한다.
Discussion Points
- 논쟁점: 보고된 5대 장벽이 operationally agentic 시스템 고유인가, 아니면 LLM 일반(혹은 미성숙 제품)의 문제인가? baseline 부재로 이 귀속이 열려 있다.
- 검증할 가정: “이 장벽들은 사용자 숙련으로 사라지지 않고 위임·감독·복구의 구조적 요구”라는 핵심 주장은, 종단(longitudinal) 학습 연구나 숙련 사용자 대조군으로 직접 검증해야 한다.
- 후속연구: (1) 제안된 6개 설계 함의(사용자 보정·자기평가·적응·비텍스트 입력·정밀 반복)를 구현한 프로토타입의 사용성 A/B 검증, (2) 7개 평가 축을 실제 벤치마크로 조작화, (3) 고위험·되돌릴 수 없는 행동을 포함한 실세계 과제에서의 재현.
실험 결과 상세
System Usability Scale (SUS) 점수 — 과제×에이전트 (Table 2, Welch two-sample t-test)
| 과제 (Task) | Operator n / M(SD) | Manus n / M(SD) | Manus−Operator 추정 [95% CI] | p |
|---|---|---|---|---|
| Holiday Planning (Orchestration) | 10 / 88.8 (8.6) | 10 / 78.0 (12.8) | −10.8 [−21.1, −0.4] | 0.043 |
| Stipend Budgeting (Insight) | 9 / 84.2 (18.2) | 10 / 71.2 (22.4) | −12.9 [−32.6, +6.8] | 0.184 |
| Slide Making (Creation) | 10 / 69.8 (20.9) | 13 / 90.6 (8.6) | +20.8 [+5.4, +36.2] | 0.012 |
기타 정량 신호
| 항목 | 값 | 출처 |
|---|---|---|
| 마케팅 분석 대상 상용 에이전트 수 | N=102 | Methodology(Taxonomy) |
| 사용성 연구 참가자 | N=31 (남 23·여 8, 18–65세+) | §4.2 The Participants |
| 1회 이상 운영 오류를 겪은 참가자 | 14 / 31 | §4.6.4 Barrier 4 |
| 세션 구성 | 60분(과제 2개, 각 20분 think-aloud + exit 인터뷰) | §4.5 Procedure |
| 평가된 상용 에이전트 | Operator(OpenAI), Manus | §4.3 The Agents |
| 발견된 핵심 사용성 장벽 | 5개 | §4.6 Findings / Table 3 |
| 마케팅 사용 사례 범주 | 3개 (Orchestration·Creation·Insight) | Table 1 |
신뢰구간은 10,000 bootstrap resamples 기반(Fig. 3). 셀당 n=9–13으로 검정력이 낮고 family-wise error 미보정 — 저자는 통계를 “엄밀 추론이 아닌 서술적 맥락”으로 해석한다.
프레임워크 다이어그램
graph TB subgraph RQ1["RQ1 - 산업은 에이전트를 어떻게 마케팅하는가"] CORPUS["상용 에이전트 N=102 수집<br/>(AI Agents Directory, Product Hunt 등)"] CODING["귀납적 질적 콘텐츠 분석<br/>(codebook 합의)"] TAXO["Typology 3범주"] ORCH["Orchestration<br/>(타 소프트웨어 조작)"] CREA["Creation<br/>(구조화된 산출물 생성)"] INS["Insight<br/>(연구·종합·추천)"] CORPUS --> CODING --> TAXO TAXO --> ORCH TAXO --> CREA TAXO --> INS end subgraph RQ2["RQ2 - 사용자는 어떤 장벽에 부딪히는가"] TASKS["대표 과제 3개<br/>여행계획/슬라이드/예산"] STUDY["N=31 think-aloud + exit 인터뷰<br/>Operator vs Manus, SUS"] THEMATIC["Reflexive thematic analysis"] TASKS --> STUDY --> THEMATIC end ORCH -.대표과제.-> TASKS CREA -.대표과제.-> TASKS INS -.대표과제.-> TASKS subgraph BARRIERS["5대 사용성 장벽 -> agentic 속성 매핑"] B1["1 멘탈 모델 어긋남"] B2["2 신뢰 조기 전제"] B3["3 협업 스타일 불일치"] B4["4 커뮤니케이션 과부하"] B5["5 약한 메타인지"] end THEMATIC --> B1 --> B2 --> B3 --> B4 --> B5 subgraph OUT["함의"] DESIGN["6개 설계 함의<br/>(보정/자기평가/적응/비텍스트/정밀반복)"] EVAL["7개 평가 축<br/>(개입빈도/복구시간/stall율 등)"] end B5 --> DESIGN B5 --> EVAL
재현성 및 신뢰도 평가
| 항목 | 등급 | 비고 |
|---|---|---|
| 연구 프로토콜 공개 | ✅ | 모집·보상·과제 선정·인터뷰 스크립트·codebook이 Appendix(B.2/B.4/B.5/B.9)에 명시, IRB 승인 |
| 데이터 공개 | ⚠️ | 인터뷰 transcript·녹화는 윤리상 비공개 추정; 익명 인용만 제시 |
| 표본·통계 | ⚠️ | N=31, 셀당 n=9–13으로 검정력 낮음; family-wise error 미보정; inter-rater reliability 대신 합의 코딩(수치 없음) |
| 자극(stimuli) 재현성 | ⚠️ | Operator·Manus는 빠르게 진화·통합(Operator→ChatGPT Agent)되어 동일 버전 재현 곤란 |
| 분석 절차 | ✅ | reflexive thematic analysis 절차·open inductive coding·합의 과정 상세 기술 |
| 종합 등급 | C | 질적 HCI 연구로 절차·코드북·인터뷰 스크립트는 투명하나, 비공개 데이터·낮은 통계 검정력·급변하는 상용 도구로 정량 재현은 제한적 |
주장별 신뢰도
| 주장 | 근거 | 신뢰도 |
|---|---|---|
| 마케팅된 상용 에이전트가 Orchestration·Creation·Insight 3범주로 나뉜다 | N=102 귀납적 코딩(Table 1, Appendix A.2 capability map) | 🟢 |
| 사용자는 5가지 핵심 사용성 장벽에 직면한다 | N=31 think-aloud + reflexive thematic analysis, 다수 참가자 인용 | 🟢 |
| 31명 중 14명이 1회 이상 운영 오류를 겪었다 | §4.6.4 직접 보고 | 🟢 |
| 과제별 SUS 차이(슬라이드 Manus +20.8, 여행 Manus −10.8) | Table 2 Welch t-test, p=.012/.043 | 🟡 |
| 이 장벽들이 사용자 숙련으로 사라지지 않는 구조적 요구다 | Discussion의 해석적 주장; 종단·숙련자 대조 부재 | 🟡 |
| 장벽이 agentic 특유다 | baseline(chatbot) 조건 부재로 인과 분리 불가 — 저자도 명시 | 🔴 |
관련 연구 비교 매트릭스
| 축 | Why Johnny Can’t Use Agents (본 논문) | Plan-Then-Execute (Bansal et al. 2024, direct) | Towards Full Delegation (Song et al. 2024, base) | “I’m Not Sure, But…” (Sunnie et al. 2024, alternative) | Measurement Tasks Lack Rigor (Wallach et al. 2025, sota/eval) |
|---|---|---|---|---|---|
| 핵심 접근 | 102개 마케팅 taxonomy + N=31 think-aloud 사용성 연구(Operator·Manus) | LLM을 일상 보조로 쓸 때의 사용자 신뢰·팀워크 실증(Plan-then-Execute 워크플로) | 이상적 agentic 행동을 설계 — full delegation으로 가는 path 정의 | LLM의 불확실성 표현이 사용자 의존·신뢰 보정에 미치는 영향 실험 | 생성형 AI 측정 과제의 과학적 엄밀성 결핍 진단·사회과학 측정 처방 |
| 문제 정의 | 산업 포부 vs. 사용자 현실의 사용성 격차 | LLM 보조 시 신뢰·협업 역학 | 위임의 이상적 형태·결정 주체 | 신뢰 보정을 위한 불확실성 커뮤니케이션 | 평가 타당도(validity gap) |
| 데이터 | 102 마케팅 자료 + 31명 인터뷰·SUS·녹화 | 사용자 연구 | 개념·프레임워크 | 사용자 실험(FAccT) | 방법론 분석 |
| 핵심 결과 | 3범주 typology + 5대 장벽 + 6설계/7평가 축 | 신뢰·팀워크가 멘탈 모델에 의존 | full delegation 설계 원칙 | 불확실성 표현이 과의존을 줄임 | 측정 타당도 재정립 처방 |
| 규모 | 102 제품 / 31 참가자 | 사용자 연구 규모 | 개념적 | 사용자 실험 | 메타·방법론 |
| 한계 | 단순 과제·미국 표본·2개 도구·baseline 없음 | 특정 워크플로 한정 | 실증 검증 제한 | 단일 과제 맥락 | 직접 시스템 평가 아님 |
| 코드 공개 | ❌(질적 데이터·윤리상 비공개) | ❌ | ❌ | ❌ | ❌ |
요약 내러티브: 본 논문은 역량 벤치마크 일색의 에이전트 평가 풍토(Wallach et al.이 비판한 타당도 격차)에 대해, 사용성이라는 누락 차원을 102개 제품 taxonomy와 31명 think-aloud로 채운다. Plan-Then-Execute·“I’m Not Sure, But…”이 신뢰·불확실성·팀워크의 단면을 실험한다면, 본 논문은 그 단면들을 Orchestration·Creation·Insight 전 범주에 걸친 5대 장벽으로 통합하고, Towards Full Delegation이 제시한 이상적 위임과 실제 사용자 경험 사이의 거리를 실증으로 메운다.
원자적 인사이트 (Zettelkasten)
💡 “할 수 있는가”가 아니라 “함께 일할 수 있는가”가 에이전트 평가의 빈칸이다
출처: 본 논문 (Shome et al., CAIS ‘26) · 유형: 이론적
에이전트 벤치마크는 거의 전부 기술적 역량(과제를 완수할 수 있는가)을 측정하지만, 실제 최종 사용자에게 도구가 유용하려면 사용자가 그것을 효과적으로 지시·감독·복구할 수 있어야 한다. 본 연구의 SUS 점수가 높았음에도 5대 사용성 장벽이 동시에 진짜였다는 사실이, 역량 점수와 상호작용 가능성이 별개임을 보인다. 따라서 평가에는 개입 빈도·복구까지 시간·stall/loop율 같은 상호작용 축이 추가돼야 한다.
연결: Agent Evaluation · Human-AI Interaction
💡 언어가 “응답”이 아니라 “행동 위임”이 되는 순간, 나쁜 프롬프트의 비용이 폭증한다
출처: 본 논문 · 유형: 이론적
chatbot에서 모호한 프롬프트의 대가는 기껏해야 다음 턴을 다시 쓰는 것이다. 그러나 operationally agentic 시스템에서는 같은 모호함이 시간·자원 소모적 다단계 실행을 촉발하고, 자격증명을 쓰거나 되돌릴 수 없는 side effect를 낳은 뒤에야 진단된다. 그래서 핵심 상호작용 문제가 프롬프트 작성에서 위임·감독·중간 개입으로 이동하며, 이는 사용자가 “무엇을 물을지”뿐 아니라 “에이전트가 요청 후 무엇을 할지·어디서 행동할지·어떤 가정을 할지”를 이해해야 함을 뜻한다.
연결: Prompting · Operationally Agentic Systems
💡 에이전트의 메타인지 결핍이 사용자에게 감독 부담을 전가한다
출처: 본 논문 (Barrier 5) · 유형: 실증적
에이전트는 자신이 막혔는지, 초안이 불완전한지, 자기 출력 품질이 어떤지를 사용자가 이해할 수 있는 방식으로 스스로 평가하지 못한다(Manus가 존재하지 않는 강의를 hallucinate하고, Operator가 차단된 웹사이트에서 무한 루프에 빠진 사례). “에이전트는 자신이 무엇을 모르고 못 하는지 모른다.” 이 메타인지 격차는 사용자가 항상 메워야 하는 구조적 부담이 되며, 더 능숙한 모델·사용자만으로는 해소되지 않는다.
연결: Metacognition · Agent Reliability
핵심 용어 정리
| 용어 | 정의 |
|---|---|
| Operationally agentic | 사용자를 대신해 도구·API·GUI를 호출하고(환경 내 행동), 위임·주도권 배분·다단계 실행·감독/개입/복구 속성을 갖춘 에이전트 시스템. 본 논문이 marketed-as-agentic과 구분해 정의. |
| Marketed-as-agentic | ”AI 에이전트”(또는 동등) 배너로 마케팅·기술되는 제품. 운영적 agentic 속성을 반드시 구현하진 않을 수 있음(RQ1의 분석 대상). |
| Orchestration / Creation / Insight | 102개 마케팅 분석에서 도출된 3대 사용 사례 범주 — 각각 타 소프트웨어 조작 / 구조화 산출물 생성 / 연구·종합·추천. |
| Think-aloud 사용성 연구 | 참가자가 과제를 수행하며 생각을 소리 내어 말하게 해 멘탈 모델·기대·복구 전략을 관찰하는 HCI 방법. 본 연구는 N=31. |
| SUS (System Usability Scale) | 10문항 표준 사용성 설문(0–100). 본 논문은 과제×에이전트별 평균을 Welch t-test로 비교(예: 슬라이드 Manus 90.6). |
| Reflexive thematic analysis | 코드를 상위 주제로 추상화하는 질적 분석. inter-rater reliability 대신 저자 간 합의로 신뢰성 확보. |
| Mixed-initiative interaction | 인간과 시스템이 주도권을 번갈아 갖는 상호작용 패러다임(Horvitz). 장벽 3(협업 스타일)이 함의하는 agentic 속성. |
| Metacognition (메타인지) | 자신의 진행·한계·출력 품질을 스스로 평가하는 능력. 장벽 5는 에이전트의 이 능력 결핍을 지적. |
| Take Over | Manus/Operator에서 사용자가 에이전트의 컴퓨터 사용을 중간에 넘겨받아 직접 조작 후 반환하는 기능. 다수 사용자가 그 의미를 오해(멘탈 모델 어긋남). |
관련 연구
- Plan-Then-Execute - An Empirical Study of User Trust and Team Performance When Using LLM Agents — LLM 보조 시 사용자 신뢰·팀 성능 실증, 본 논문 장벽 2·3의 직접 선행
- Towards Full Delegation - Designing Ideal Agentic Behaviors for Travel Planning — 이상적 위임 행동 설계로, 본 논문이 실증으로 메우는 “포부” 측
- Salaudeen et al. - Measurement Tasks Lack Scientific Rigor — 생성형 AI 평가의 타당도 격차 비판, 본 논문의 사용성 평가 동기
- Mixed-Initiative User Interfaces — Horvitz의 mixed-initiative 원칙, 협업 스타일 장벽의 이론적 배경
- Direct Manipulation vs Interface Agents — Shneiderman–Maes 논쟁, 본 논문이 LLM 시대로 갱신하는 프레임
태그
paper #2026 ai-agents usability human-ai-interaction llm-agents hci
BibTeX
@inproceedings{shome2026johnny,
title={Why Johnny Can't Use Agents: Industry Aspirations vs. User Realities with AI Agents},
author={Shome, Pradyumna and Krishnan, Sashreek and Das, Sauvik},
booktitle={Proceedings of the ACM Conference on AI and Agentic Systems (CAIS '26)},
year={2026},
publisher={Association for Computing Machinery},
address={San Jose, CA, USA},
doi={10.1145/3786335.3813140},
url={https://arxiv.org/abs/2509.14528},
eprint={2509.14528},
archivePrefix={arXiv},
primaryClass={cs.HC}
}