Ask not what AI can do, but what AI should do: Towards a framework of task delegability

https://papers.nips.cc/paper/8301-ask-not-what-ai-can-do-but-what-ai-should-do-towards-a-framework-of-task-delegability.pdf

 

 

NIPS 2019 논문. 재밌음. AI에게 시킬 일과 그렇지 않은 일에 대한 이야기인 것 같아서 읽어봄.

 

1. 인트로

• 앤드류 응 교수 인용. "AI is th new electricity."
• AI가 여러 분야에서 사람의 퍼포먼스를 능가함. (채용, 의학적 진단, 재판 등 분야).
• AI기술이 발전하면서 우리는 어떤 문제에 AI를 적용하면 좋을지 고민하게 되었음.
• 딥러닝을 이용해 어떤 사람의 성적지향을 분석하는 연구가 있었음. 이에 성소수자 관련 단체들이 들고 일어나 이 연구를 "Junk Science"라고 폄하함. 기술의 발전이 윤리와 충돌한 사례.
• 과학자들도 AI가 직업이나 미래의 고용 등에 영향을 크게 줄 거라 생각해서 우려하고 있음.

 

• 이런 상황이니 의문이 나올 수밖에. 어떤 일을 AI에게 맡겨야 하나? 그 방식은?
• 이 문제에 대답하려면 두 가지 관점에서 바라봐야 함.
• 첫번째는 capability. 기계가 잘 할 수 있는 일을 기계에 시키는게 좋지 않겠나. 많은 AI 연구의 목표가 "기계가 할 수 있는 일의 한계를 넓혀나가자." 이기도 하고.
• 두 번째는 윤리적 문제 같은걸 다루려는 것 같음. 기계가 자동화를 잘 할 수 있어도 자동화 안 하는게 좋을 일들. 예를 들면 AI가 민중을 감시하면 효율성은 엄청 높겠지만 그건 윤리적으로나 법적으로나 문제가 생길 것.
• 그 외에는 이런 예시도 들고 있음. "아무리 기계가 맛깔나게 글을 써도 저명한 작가가 쓴 글에서 느낄 수 있 만족감이나 가치를 제공하기는 힘들 것이다."

 

• 인간의 영역으로 남겨둬야 될 일에 대한 이해도 부족하고, AI의 영역으로 밀어줘야 할 영역에 대해서도 연구가 덜 되었다.

--> 이게 재밌는 관점이었다. 대중의 AI에 대한 저항은 AI의 개입을 최소화시키려는 방향인데, 인간을 배제하고 AI에게 일임해야 하는 일에 대한 고민은 생각해 본 적 없는 관점.

 

• 이 연구의 저자들은 어떤 업무에 AI를 적용하고 어떤 분야는 인간의 것으로 남겨두는게 좋을지에 대한 최초의 empirical(경험적인) 연구를 수행했다고. 아래 세 가지 분야에 기여했다고 함.
• 선행기술들을 다각도로 분석해서, 업무를 바라보는 4가지 factor를 만들었다고. (motivation, difficulti, risk, trust).
• 학술연구부터 일상에 이르기까지 다양한 업무에 대한 데이터셋을 만들었음. 앱스트랙 보니까 100종류라고 함.
• 사람들한테 설문 요청해서 4개 팩터와 기준이나 연구의 효용성에 대해서 피드백을 받았다고.
• 응답자들 대부분이 완전 자동화를 거의 선호하지 않았지만, AI의 보조를 높게 평가했음.
• 네 가지 팩터 중에서 trust가 가장 사람 퍼포먼스와 상관관계가 있었음. 높은 신뢰도가 필요한 작업은 사람이 직접 수행하는걸 선호한다고 앱스트랙에 있었던걸로 기억.
• 근데 신뢰랑 관련있을 "interpretability"는 별로 상관관계 없었음.

--> Interpretability는 해석성이라고 번역되는데, 쉽게 설명하면 어떤 일을 했을때 이에 대해 설명할 수 있는지를 뜻함. 사람이 A와 B 중 하나를 골랐을 때에는 이유를 설명할 수 있음. 근데 AI는 못 함.

 

1. 관련 연구

• 머신러닝이 사회 전반에 깊게 파고들어오면서, AI 자동화에 대한 사람들의 선호도 또한 상관관계를 확보함.
• 저자들은 이런 선호도의 상관관계에 대해 분석하고 연구하는 것이 굉장히 중요하다고 주장함.
• 그럼에도 인간-기계 통합 연구를 제외하면 AI에 대한 사람들의 생각은 '자동화'의 일종임.

 

업무 할당과 위임

• "general automation"관점에서 업무 위임에 관한 이론들이 제시가 되어왔음.
• 업무 할당 분야는 업무를 어떻게 쪼개서 사람과 기계에 할당하는게 최선일지 연구하는 분야.
• Castelfranchi랑 Falcone는 리스크나 불확실성, 신뢰도가 업무 위임에 있어서 중요한 일이라고 주장함.
• Milewski랑 Lewis는 사람들이 자동화가 필요없거나 자동화 해도 효용성이 없는 일, 신뢰도나 중요도가 낮은 일에는 굳이 AI를 투입할 필요성을 느끼지 못한다고 주장.
• Frey랑 Osborne는 어떤 직업이나 자동화 관점에서 사회성, 창의성, 지각조작 요구능력 등이 기계의 역량을 평가하는 척도라고 이야기함.
• Parasuraman 팀은 자동화의 수준이 우리 업무와 가장 밀접한 관련이 있다고.
• 근데 저 분들의 연구는 퍼포먼스 관점을 갖고 있음. AI의 성능, 신뢰도, 비용 등. 저자들은 인간의 선호도에 좀 더 집중해 보고 싶어함.

 

일단 여기까지 읽고 설문 결과 보러 감. 내가 이런 사회적 분위기 도출하는 연구 할 것 같지는 않음.

1. AI only 보다는 사람이 주도적인 역할을 하는 것을 선호함.
2. 자동화 선호도에 가장 영향을 미치는 요소는 신뢰도.

 

딱 여기까지만 읽기로 함. 연구 방법론도 재미있어 보이지만 깊게 읽을 생각은 없고.

 

여튼, 사람들은 AI 혼자 다 처리하기보단 AI가 사람과 함께 보조적으로 뭔가를 하기를 원함. 이런 제품을 만들어야겠음.

 

그러니까, 사람들은 자비스를 원하지 울트론을 원하는게 아님.