조작 및 AI 법 

• AI를 통한 조작은 개인과 커뮤니티에 위험을 초래한다. 신체 이미지 문제 악화에서 선거 결과에 영향을 미치고 취약점을 악용하여 소비 선택을 목표로 삼는다.

• 조작은 직접적인 피해를 입히고 대상의 자율성을 침해하며 사람을 끝이 없는 것으로 취급할 수 있기 때문에 문제가 된다. 

• EU AI 법 5조의 두 가지 주요 변경 사항을 권장한다.

잠재적인 기술을 제거하고 조작의 위해 목록에 사회적 해를 추가한다.

여러 특성을 감지하거나 추론하여 콘텐츠를 정확한 방식[1]으로 개인화 할 수 있다. 또한 AI 시스템은 기분, 스트레스, 감정[2]과 같은 심리적 상태를 평가하는 데 사용할 수 있다. 셋째, AI는 의사결정 취약점을 악용하여 소비자의 숙의적 자율성을 약화시키는 능력을 가능하게 한다.[3] '조작'은 정의하기 어려운 개념이지만 문헌은 네 가지 주요 특성을 설명한다.[4]

하나는 조작자가 사람의 숙고적인 의사 결정 능력을 우회하거나 약화시키려는 비합리적인 영향이라는 것이다. 또 다른 하나는 조작하려면 누군가가 특정 방식으로 행동하도록 하기 위해 종종 숨겨진 수단을 통해 기만과 속임수를 사용해야 한다는 것이다. 세 번째는 예를 들어 감정적 협박을 통해 조종자가 원하는 대로 하기 위해 어느 정도의 압력을 사용하는 것을 수반한다는 것이다. 마지막으로 일반적으로 대상 자신의 이익, 목표 및 선호도가 아니라 조작자의 지침에 따른다.

표: 조작의 특성  

조작으로 인한 위험

조작이 비윤리적일 수 있는 몇 가지 방법이 있다. 첫째, 조작자는 소셜 미디어, 정치 및 마케팅의 몇 가지 예와 함께 위에 표시된 것처럼 표적이 된 사람들에게 직접적인 피해를 줄 수 있다. 둘째, 조작자는 개인의 선택과 의사 결정을 줄이려는 의도로 대상의 개인 자율성을 침해할 수 있다. 마지막으로, 조종자는 사람을 토론하고 추론하기보다는 이용하기 위한 것으로 취급할 수 있다. 위에서 언급한 조작 위험의 예는 대부분의 사람들에게 분명히 비윤리적이지만 넛지의 경우 조작이 더 미묘한 역할을 할 수 있다.

넛지는 행동 실험에서 얻은 통찰력으로 개발된 행동 관행이다. 일부 넛지는 누군가를 착취하기 위해 숨겨지거나 구현되지 않았기 때문에 분명히 조작적이지 않다. 예를 들어, 칼로리와 성분을 표시하는 영양 라벨과 같은 정보 넛지는 조작이 아니다. 반면에 YouTube의 자동 재생과 같이 온라인에서 사용되는 많은 넛지는 사용자 취약성을 악용하여 무분별한 참여 및 플랫폼 남용의 함정에 빠지기 때문에 더 논란의 여지가 있다.

EU AI 조작법

1) 관행, 대상 인구 및 피해 식별: “의식을 초월한 잠재의식 기술을 통해 사람을 조종하거나 아동이나 장애인과 같은 특정 취약 집단의 취약성을 악용하여 행동을 물질적으로 왜곡할 수 있는 상당한 잠재력이 있는 관행을 다룬다. 그것은 자신 또는 다른 사람에게 정신적 또는 신체적 피해를 입힐 가능성이 있는 행위이다”[4]

"성인에게 영향을 미치는 기타 조작 또는 착취 행위 즉, AI 시스템에 의해 촉진될 수 있는 기존 데이터 보호, 소비자 보호 및 디지털 서비스 법률은 자연인이 적절하게 정보를 받고 행동에 영향을 미칠 수 있는 프로파일링 또는 기타 관행의 대상이 되지 않을 자유 선택권을 보장하는 디지털 서비스 법률의 적용을 받을 수 있다.” [5]

많은 시민 사회 구성원은 AI 법이 조작 위험으로부터 보호하는 방법에 대한 생각을 표명했다. BEUC(유럽 소비자 기구 European Consumer Organization)는 경제적 또는 사회적 피해를 유발하는 방식으로 인간을 조작하는 AI는 제안에 포함되지 않으며 조작을 통해 신체적 또는 심리적 피해를 유발하는 AI만 해당한다고 명시한다.[2] 이는 AI의 많은 사용이 개인이 아니라 그룹을 대상으로 할 것이라고 명시한 EDRi(유럽 디지털 권리European Digital Rights)에서도 강조한다.[3] 

또한 전자정보센터 등에서는 '잠재적 기술'을 사용하여 조작을 금지해야 한다는 요건이 모호하므로 이를 삭제하여 조작에 사용되는 기술을 모두 포함해야 한다고 주장하고 있다.[5] 마지막으로 BEUC는 의도를 입증해야 하는 반면 AI는 의도 없이 조작적 피해를 유발할 수 있기 때문에 "하기 위해"라는 문구의 제거를 지지한다.

정책 제안

Facebook, Google 등 많은 글로벌 업계 리더들은 인공지능법에서 '잠재적 기법'에 대한 명확성이 부족하다는 문제에 주목해 왔다.[6] 구체적인 해결책은 다를 수 있지만 이것이 제5조의 문제적 측면이라는 데에는 폭넓은 합의가 있다. 시민 사회의 일원으로서 우리는 잠재적 기법에 대한 요구 사항을 제거하고 기사를 모든 조작 기술에 적용할 것을 제안한다.

'잠재적'이라는 용어는 AI 법 제안서에 명시적으로 정의되어 있지 않는다. 일반적으로 소비자가 의식적으로 인식할 수 없는 감각 자극을 말한다.[1] 자극은 50밀리초 미만 동안 제시되는 경우에만 잠재 의식으로 간주된다.[2] 인공지능의 대부분은 사용자가 의식적으로 인식할 것이기 때문에 잠재 의식이 아니다.[3] 따라서 이 문서에서는 여전히 다양한 형태의 조작을 허용한다.

예를 들어, AI 시스템이 물병을 마지막으로 채운 시간을 식별할 수 있는 센서로 인해 개인이 목이 마르다고 결론지었다고 가정한다. 이 시스템이 이 사람에게 목이 마를 때 코카콜라 광고를 보여준다면 의식적으로 광고를 인식할 수 있는 한 이것은 잠재 의식이 아닐 것이다. 알고리즘 때문에 음료 구매에 영향을 받는다는 사실을 인지하지 못하더라도, 또는 알고리즘이 취약한 상태에서 그들을 표적으로 삼았다고 해도 자극이 탐지 임계 값 아래에 있지 않았기 때문에 조작은 잠재의식이 아니다.

2. 현재 제5조에 포함된 피해 목록에 사회적 피해를 추가하는 것이 좋다.

현재 5조에 포함된 조작의 피해 목록에 사회적 피해를 추가하는 것이 좋다. 많은 시민 사회 단체, 학계 및 AI 고위급 전문가 그룹과 같은 유럽 전문가 그룹은 유럽 시민들이 AI 시스템을 신뢰할 수 있도록 보장하기 위해 사회 복지를 늘리거나 사회적 피해를 줄이는 것의 중요성에 대해 논의했다.[4]

민주적 절차에 해를 끼치거나 법치주의를 약화시키거나 불평등을 악화시키는 것과 같은 특정 AI 시스템을 구현하는 일부 부정적인 결과는 개인에게는 미미한 피해를 줄 뿐 사회 전반에는 피해를 줄 수 있다.[5] 캠브리지 애널리티카 스캔들로 잘 알려진 것처럼 AI 시스템은 이미 개인을 조종하여 정치적 의견에 영향을 미치도록 사용되었다. 이것은 지금 처리되지 않는 한 미래에 더욱 심화될 것이다.

 우리는 유럽 기업에 추가 규제 비용을 고려하는 것이 중요하다는 점을 인정한다. 이러한 부담에도 불구하고 많은 기업이 시민의 신뢰를 보장하기 위한 유럽 연합의 접근 방식에 동의한다. 예를 들어 의료 회사인 Healx는 AI가 적절하게 규제되지 않으면 구조적 인종차별을 영속화하고 여성과 소수자를 정확하게 대표하지 않을 수 있으며 신뢰를 손상시킬 수 있다고 언급했다.[6] 또한 유럽연합 집행위원회는 AI 규제에 대한 위험 기반 접근 방식을 선택하여 부담을 줄이기 위한 조치를 취했다. 즉, AI 시스템의 일부가 금지되거나 위험이 높은 것으로 간주되어 추가 조사가 필요하다. AI 법의 비용 분석에서 유럽 집행위원회는 고위험 AI 시스템의 비율이 전체 AI 시스템의 5%-15% 사이가 될 것으로 예상한다고 주장했다.[1] 대부분의 다른 AI 시스템에는 투명성 의무 또는 가능한 자발적 행동 강령만 있을 것이다. 

조작의 맥락에서 사회적 피해에 대한 고려는 훨씬 더 적은 비율의 AI 시스템에 적용할 수 있으므로 과도한 비용이 드는 규제로 이어지지 않는다. 그러나 이러한 제한된 수의 시스템은 제대로 평가되지 않으면 여전히 많은 피해를 줄 수 있다. 현재로서는 기존 규정이 개인의 피해를 방지하는 것으로 제한되어 있기 때문에 그렇게 하는 것이 중요하다.[2]

사회적 피해 요건을 시행하는 두 가지 방법

(1)유럽 연합 조약 제2조의 가치로서 민주주의, 법치주의 및 평등을 보호하거나

(2) 디지털 방식에서와 같이 시스템 위험의 정의를 사용하는 데 초점을 맞추는 것이 더 실현 가능하고 비례적이다. 서비스 법은 매우 큰 온라인 플랫폼의 맥락에서 좁다. 이러한 접근 방식은 EU가 이미 경험한 위험(예: 정치적 조작)을 다루기 때문에 더 실현 가능하고 비례적이며 사회적 피해의 범주가 더 작고 더 명확하다(예: 민주주의 보호). 

저자소개

CONTACT

The Future of Life Institute

[7] Marcello Ienca 및 Effy Vayena, "Cambridge Analytica 및 온라인 조작", Scientific American, 2018년 3월 30일, https://blogs. Scientificamerican.com/observations/cambridge-analytica-and-online-manipulation/.

[10] 유럽 위원회, "인공지능에 대한 조화된 규칙을 제정하는 유럽 의회 및 이사회 규정 제안(인공지능법) 및 특정 연합 입법법 수정(COM(2021) 206 최종), pg. 12-13