공공정책 결정에 AI를 활용할 때 필요한 윤리적 통제

  데이터와 알고리즘이 정책을 결정하는 시대, 우리는 무엇을 통제하고 있는가?

AI 기술이 공공 행정과 정책 결정에 활용되는 일이 더 이상 낯설지 않다. 교통 정책, 복지 대상자 선별, 환경 분석, 의료 자원 배분, 재난 대응까지 정책 수립 과정에서 AI가 판단 도구로 활용되는 사례는 점점 늘고 있다. 이 과정에서 AI는 방대한 데이터를 분석해 예측과 추천을 제공하고, 때로는 인간이 놓칠 수 있는 패턴을 찾아내 정책 효율성과 객관성을 높이는 역할을 한다. 하지만 동시에 매우 중요한 질문이 따라온다. 공공정책이 알고리즘에 의해 결정될 수 있는가? 공익성과 사회적 정의를 전제로 해야 할 정책 결정이, AI라는 불투명한 시스템에 의해 좌우될 때 발생하는 책임 문제, 차별 가능성, 인간 통제력의 약화는 무시할 수 없는 윤리적 쟁점이다. 특히 정책 결정은 단순한 데이터 기반이 아니라, 가치 판단, 정치적 맥락, 사회적 다양성을 고려해야 하는 복합적 행위다. 이 글에서는 공공정책에 AI를 도입하는 흐름을 살펴보고, 그 과정에서 필연적으로 제기되는 윤리적 문제와 통제 장치의 필요성을 중심으로 심층적으로 분석한다.

  공공정책 영역에서 AI가 수행하는 기능과 확장 추세

 

공공정책 영역에서 AI는 ‘보조적 도구’ 이상의 존재로 자리잡아가고 있다. 예를 들어 서울시와 여러 지자체는 교통 흐름 분석, 불법 주정차 예측, 미세먼지 측정 등에 AI 기반 예측 시스템을 도입하고 있으며, 보건복지부는 복지 사각지대 탐지에 AI 분석을 활용한다. 이러한 AI 시스템은 대량의 행정 데이터를 기반으로 위험군을 조기에 선별하거나, 자원의 효율적 배분을 가능하게 하여 정책 효율성을 극대화하는 효과를 가져온다. 최근에는 재난 대응과 치안 정책, 예산 편성, 지역개발 우선순위 결정 등 정책 설계와 판단의 핵심 영역에까지 AI가 침투하고 있다. AI는 그 특성상 ‘데이터 중심’이기 때문에, 객관적이라는 신뢰를 주기 쉽고, 인간의 오류를 줄여줄 수 있다는 기대가 존재한다. 그러나 문제는 바로 이 객관성에 대한 과신에서 비롯된다. AI가 학습한 데이터가 과거의 편향과 불평등을 반영할 경우, 정책 역시 차별적 결과를 재생산할 수 있고, 이는 사회적 약자에게 가장 큰 피해를 줄 수 있다. AI의 효율성은 높이되, 공정성과 투명성의 관점에서는 오히려 위험 요소가 될 수 있다.

 

 

  공공정책 결정에 AI를 활용할 때 발생하는 윤리적 문제

 

AI가 공공정책 결정에 도입될 경우, 가장 먼저 제기되는 문제는 책임 소재의 불분명성이다. 예컨대, AI 시스템이 복지 대상자를 ‘선별’했는데, 실제로는 도움이 절실한 대상이 제외되었다면 그 판단에 대한 법적·정치적 책임은 누구에게 있는가? 개발자, 운영기관, 정책 결정자 모두가 서로의 책임을 떠넘길 수 있다. 둘째, 설명 가능성과 투명성 부족이다. 행정 AI 시스템은 대부분 블랙박스 형태로 작동하며, 일반 시민은 물론이고 정책 집행자조차도 왜 이 결과가 나왔는지를 파악하기 어렵다. 이는 공공 행정의 핵심 가치인 ‘정당성’과 ‘신뢰’를 위협하는 요소다. 셋째는 편향과 차별의 재생산 문제다. AI는 과거 데이터를 기반으로 학습하는데, 과거 정책이 특정 지역이나 계층, 성별에 대해 불평등했던 사례를 그대로 반영할 경우, 차별적 결과가 ‘기계에 의한 판단’이라는 명분 아래 정당화될 수 있다. 마지막으로, AI에 대한 과도한 의존도 문제다. 정책 결정 과정에서 인간의 가치 판단과 토론, 사회적 논의가 사라지고, 기술 중심의 자동화된 통치 구조가 강화될 위험이 존재한다. 이는 공공성을 약화시키고 민주주의적 정당성을 해칠 수 있다.

 

  공공정책 AI 활용을 위한 윤리적 통제 방안

 

공공정책에 AI를 안전하게 도입하기 위해서는 기술을 신뢰의 기반이 아니라, 제도화된 통제 하에 둬야 한다. 첫째, 정책 결정에 사용되는 AI 시스템은 반드시 설명 가능성(Explainability)과 투명성(Transparency)을 확보해야 한다. 알고리즘이 어떤 기준으로 작동하는지, 어떤 데이터가 사용되었는지를 시민이 이해할 수 있도록 공개해야 한다. 둘째, 정책 영역별로 AI 위험성 등급(Risk Tier System)을 설정하고, 고위험 영역에서는 반드시 인간 중심(Human-in-the-loop)의 의사결정 구조를 유지해야 한다. 셋째, AI 시스템 도입 전후로 공공 알고리즘 윤리 영향평가(AIEIA: AI Ethics Impact Assessment)를 의무화하고, 외부 시민위원회 또는 윤리 위원회의 검토를 거쳐야 한다. 넷째, 불합리하거나 차별적 판단이 내려졌을 경우, 시민이 이에 대해 이의 제기, 수동 검토, 재심 요청을 할 수 있는 행정적 통제 절차가 보장되어야 한다. 마지막으로, AI를 공공정책에 도입한 기관은 그 결과에 대한 명시적 책임을 지는 구조를 마련하고, 피해 발생 시 배상 책임 및 사후 관리 체계까지 포함한 종합적인 윤리 통제 시스템을 갖추어야 한다. 기술의 활용은 가능하지만, 그것이 시민 위에 군림해서는 안 된다.

 

  정책은 사람이 만드는 것이어야 한다. AI는 도구일 뿐이다

 

AI는 공공정책의 효율성과 정확성을 높이는 데 있어 강력한 도구다. 그러나 정책은 단순한 계산이나 예측이 아니라, 공공의 이익과 정의, 인간 존엄에 대한 가치 판단의 결과물이다. AI는 그러한 가치를 이해할 수 없으며, 오직 과거 데이터를 기반으로 반복 학습할 뿐이다. 공공정책 결정에 AI를 활용하는 시대, 우리는 기술을 맹신하기보다 기술을 다룰 수 있는 윤리적 기준과 통제 장치를 더 우선시해야 한다. 정책은 인간 중심이어야 하며, AI는 보조 도구일 뿐 정책의 주체가 되어서는 안 된다. 윤리 없는 기술은 독이 되고, 통제 없는 AI는 신뢰를 파괴한다. 지금 필요한 것은 ‘기술의 도입’이 아니라 ‘사회를 위한 기술의 사용법’이다.