ML Ops 시스템의 일환으로, 데이터 세트에 존재하는 다양한 편향을 multi-classification모델을 통해 제거하거나 Generator모델을 이용해 데이터 보강으로 해결해주는 인공지능 자동화 시스템.
인공지능은 빠르게 발전하면서 사회 전반에서 다방면적으로 활용되고 있다. 대다수 사람들은 인공지능이 기계이기 때문에 편향 없는 공정한 결정을 할 수 있다고 기대한다. 하지만 특정 집단을 배제하고 차별하는 인공지능이 개발되어 논란이 되고 있다. 그 예로 국내 대화형 인공지능 챗봇 ‘이루다’의 성희롱·혐오 발언, 마이크로소프트에서 개발한 ‘테이’의 인종 차별적 발언, 아마존 채용 인공지능의 성차별적 판단 등이 있다. 이러한 사례들을 계기로 인공지능의 편향으로 인한 윤리 문제가 대두되고 있으며, 사회에 인공지능을 도입하기 위해 안전하고 신뢰할만한 알고리즘 개발의 중요성이 강조되고 있다.
인공지능과 관련되어 제기되는 이슈 중 하나가 바로 편향성(bias)의 문제이다. 편향성 문제는 데이터 수집, 분류, 이용 과정에서 항상 개입할 수 있으며, 단일 원인을 추적하기 어렵고 복합적으로 발생한다.
편향은 적합한 인공지능을 개발하는 데 장애가 되며, 편향적인 인공지능은 다시 차별과 혐오를 재생산하는 문제를 일으킬 수 있다. 따라서, 인공지능 시스템의 윤리성을 보장하고 편향의 위험을 줄이기 위해 데이터를 수집하고 인공지능을 설계하는 과정에서부터 주의해야 한다.
현재 인공지능 편향성을 줄이는 방법으로는 전처리 단계에서 훈련 데이터를 검토하거나 인공지능의 출력 정보를 지속해서 모니터링하는 방법 등이 있다. 현재는 이러한 과정을 사람이 직접 파악하고 있으며, 소수의 자원이 많은 대기업들만 ML Ops라는 이름으로 자동화를 진행하고 있다. 이러한 업무는 데이터가 전체를 포괄할 수 있도록 다양성을 고려해야 하기 때문에, 전문적인 지식이 필요한 어려운 작업이다.
따라서, 이러한 인공지능 편향성 문제를 해결하기 위한 시스템을 제안한다. 인공지능 모델링 단계 중 전처리 단계에서 데이터의 편향을 완화하기 위한 처리를 자동화하여 인력 문제 해결과 정확성 향상을 목표한다.
4차 산업혁명 시대는 디지털 전환이 가속화되고 있다. 이 과정에서 디지털 역량의 가장 큰 경쟁력으로 인공지능을 꼽을 수 있다. 하지만, 인공지능을 학습시킴에 있어서 데이터 편향에 대한 문제가 꾸준히 야기되고 있다. 데이터 편향을 자동으로 감지하여, 삭제 혹은 증강을 통해 보정하는 인공지능 시스템을 구축함으로써, 이러한 문제점을 해결할 수 있다. 이는 4차 산업혁명 시대에서 인공지능에 기대하는 올바른 기능을 갖게 하며, D.N.A 생태계 강화 및 그 활용을 가속화 하는데 밑받침이 될 것이다.
4차 산업혁명 시대는 디지털 전환이 가속화되고 있다. 이 과정에서 디지털 역량의 가장 큰 경쟁력으로 인공지능을 꼽을 수 있다. 하지만, 인공지능을 학습시킴에 있어서 데이터 편향에 대한 문제가 꾸준히 야기되고 있다. 데이터 편향을 자동으로 감지하여, 삭제 혹은 증강을 통해 보정하는 인공지능 시스템을 구축함으로써, 이러한 문제점을 해결할 수 있다. 이는 4차 산업혁명 시대에서 인공지능에 기대하는 올바른 기능을 갖게 하며, D.N.A 생태계 강화 및 그 활용을 가속화 하는데 밑받침이 될 것이다.
인공지능 분류 모델을 통해 데이터 세트 내부에서 편향의 존재 여부를 판단하고, 편향된 데이터 샘플 제거 혹은 새로운 데이터 샘플 생성 등을 통해 데이터 세트 내의 편향을 제거하는 프로세스의 서비스를 API로 클라이언트에게 제공한다. 클라이언트는 우리가 제공하는 API를 사용하여 본인들이 구축하고자 하는 서비스에 맞게 데이터를 정제하여 더 양질의 서비스를 구축하고 배포할 수 있다.
데이터 전처리에서 고려할 수 있는 편향은 3가지가 있는데, 이는 인간의 편향, 롱테일 편향, 고의적 편향이다.
-
첫째, 인간의 편향은 인공지능의 학습 데이터가 인간으로부터 기인하기 때문에 원시 데이터 자체에 고정관념이 개입돼서 발생하는 편향이다. 예를 들어 “의사는 남자이고 간호사는 여자이다.”라는 문장은 성 고정관념이 편향되어 나타난 것이다. 이러한 편향은 인공지능의 의사결정 과정에서 단점으로 작용할 수 있다.
-
둘째, 롱테일 편향은 훈련 데이터에서 특정 범주의 데이터가 부족할 때 발생한다. 예를 들어 얼굴 인식하는데, 훈련 데이터에 흑인이 별로 없었다면, 인공지능은 흑인의 사진을 보고 사람의 얼굴이 아니라고 분류 할 수도 있다.
-
셋째, 고의적 편향은 가장 위험한 편향으로 해킹 공격을 통해 인공지능을 의도적으로 편향되도록 유도한다. 이러한 편향은 발견하기 어렵게 숨겨지기 때문에 더욱 위험하다. 예를 들어 해커가 공급망을 최적화하기 위해 특정 데이터베이스를 사용하여 인공지능을 훈련하고 있다는 사실을 알게 됐다고 한다. 해커는 인공지능의 학습 데이터베이스에 편향된 정보를 주입해서 공격자의 의도대로 정보를 가공해 편향된 인공지능을 만들어낼 수 있다.
인공지능이 학습하는 데이터 세트에 잠재된 위의 세 가지 편향성을 제거하는 시스템을 구축하여 인공지능이 잘못된 학습을 하는 것을 사전에 방지한다.
입력받은 데이터에서 편향적인 데이터 샘플을 제거하거나 수정하여 인간의 편향과 고의적 편향을 해결할 수 있다. 또 특정 범주의 데이터가 부족해서 발생하는 롱테일 편향은 데이터 증강을 통해 해결할 수 있다.
각 편향성을 해결하는 세부적인 방법은 다음과 같다.
혐오표현이란 한국 방송 통신위원회에 따르면 합리적인 근거 없이 인종 성별 출신 지역, 장애등을 이유로 특정 개인이나 집단에 대해 경멸적 표현을 사용하여 배척하거나 사회적 편견을 조장하는 내용을 의미하며 단순 욕설과는 다르게 사회 통합을 저해하고 차별을 재생산하는 표현이다.
본 시스템에서는 데이터에 포함된 혐오 표현이 인간의 편향을 강화하는 것으로 간주하고, 이를 혐오 표현 탐지 모델을 사용하여 탐지한 후, 데이터에서 제거 또는 수정하는 방법을 통해 인간의 편향을 감소시킨다.
혐오 표현 탐지 모델은 타 연구에서 공개한 차별 및 혐오 표현 라벨이 포함된 데이터를 딥러닝 분류 모델에 학습시켜 구축한다. 이때, 혐오 표현 탐지 모델로써 자연어 처리의 텍스트 분류에서 좋은 성능을 보이는 딥러닝 아키텍쳐인 KoBERT, DistillKoBERT, kcBERT, kcELECTRA의 성능을 측정하였고, 최고 성능을 보인 kcbert-large를 최종 모델로 선정했다. 선정된 kcbert-large 모델을 혐오 표현 데이터 세트로 fine-tuning하여 혐오 표현 탐지 모델을 생성하였다.
데이터 세트에서 롱테일 편향이 존재하는지 판단하기 위해, 각 범주의 데이터 수를 비교 분석한다. 만약, 특정 범주의 데이터가 부족하여 데이터 범주가 불균형하다면, 데이터 증강 기술을 사용하여 해당 범주의 데이터 수를 늘려 데이터 불균형을 해소함으로써 롱테일 편향을 줄인다.
롱테일 편향은 Input Data의 형태에 따라 다른 방법을 사용한다.
Input Data가 Text인 경우, 데이터 수를 늘리기 위해 사용하는 텍스트 데이터 증강 방법은 Back Translation 기법으로, 기존 텍스트를 외국어로 번역한 뒤 다시 기존의 언어로 번역하여 데이터를 생성한다. 번역에 사용한 기술은 딥러닝 기반 Multilingual 번역 모델인 MT5를 사용했다.
Input Data가 Image라면, 생성 모델을 통해 롱테일 편향을 해결한다. 생성 모델은 적대적 생성 모델(GAN)을 사용하여 인종, 나이 그리고 성별 등 기존 데이터 내의 롱테일 편향을 일으킬 수 있는 정보를 다른 정보로 대치한 새로운 데이터를 생성한다. 해당 작업을 위한 딥러닝 아키텍쳐로는 최근 좋은 연구 성과를 내는 StyleGAN 계열의 모델을 선정하였다.
인간의 편향과 롱테일 편향을 제거하는 시스템을 사용하여 부가적으로 고의적 편향을 예방할 수 있다. 사용자는 본 시스템을 인공지능 학습 직전의 데이터 편향 제거에 사용함으로써, 데이터 주입을 통해 의도적으로 인공지능 편향을 유도하는 해킹 공격을 사전에 인지하고 방어할 수 있다.
기존에는 이러한 편향을 해결하기 위해 사람이 직접 전처리 작업을 진행하였다. 하지만 사람이 직접 하는 전처리는 그 사람의 고정관념과 데이터에 대한 이해 정도에 따라 편향 문제 해결이 어려울 수 있으며 심지어 더 악화될 가능성이 있다. 이러한 전처리 작업을 딥러닝 기술을 사용한 시스템을 통해 자동화한다면, 위와 같은 문제를 해결할 수 있을 것이다.
시대가 빠르게 변함에 따라 편향의 기준 또한 빠르게 달라지고 있다. 불과 몇 년 전만 해도 대중들은 남자와 여자의 직업구별은 차별되고 편향적이라고 인식하지 못하였다. 만약에 사람이 직접 데이터를 전처리하면 편향을 편향으로 인지하지 못하는 경우가 발생할 수 있다. 따라서, 최근 편향의 기준에 알맞게 인공지능이 직접 데이터를 자동으로 정제해주는 작업을 통해 시대의 변화에 맞게 데이터의 편향을 줄일 수 있다.
데이터의 편향 보정의 정도를 조절할 수 있는 옵션, 편향된 데이터를 순화시켜주는 옵션 두 가지의 기능을 제공해서 클라이언트가 원하는 데이터 정책 방향에 따른 옵션을 선택할 수 있다. 예를 들어 심리상담 챗봇을 개발해야 한다면 보정 정도를 최고로 설정하여 데이터 대부분을 바른말로 만들 수 있다. 반면에 아이같은 챗봇을 만든다면 데이터를 절반 정도만 순화해서 신조어는 사용할 수 있도록 데이터 편향 정도를 조절 할 수 있다.
본 서비스를 이용하고자 하는 클라이언트의 목적에 맞게 데이터 세트 내의 데이터 편향적 문제를 해결하여 준다. 따라서 클라이언트는 낮은 비용으로 더 높은 퀄리티의 자사 서비스를 구축 할 수 있다.
본 서비스로 인해 데이터 편향 제거 작업이 수월해지면서, 특정 집단 혹은 사회적 약자들에 대한 편향 없는 인공지능 서비스의 수가 늘어날 것이라고 전망한다. 또한 누구나 불쾌감 없이 이용함으로써, 인공지능 서비스에 대한 윤리 문제와 차별, 혐오에 대한 사회적 인식 또한 개선될 것으로 기대한다.
데이터 수집 및 전처리 단계에서 본 서비스를 이용하여, 데이터를 정제하고 편향을 제거해서 AI 개발 비용을 줄이고 기간을 단축시키는데 활용 될 수 있다. 해당 서비스는 API를 제공하므로, 클라이언트는 서비스 개시 이후 들어오는 데이터를 해당 서비스 API를 호출하여, 데이터 편향을 제거한 후 데이터 베이스에 저장하고 학습 할 수 있다.
사회적으로 논의 될 수 있는 편향성과 윤리적인 이슈를 함께 논의하고 해결해 나가면서 전 세계적으로 인공지능 규범을 만드는 데 기여할 수 있을 것이다.
또한 해당 프로젝트는 github에 공개된 오픈소스로 한국 오픈소스 커뮤니티 활성화에 기여할 수 있을 것이다.