법무법인 화우가 7월 19일 'EU AI 법제 발효 대비 핵심 이슈 대응'을 주제로 세미나를 개최했다. 이번 세미나는 특히 EU 관보에 AI법이 게재되어 7월 중 발효를 앞둔 상황에서 열려 한층 주목을 끌었다. 'EU AI Act'은 발효 후 2년 뒤에 시행되는 것을 원칙으로 하지만 예외적으로 인권을 심각하게 위협하는 금지대상 인공지능 기술에 대한 규정은 발효일로부터 6개월 뒤, 범용 인공지능 모델에 대한 규정은 발효일로부터 1년 뒤에 시행된다. 순차적인 시행 일정을 감안하면, 인공지능 관련 업계에선 관련 리스크를 파악하고 대비할 수 있는 기간이 1~2년이 채 남지 않은 상황이다.

화우가 공들여 준비한 이번 세미나에선 AI 기업들이 고위험 AI와 생성형 AI에 대한 규제에 대비하여 주목해야 할 이슈를 중심으로, AI 법적 규제와 책임, 생성형 AI의 리걸테크 활용 사례 등에 대한 깊이 있는 내용이 소개되어 참석자들의 높은 호응을 받았다.

세미나를 기획한 법무법인 화우의 이근우 AI센터장은 "EU AI법의 규제 대상은 단순히 인공지능 기술이 구현된 위치나 서비스되는 지역적 범위로 정해지는 것이 아니라, 인공지능 시스템의 결과물이 EU 내에서 사용되는지 여부에 따라 정해지기에 EU 인공지능법이 국내 사업자에게도 적용되고, 결국 직 · 간접적으로 영향을 미칠 수 밖에 없다"며 "EU AI법을 대한민국과 관계 없는 외국법으로만 대할 것이 아니라, 적어도 주요 내용을 파악해 규제 대상에 해당할 가능성이나 기타 대응이 필요한 사항을 미리 생각하고 점검하는 계기가 되길 바란다"고 말했다. 주요 발표내용을 요약해 소개한다.

1. EU AI Act 관련 실제 문제되는 고위험군 실례

EU AI Act는 EU 내 AI 관련 통일된 규제를 제시하여 개인정보, 인권, 기본권을 보장하는 안전하고 신뢰할 수 있는 AI 시스템 활용 보장을 목적으로 한다. 이를 위해 EU 집행위원회는 의견 수렴 과정을 거쳐 AI를 잠재적 위험도에 따라 분류하였는데, 그 중에서도 특히 주목받는 것은 고위험군(High-risk AI system)이다.

고위험군은 두 가지로 분류된다. 하나는 EU AI Act Annex I에 열거된 유럽 통합 법안 규정의 적용 대상 AI 시스템 등이고, 다른 하나는 EU AI Act Annex III에 열거된 8가지 분야에 해당하는 AI 시스템이다. 그 8가지 분야는 ①생체인식 시스템, ②핵심기반시설, ③교육 · 직업 훈련, ④채용 · 직원 관리, ⑤필수 민간 서비스 또는 공공 서비스 접근, ⑥법 집행, ⑦이민 · 망명 · 출입국 관리, ⑧사법 및 민주적 절차이다. 그 외에 인간의 생명, 안전 등에 상당한 위험을 초래하지 않으면서 특정 조건에 부합할 경우 Annex III의 분야에 해당하더라도 고위험군에서 제외되는 예외도 있다.

EU AI Act Annex III에서 8가지 분야를 지정하기에 앞서 EU 집행위원회가 고려한 실제 사례를 살펴보면, 8가지 분야의 고위험 AI 시스템이 구체적으로 어떠한 것을 규율하려고 하는지에 대한 이해가 쉬울 것으로 보인다.

우선 ①과 관련해서는 약 10만명 가량의 안면정보를 수집한 브뤼셀 공항 자동 출입국 심사 시스템과 약 50만명의 CCTV 촬영 행인 안면정보를 분석하여 요주의자 DB와 대조한 남웨일스 경찰의 AFR 시스템이 있다. EU 집행위원회는 이러한 실제 사례를 통해 일반 시민의 생체정보가 대규모로 수집 · 이용되고, 공공장소에서 생체정보가 수집되면 개인이 거부하기가 어렵다는 점 등을 고려하여 생체인식 분야의 AI 시스템을 고위험군으로 정한 것으로 보인다.

②에 대해서는 중국에서 교통 흐름 파악 등을 위해 이용되는 관제 AI 시스템 등을 참고하였는데, EU 집행위원회는 이러한 AI 시스템이 오작동을 일으킬 경우 대규모 교통사고, 정전 등의 인프라 마비 등 심각한 피해가 발생할 가능성이 있음에 주목한 것으로 보인다.

③번 관련 실례는 성별 · 인종 편향성을 일으켰던 美 텍사스 대학 컴퓨터공학과의 대학원 입시평가 AI GRADE와 지역 편향적 결과로 비판을 받았던 아일랜드 교육부의 중등교육졸업시험 자동 채점 시스템이 있다. 해당 분야의 AI 시스템은 학생 개개인의 인생에 큰 영향을 미칠 수 있다는 점, 대규모 입시 등에 이용되면 그 영향 범위가 막대하다는 점 등이 고려된 것으로 보인다.

그 외 분야의 실례를 보면, ④에 대해서는 구직자들의 적합성을 평가하는 AI 서비스 업체인 HireVue에 대해 미국 연방거래위원회는 해당 서비스가 OECD의 AI 원칙에 어긋나며 연방거래위원회법 제5조에서 명시하는 불공정하거나 기만적인 행위에 해당한다고 판단하고 조사에 착수한 바 있다. 그리고 이탈리아 배달업체 Deliveroo의 경우, 알고리즘이 배달원의 정당한 업무 불가 사유를 고려하지 않고 일률적으로 페널티를 부여한 바 있어 부당한 차별로 인한 과징금 처분을 받았다.

⑤와 관련하여서는 네덜란드 복지 부정수급 적발 AI SyRI, ⑥에 대해서는 네덜란드 경찰이 이용했던 범죄연루위험 예측 시스템 RTI-geweld가 있다. ⑦과 ⑧ 관련하여서는 각 EU 국경 관리용 자동 거짓말탐지기인 iBorderCtrol, 미국 형사사건에서 재범 가능성 등을 평가하는 COMPAS가 있다. (이상 화우 전민규 외국변호사)

2. 대한민국 AI업계에서 특히 주의해야 할 고위험 인공지능 이슈

EU AI Act 적용 대상 AI 시스템은 위험 정도에 따라, ①금지되는 AI 실무, ②고위험 AI 시스템, ③특정 투명성 의무를 부담하는 AI 시스템로 분류되며, 그 외에 ④범용 AI 모델도 있다. 위 EU AI Act 적용 대상 AI 시스템의 공급망에 존재하는 모든 당사자들이 의무를 부담한다. 공급망 최상단의 Provider부터 최하단의 Deployer까지 EU AI Act에 따른 의무 이행 당사자가 되며, AI가 EU 내에 위치하는 경우뿐만 아니라 제3국에 위치하더라도 AI 시스템의 결과물이 EU 내에 사용되는 경우, 그 공급망에 위치한 Provider, Deployer도 의무 이행 당사자가 되므로 국내 시장을 대상으로 하는 국내 AI 업체라도 이에 해당할 수 있음을 유의해야 한다.

시행 전 출시엔 유예기간 적용 가능

EU AI Act는 2024. 8. 1. 발효되고, 그로부터 약 2년이 경과한 2026. 8. 2. 시행됨을 원칙으로 한다. 다만, 제5조에 규정된 금지된 AI 실무 규정의 경우 발효 후 약 6개월이 경과한 2025. 2. 2. 시행되고, 범용 AI 모델의 경우 1년이 경과한 2025. 8. 2. 시행된다는 점을 알아 둘 필요가 있다. 한편 범용 AI 모델과 고위험 AI 시스템의 경우 그 시행 전에 시장에 출시한 경우에는 유예기간이 적용될 수 있으므로, 해당 업계는 이를 전략적으로 활용할 수 있다고 보인다.

고위험 AI 시스템에서 '고위험'인지 여부는 사람의 ①건강, ②안전, ③기본권에 심각한 피해 발생 가능성이 높은 지 여부에 따라 결정되므로, 재산적 피해 정도에 따라 결정되지 않는다. 즉, 고위험 AI 시스템은 '사람의 건강, 안전이나 기본권에 심각한 피해를 발생시킬 위험이 있는 AI 시스템'들로, ①Annex I에 나열된 통합법(Harmonisation legislation)에 따라 적합성 평가의 대상이 되는 제품들(예컨대, 기계류, 무선 장비, 민간 항공 등)과 관련하여 AI 시스템이 해당 제품 그 자체이거나 그 제품의 안전요소로 사용되는 경우(이하 '유형1')와 ②Annex III에 use case로 한정 열거된 AI 시스템, 즉 생체인식, 주요 기반시설, 채용 · 직원 관리 시스템 등(이하 '유형2')이 이에 해당된다.

유형 2의 고위험 AI 시스템에 해당하더라도 제6조 제3항에 한정 열거된 경우에 해당하는 등의 이유로 예외 적용을 받을 수도 있다. 또한 유형 2의 고위험 AI 시스템에 관한 규정은 위임법(Delegated act)에 따라 AI 기술 흐름의 변화에 맞춰서 유럽집행위원회(EC)가 단독으로 개정할 수 있다는 점을 유념해 둘 필요가 있다. 유럽집행위원회(EC)는 2026. 2. 2. 까지 고위험 AI 시스템 해당 여부에 대한 가이드라인을 제공할 의무가 있으므로 관련 사업자는 이를 참조할 수 있을 것이다.

고위험 AI 시스템은 EU AI Act 제9조 내지 제15조에 규정된 7가지 요건, ①위험 관리 시스템, ②데이터 및 데이터 거버넌스, ③기술 문서화, ④기록 보존, ⑤투명성 및 활용자에 대한 정보 제공, ⑥사람에 의한 감독 가능한 조치, ⑦정확성, 견고성, 사이버보안을 갖추어야 한다.

국내 업계에서 고위험 AI 시스템과 관련된 수범자에 해당하는 경우는 대부분 Provider 또는 Deployer일 것이고, 이는 AI 시스템을 개발하여 자신의 이름, 상표로 출시한 경우(Provider)와 AI 시스템을 이용하는 경우(Deployer)로 구분할 수 있다. 참고로, 경우에 따라 Deployer도 Provider가 제공한 AI 시스템에 별도의 학습 데이터로 미세 조정을 하는 방식으로 실질적인 변경을 가하는 경우 Provider로 지위 변경 가능성이 있다는 점에 유의할 필요가 있다.

최대 1,500만 유로 또는 직전 연 매출의 3% 과징금

EU AI Act는 고위험 AI 시스템의 Provider 및 Deployer 각자에게 별도의 의무를 부과하고 있으며, 어느 누구든 위반 시 최대 1,500만 유로 또는 직전 연 매출의 3%가 과징금으로 부과될 수 있다.

앞서 살펴본 고위험 AI 시스템의 7가지 요건을 갖추어야 하는 의무는 Provider에게 있다. 또한 Provider는 고위험 AI 시스템을 시장에 출시하기에 앞서서 그 요건을 갖추었는지 여부 등을 평가하는 적합성 평가를 수행하여야 한다.

유형1에 해당하는 고위험 AI 시스템은 제3자에 의한 평가 방식을, 유형2의 경우는 Provider 스스로 적합성 평가를 수행하고 적합성 선언서를 작성한 후 EU 지침을 반영하였음을 드러내는 CE마크를 부착하여야 한다.

참고로, 고위험 AI 시스템 요건 준수와 관련하여 유럽집행위원회(EC)는 통합 표준 또는 공통 사양을 제정할 예정이다. 이를 따르게 되면 요건을 준수한 것으로 추정되므로, 관련 사업자는 해당 표준이나 사양을 참조해볼 수 있다. 또한 유형2에 해당하는 고위험 AI 시스템 Provider는 EU 데이터베이스에 고위험 AI 시스템을 등록할 의무가 있다. 그 외에도 Provider는 품질관리시스템 마련, 로그 보관 등의 의무사항을 준수하여야 한다.

AI 시스템을 이용하는 Deployer에게도 다양한 의무가 부과된다. 담당자를 지정하는 등 인적 감독이 보장되어야 하며, 시스템의 설계 목적을 고려하여 입력 데이터의 관련성 등을 검증하고 상시 모니터링을 통해 유사시 통지할 수 있어야 한다.

무엇보다도 Deployer는 AI 활용 사실을 고지할 의무가 있다. 한편 유형 2 고위험 AI 시스템 중 민간 필수 서비스 등에 해당하는 신용도 평가 또는 보험 대상자 평가와 관련된 경우{Annex III의 5항 (b), (c)}에는 기본권 영향 평가 결과를 시장 감시 당국에 제출해야 한다는 점을 유의해야 한다. 참고로, AI Office는 기본권 영향 평가에 관한 Questionnaire Template을 제공하여 관련 사업자의 편의를 도모할 예정이다. (이상 화우 권은구 변리사)

3. 생성형 AI 규제 및 활용의 대비사항

EU AI Act는 생성형 AI를 포함한 AI 시스템에 대한 포괄적인 규제 체계를 마련하였는바, EU AI Act를 중심으로 생성형 AI 관련 사업자들이 알아야 할 주요 규제 내용과 대비사항을 살펴보고자 한다. EU AI Act는 생성형 AI를 직접 규제하는 내용은 없으나, 생성형 AI는 범용 AI 모델의 대표적인 예시로 보고 있기에 범용 AI 모델, 그리고 특정AI 시스템에 관한 규제 내용을 살펴볼 필요가 있다. 그러한 점에서 EU AI Act는 생성형 AI와 관련된 사업자를 크게 Provider와 Deployer로 구분하고 있으며, 각각에 대한 의무사항을 아래와 같이 규정하고 있다.

생성형 AI와 관련된 Provider의 경우 세 종류로 분류될 수 있다. '자연인과 상호작용하는 AI 시스템의 Provider'는 해당 산출물이 AI라는 사실을 자연인에게 고지할 의무가 있으며(신중한 자연인 관점에서 명백한 경우 제외), '합성 이미지, 비디오, 텍스트 콘텐츠 등을 생성하는 범용 AI 시스템의 Provider'는 해당 산출물이 인공적으로 생성 또는 조작되었다는 점이 기계 판독 가능한 형식으로 표시되고 검출 가능하도록 해야 한다(투명성 의무, Art. 50).

'범용 AI 모델 Provider'의 경우 AI Office 및 소관 기관에 대한 모델 관련 기술문서 제공 및 갱신 의무, 범용 AI 모델을 통합하려는 AI 시스템 Provider에 대한 관련 문서 제공 및 갱신 의무, 저작권 관련 법령 준수 의무, 학습에 사용된 콘텐츠 공개 의무 등을 부담한다(Art. 53). 이때 EU 권역 외에서 설립된 Provider는 범용 AI 모델을 EU에 출시하기 전 서면으로 대리인을 임명해야 한다(Art. 54).

시스템적 위험성이 있는 '범용 AI 모델 Provider', 즉 범용 AI 모델 중 고영향성능을 보유하였거나(학습에 이용된 누적 연산량 1025 FLOPs 초과 시 고영향 성능 보유 간주), 집행위원회가 직권으로 또는 전문가 조직인 Scientific Panel(Art. 68)의 요청을 받아 지정한 '시스템적 위험성이 있는 범용 AI 모델'의 Provider는 추가적인 의무를 부담한다. 해당 Provider는 '범용 AI 모델 Provider'의 의무 외에 적대적 공격평가(adversarial testing) 및 적정한 모델 평가 실시 의무, 시스템 리스크 평가 및 완화 의무, 중대사고와 대처방법 관련 정보 보고 의무, 충분한 수준의 사이버 보안과 기반시설을 확보할 의무를 부담한다(Act. 55).

'감정 인식 시스템 또는 생체 분류 시스템의 Deployer'는 해당 시스템에 노출된 자연인에게 시스템의 활용에 대해 고지해야 하고, 개인정보 보호 법규를 준수해야 하며, '딥페이크 관련 이미지, 음성 또는 영상 콘텐츠를 생성 · 조작하는 AI 시스템 Deployer'는 콘텐츠가 인위적으로 조작, 생성되었음을 공개할 의무가 있으며, '공익을 위하여 공개 출판할 텍스트를 생성하는 AI 시스템 Deployer;는 텍스트가 인공지능을 통해 생성되었다는 점을 공개할 의무가 있다.

우리나라의 기업들도 EU 내에서 AI 시스템을 출시 또는 서비스 개시하거나, 범용 AI 모델을 출시하는 경우 및 그 산출물이 EU 내에서 사용되는 경우 EU AI Act의 수범대상이 된다(설립지 · 소재지 무관). 우리나라의 경우 네이버, 업스테이지, 삼성 가우스, LG 엑사원 2.0 등이 생성형 AI Provider에 해당하며, 위 모델들은 대규모 생성형 AI 모델로서 범용 AI 모델에 해당할 것으로 보인다.

Art 50조에 따른 Provider 또는 Deployer의 투명성 의무 위반시([Art 99 4. (g)] fines) 최대 15백만 유로 또는 직전년도 매출액의 최대 3%까지 중 높은 금액, Art 101조에 따른 범용 AI 모델 제공자의 법률위반시 최대 15백만 유로 또는 직전년도 매출액의 최대 3%까지 중 높은 금액이 벌금으로 부과될 수 있다. 따라서 범용 AI 모델 Provider에 해당할 경우 위에서 언급한 각종 공개의무 등이 발생한다는 점에 주의하여야 할 것이며, 특정 AI Provider, Deployer에 해당하는 경우 투명성 의무 등이 발생하므로 워터마크 시스템의 견고성 및 신뢰성 등 요구 수준을 면밀히 주시할 필요가 있다.

더불어 우리나라 기업의 상당수는 범용 AI 모델에 해당하는 생성형 AI를 사용하여 자체적인 AI 콘텐츠를 통해 이를 사업에 활용하는 방식을 취하고 그 중에 일부 사업자들의 경우 자신의 시스템에 장착할 생성형 AI 모델이나 시스템을 별도로 개발하는 경우도 있다. 이러한 경우 각 사업모델이 AI provider 또는 deployer에 해당할 수 있는지 확인하고, 위 Provider 또는 Deployer 로서의 의무를 부담한다는 점을 인식하고 사전에 대비할 필요가 있다.

22대 국회에 제출된 생성형 AI 입법안을 내용 위주로 보면, 정점식 의원 대표발의안은 생성형 AI와 관련해서 생성형 인공지능을 이용한 제품 또는 서비스를 제공하려는 자는 생성형 인공지능 기반 사실을 사전고지하고, 결과물에도 이를 표시하도록 하는 내용, 그리고 학습에 이용되는 누적 연산량이 특정 기준 이상인 경우 특별히 안전확보의무를 부과하는 내용이 포함되어 있으며, 안철수 위원안은 그 내용 중 앞의 내용을 갖고 있다.

생성형 AI 기술은 빠르게 발전하고 있으며, 이에 따른 규제 환경도 지속적으로 변화할 것으로 예상된다. 일선 기업들은 관련 법규와 규제 동향을 지속적으로 모니터링하며, 선제적으로 대응 방안을 마련해 나가야 할 것이다. (이상 화우 AI센터장 이근우 변호사)