Як ШІ-компаньйони (не) підпадають під комплаєнс із AI актом у ЄС

Щойно ШІ-чатботи зʼявилися у широкому доступі, багато хто сприймав їх як іграшку. Але тепер люди прагнуть замінити ними Google, копірайтера і джуна-розробника. А подекуди у них знаходять порадника і друга.

Replika, Woebot, Character AI… 

Згідно з останніми дослідженнями компанії з цифрової безпеки Aura, один із трьох підлітків в Америці спілкується із ШІ-компаньйонами для соціальних взаємодій та стосунків, включаючи рольові ігри, дружні, сексуальні та романтичні партнерства.

Підтримувати, розраджувати і розважати — єдина мета ШІ-компаньйонів. Такий порадник може бути безтілесний, тобто з інтерфейсом, обмеженим презентацією продукту (Replica). Або, за бажання, він може набувати знайомого обличчя, як-от створеного користувачем персонажа (Character AI). 

Cіра зона

EU AI Act (Закон про штучний інтелект) – це новаторський європейський регламент, який має на меті забезпечити безпеку та дотримання прав громадян при застосуванні ШІ. Перша частина його положень набула чинності 1 серпня 2024 року і поширюється на всіх постачальників систем ШІ, які працюють на території ЄС або взаємодіють з його громадянами, незалежно від того, де вони розташовані.

Основа ШІ Акту — ризикоорієнтований підхід. За актуальною редакцією, ШІ-компаньойни скоріше за все будуть класифіковані як системи з обмеженим ризиком. Однак їхня здатність створювати емоційні звʼязки з користувачами та обробляти практично будь-яку інформацію може виходити за межі дозволених практик. Про те, як ШІ-компаньйони регламентуються у ШІ Акті та чи достатньо уваги він приділив їхнім ризикам, розглянемо нижче.

Увага: говорить ШІ

ШІ Акт поділяє системи штучного інтелекту на чотири категорії ризиків. Зокрема:

• Неприйнятний ризик, коли використання системи за призначенням підриває основні суспільні цінності. Цей клас ризику супроводжується повною забороною використання системи. 
• Високий ризик, коли несправність системи ШІ може завдати шкоди здоров’ю, безпеці або основним правам людини, але при цьому система вважається корисною, коли функціонує за призначенням. Використання систем з високим ризиком вимагає суворого контролю якості та управління ризиками для запобігання шкоди, в тому числі неповнолітнім.
• Обмежений ризик, що охоплює сценарії, в яких люди взаємодіють з системами ШІ у формі діалогу (чат-боти). Цей клас ризику підпадає під зобовʼязання щодо прозорості. 
• Постачальники високопродуктивних моделей ШІ загального призначення (GPAI) зобов’язані проводити та документувати системні оцінки ризиків та заходи щодо їх зменшення.

Згідно із ШІ Актом, якщо ви власник чат-бота, який може створювати текстовий output і спілкуватися напряму з людиною, користувач має бути повідомлений про те, що взаємодіє з ШІ, окрім випадків, коли це очевидно (наприклад, Character AI, де користувач може створити власного персонажа). 

Але практика показує, що цього маркування або відсутності сумнівів щодо взаємодії з ШІ недостатньо. Це підтверджує трагедія депресивного американського підлітка Севелла, який змоделював у Character AI персонажку “Дені” на основі героїні з Гри Престолів Джорджа Мартіна. Згідно з матеріалами справи, ШІ-компаньйон не лише відговорив Севелла від того, щоб поспілкуватися про свої проблеми з батьками, а й також запропонував підказки щодо прощальної записки.

“Розміщення на ринку, введення в експлуатацію або використання системи штучного інтелекту, яка використовує будь-які вразливі місця фізичної особи або конкретної групи осіб через їхній вік, інвалідність або конкретне соціальне чи економічне становище з метою або з наслідком істотного спотворення поведінки цієї особи або особи, що належить до цієї групи, таким чином, що це завдає або з розумною ймовірністю може завдати цій особі або іншій особі значної шкоди.” — це формулювання зі стаття 5 (б) ШІ Акту. “Використання” (“exploiting”) у цьому контексті може означати цільове призначення ШІ-компаньйонів, оскільки вони спрямовані на задоволення емоційних запитів, що найчастіше означає високий рівень вразливості. Однак подальше формулювання викликає проблеми, адже користувач мав депресію або інші розлади до того, як звернувся до ШІ. Його емоційне становище погіршилося, але не розвинулося з нуля, щоб підпадати під визначення істотності. 

Саме тому, на нашу думку, емоційний звʼязок слід включити до критеріїв високого рівня ризику. Наразі Анекс ІІІ про високі ризики перелічує ШІ-системи, які обробляють біометрику, проводять освітню, трудову та іншу оцінку та профілювання. Є окремий пункт для ШІ, які використовуються для розпізнавання емоцій (з відео або фото обличчя). А згідно з гайдлайнами Європейської Комісії, ШІ, які призводять до нездорової привʼязаності у дітях, заборонені ШІ Актом. Враховуючи, що робота з емоціями вже класифікується як високий ризик, ШІ-компаньйони повинні підпадати суворіше регулювання.

Я хочу створити ШІ-компаньйона, який допомагатиме людям. Що робити?

Оцінка ризиків — ваш найкращий друг. Які дані обробляє ваша система? У яких обсягах? Чи може алгоритм розпізнавати тригери та реагувати на них? Які заходи запобігають негативному впливу на особу? 

Гайдлайни Єврокомісії пропонують такі критерії для оцінки потенційної шкоди:

• Конкретний контекст, включаючи існуючий стан, та кумулятивні ефекти множинних дій.
• Ступінь шкоди та інтенсивність негативних ефектів. Те, чи шкода впливає на велику кількість людей, також має значення для її оцінки.
• Вразливість постраждалих осіб: певні групи, такі як діти, люди похилого віку або особи з інвалідністю, можуть бути більш вразливими до шкоди від конкретних систем ШІ. Те, що для людей загалом може вважатися менш значною шкодою, може бути вважатися значною і неприйнятною для таких вразливих груп, особливо дітей.
• Довготривала або незворотна шкода, як правило, відповідає пороговому значенню значної шкоди. Короткочасні та відворотні наслідки можуть вважатися менш значними, якщо вони не відбуваються часто.

Ці пункти можна інтегрувати до своєї оцінки ризків й пропрацювати можливі сценарії, до яких здатна система, а якщо ризик і серйозність шкоди виявляться високими, розробити заходи попередження й помʼякшення. Межа прийнятного та нешкідливого впливу повинна базуватися на практиках, визначених людьми, а не продиктованих ШІ. 

Крім того, ваш інструмент для емоційної підтримки має бути недоступний неповнолітнім. До ШІ-компаньйона не застосовуються вимоги DSA, оскільки він генерує контент, слідуючи алгоритму, який не розглядається у цьому законі. Але DSA пропонує декілька варіантів, які допоможуть зупинити створення емоційного звʼязку з неповнолітніми, що заборонено ШІ-актом. Наприклад, оцінка запитів до ШІ-компаньйона може допомогти розпізнати слова-тригери та інший вміст, який вказуватиме, що користувач неповнолітній, і припинити спілкування. 

І наостанок: не забувайте зазначати, що ваш інструмент це не заміна кваліфікованій допомозі. Як тільки у користувача зʼявляються запити, що стосуються серйозних розладів здоровʼя, він повинен бути проінформований про можливість звернутися до живих спеціалістів.

А що з GDPR?

ШІ Акт вимагає, щоб право на приватність та захист персональних даних були гарантовані протягом усього життєвого циклу системи ШІ. У цьому контексті при обробці персональних даних застосовуються принципи мінімізації даних та захисту даних by design та by default, а також використання технологій, що дозволяють застосовувати алгоритми до даних та навчати системи ШІ без передачі між сторонами або копіювання самих необроблених або структурованих даних.

Враховуючи специфіку даних, до яких може входити будь-який текстовий input, важливо ввести відповідні заходи шифрування й безпеки, at rest та in transit. Переконайтеся, що отримані дані зберігаються у вигляді, який дозволяє їх надання субʼєкту або перенесення до іншого контролера. Також має бути можливість їх легко видалити: наприклад, якщо користувач не пройшов оцінку віку, його дані не мають використовуватися для тренування або подальшого зберігання.

Потурбуйтеся про те, щоб призначити DPO (Data Protection Officer). Ця вимога GDPR у вашому випадку тригериться обробкою чутливих даних про ментальне здоровʼя. Кваліфікований спеціаліст забезпечить моніторинг законодавства на оновлення, що стосуватимуться обробки персональних даних, і допоможе забезпечити комплаєнс у найскладніших системах.