Model Cards і Data Sheets: технічна документація, яку вимагає AI Act

Європейський Акт про штучний інтелект (ШІ Акт) встановлює нові вимоги не лише до того, як системи ШІ мають розроблятися та використовуватися, а й до того, як ці процеси повинні документуватися.

У визначених Регламентом випадках провайдеру недостатньо заявити про точність чи безпечність системи, він також повинен мати технічну документацію, яка дає змогу зрозуміти, як ШІ система працює, на яких даних навчалася і тестувалася, які має обмеження та як контролюються пов’язані з нею ризики.

Ще до прийняття ШІ Акта для систематизації такої інформації активно використовувалися картки моделей (Model Cards) та паспорти наборів даних (Datasheets for Datasets), адже вони дають змогу структуровано описувати саму модель, її призначення й обмеження, а також походження, характеристики та особливості використаних даних.

Водночас із появою ШІ Акта питання технічного документування ШІ систем уже переходить у правову площину. Регламент закріплює вимоги до технічної документації для окремих категорій систем і моделей ШІ, визначаючи, яку інформацію провайдер має фіксувати та підтримувати в актуальному стані, а за певних обставин — навіть надавати компетентним органам.

Слід зауважити, що ШІ Акт не встановлює єдиних вимог до технічної документації для всіх систем і моделей ШІ. Обсяг документації та інформація, яку вона має містити, залежать від виду системи або моделі. Так, окремі вимоги Регламент передбачає для систем ШІ високого ризику та моделей ШІ загального призначення.

Технічна документація для систем ШІ високого ризику

Для систем ШІ високого ризику ключова вимога міститься у статті 11 ШІ Акта. Провайдер повинен підготувати технічну документацію до введення системи в обіг або експлуатацію та надалі підтримувати її в актуальному стані. Призначення такої документації виходить далеко за межі звичайного технічного опису продукту. Вона має бути складена так, щоб продемонструвати відповідність системи вимогам ШІ Акта та надати національним компетентним органам і органам з оцінки відповідності необхідну для перевірки інформацію у чіткій і вичерпній формі.

Мінімальний обсяг інформації визначає Додаток IV до ШІ Акта. По суті, він вимагає задокументувати весь життєвий цикл системи: від її призначення і процесу розробки до тестування, управління ризиками та моніторингу після виходу на ринок.

Зміст технічної документації

Насамперед документація повинна містити загальний опис системи: її призначення, інформацію про провайдера, поточну версію та її зв’язок із попередніми версіями. Також має бути описано, як система взаємодіє з іншим програмним та апаратним забезпеченням, у якій формі вона вводиться в обіг або експлуатацію, наприклад як програмний пакет, завантажуваний продукт чи API, та на якому обладнанні має працювати. Документація також має охоплювати базовий опис інтерфейсу та інструкції з використання системи.

Окрім загального опису системи, документація має детально розкривати її складники та процес розробки.

Зокрема, використані методи та етапи, загальну логіку роботи системи й алгоритмів, ключові проєктні рішення та припущення, на яких ґрунтувалася розробка, а також її архітектуру і взаємодію програмних компонентів. Необхідно також зазначати обчислювальні ресурси, використані для розробки, навчання, тестування та валідації системи. Якщо під час розробки застосовувалися попередньо навчені системи або інструменти третіх осіб, документація має пояснювати, як саме вони були використані, інтегровані або модифіковані.

Дані, тестування та оцінювання системи

Особливе місце Додаток IV відводить даним. У відповідних випадках документація має містити паспорти даних, що описують методології та техніки навчання, а також використані навчальні набори даних. Вони мають включати загальний опис таких наборів, інформацію про їх походження, охоплення та основні характеристики, способи отримання і відбору даних, процедури їх маркування та методології очищення, зокрема виявлення аномальних значень (outliers detection).

Документація має описувати процедури та дані, використані для валідації та тестування, застосовані метрики точності та стійкості, потенційно дискримінаційні наслідки, а також містити журнали та звіти про тестування. Крім того, необхідно зафіксувати можливості та обмеження системи, очікуваний рівень її точності, передбачувані небажані результати та потенційні джерела ризиків для здоров’я, безпеки й основоположних прав, а також ризики дискримінації.

Обрані для оцінювання системи показники ефективності мають відповідати її конкретному призначенню.

Людський нагляд, кібербезпека та управління ризиками

Задокументувати треба й необхідні заходи людського нагляду та технічні рішення, які допомагають користувачам інтерпретувати результати роботи системи, а також впроваджені заходи кібербезпеки.

Ще одним обов’язковим елементом є детальний опис системи управління ризиками відповідно до статті 9 ШІ Акта. Ідеться про виявлення й оцінювання відомих та обґрунтовано передбачуваних ризиків, заходи для їх усунення або зменшення, регулярний перегляд і оновлення.

Від змін системи до післяринкового моніторингу

Документація також повинна відображати релевантні зміни системи протягом її життєвого циклу, містити перелік застосованих гармонізованих стандартів або опис інших рішень, використаних для виконання вимог ШІ Акта, та копію декларації ЄС про відповідність.

Окрім того, документування продовжується і після виходу системи на ринок. Технічна документація має містити опис системи оцінювання її ефективності на цьому етапі, зокрема план післяринкового моніторингу.

А що зі строками зберігання?

Важливе значення має і строк зберігання документації. Відповідно до статті 18 ШІ Акта протягом десяти років після введення системи ШІ високого ризику в обіг або експлуатацію провайдер повинен зберігати технічну документацію та матеріали, що стосуються системи управління якістю, і забезпечувати їх доступність для національних компетентних органів. У відповідних випадках ця вимога також охоплює відомості про зміни, погоджені органами з оцінки відповідності, а також рішення та інші видані ними документи. Протягом цього ж строку провайдер повинен зберігати декларацію ЄС про відповідність.

Технічна документація для моделей ШІ загального призначення

Окремі вимоги до технічної документації ШІ Акт встановлює для моделей ШІ загального призначення. Відповідно до статті 53 ШІ Акта провайдер такої моделі повинен скласти та підтримувати в актуальному стані її технічну документацію, зокрема щодо процесів навчання і тестування та результатів оцінювання моделі. На запит ця документація має надаватися Офісу ШІ (Європейське управління зі штучного інтелекту, яке забезпечує реалізацію ШІ Акта) та національним компетентним органам.

Обов’язок документування та зберігання: чи для всіх?

Водночас цей обов’язок не поширюється на провайдерів моделей ШІ, випущених за вільною та відкритою ліцензією, яка дозволяє доступ до моделі, її використання, модифікацію та поширення, якщо параметри моделі, включно з її ваговими коефіцієнтами, а також інформація про архітектуру та використання моделі є загальнодоступними. Цей виняток не застосовується до моделей ШІ загального призначення зі системним ризиком.

На відміну від систем ШІ високого ризику, для моделей ШІ загального призначення ШІ Акт не встановлює єдиного строку зберігання технічної документації.

Для провайдерів, заснованих за межами ЄС, діє окреме правило: їх уповноважений представник у ЄС повинен зберігати копію такої документації протягом десяти років після введення моделі в обіг.

Який мінімум треба розкрити в техдокументації до ШІ-моделі загального призначення?

Мінімальний зміст технічної документації визначає Додаток XI, водночас обсяг інформації має відповідати розміру та профілю ризику конкретної моделі.

Передусім документація повинна містити загальний опис моделі. Зокрема, необхідно зазначити завдання, для виконання яких вона призначена, типи систем ШІ, до яких вона може бути інтегрована, правила допустимого використання, дату випуску та способи поширення. Також документуються архітектура і кількість параметрів моделі, модальність та формати вхідних і вихідних даних, умови ліцензування.

Окрім того, документація має описувати методології й техніки навчання, ключові проєктні рішення та припущення, на яких ґрунтувалася розробка, цілі оптимізації моделі й значення відповідних параметрів. Також зазначаються технічні засоби, необхідні для інтеграції моделі в системи ШІ, використані для навчання обчислювальні ресурси, тривалість навчання та відоме або оцінене енергоспоживання моделі.

У контексті моделей ШІ загального призначення суттєва частина вимог до документації теж стосується використаних даних. Так, щодо даних, використаних для навчання, тестування та валідації моделі, документація має містити інформацію про їх тип і походження, обсяг та основні характеристики, способи отримання і відбору, а також застосовані методи обробки, зокрема очищення та фільтрації. У відповідних випадках також описуються заходи для виявлення непридатних джерел даних і методи виявлення упереджень.

Системний ризик: що це змінює?

Для моделей ШІ загального призначення із системним ризиком Додаток XI передбачає додаткові вимоги до документації. Провайдер має детально описати стратегії оцінювання моделі та результати такого оцінювання, зокрема використані критерії, показники та методологію виявлення обмежень моделі. У відповідних випадках документація також має містити детальний опис заходів, запроваджених для проведення внутрішнього та/або зовнішнього змагального тестування, зокрема тестування із залученням спеціалістів для цілеспрямованого пошуку вразливостей (red teaming), а також адаптації моделі, включно з її узгодженням (alignment) і донавчанням (fine-tuning). Крім того, де це застосовно, необхідно розгорнуто описати архітектуру системи та пояснити, як її програмні компоненти взаємодіють між собою та інтегруються в загальний процес обробки.

Model Cards та Datasheets for Datasets: співвідношення із вимогами ШІ Акта

Слід наголосити, що ШІ Акт не вимагає оформлювати технічну документацію саме у вигляді карток моделей (Model Cards) чи паспортів наборів даних (Datasheets for Datasets). Водночас їх зміст значною мірою перетинається з вимогами Регламенту. Так, картки моделей допомагають структурувати інформацію про призначення, можливості й обмеження моделі, її тестування та оцінювання, а паспорти наборів даних, своєю чергою, систематизують відомості про походження і характеристики даних, способи їх отримання, відбору та підготовки. Тож такі документи цілком можуть слугувати практичними інструментами для організації частини інформації, необхідної для виконання вимог ШІ Акта. Однак самих лише карток моделей та паспортів наборів даних недостатньо для виконання всіх вимог Регламенту, оскільки технічна документація, яку вимагає ШІ Акт, охоплює значно ширше коло інформації про системи та моделі ШІ, процеси, пов’язані з їх розробкою, оцінюванням і використанням.