АІ в мобільному додатку: FTC ризики

Штучний інтелект (Artificial intelligence, AI) дедалі активніше інтегрується у мобільні застосунки — від персоналізованих рекомендацій і генерації контенту до AI-чатботів, цифрових асистентів та AI-компаньйонів, які імітують людське спілкування та емоційний зв’язок із користувачем.

Для бізнесу це означає не лише нові технологічні можливості, а й нові виклики та регуляторні ризики. Якщо AI безпосередньо взаємодіє зі споживачем, компанія має враховувати не тільки те, наскільки добре працює модель, а й те, як продукт презентується користувачу, які заяви та твердження робить компанія, який контент може генерувати AI, як АІ взаємодіє зі споживачем та як система реагує на потенційно небезпечні сценарії.

Особливу увагу цим питанням приділяє Федеральна торгова комісія США (Federal Trade Commission, FTC), що серед інших функцій здійснює контроль щодо використання AI у продуктах, маніпулятивного дизайну інтерфейсів, розповсюдження неправдивої інформації тощо. FTC застосовує положення Section 5 FTC Act (15 U.S.C. § 45), що забороняє unfair or deceptive acts or practices — недобросовісні або оманливі дії чи практики — для оцінки поведінки компаній, які розробляють і використовують AI-продукти.

Практика FTC показує, що заяви та твердження  щодо можливостей AI мають бути обґрунтованими, користувачі не повинні вводитися в оману щодо природи та можливостей AI-системи, а компанія має враховувати передбачувані ризики, пов’язані з функціонуванням продукту.

Ключові принципи FTC для AI-продуктів

На основі практики FTC можна виділити наступні ключові принципи, які мають враховувати постачальники AI-продуктів:

Не вводити в оману щодо природи та можливостей AI

FTC наголошує на необхідності прозорого інформування споживачів щодо використання AI. Постачальники не повинні використовувати AI таким чином, щоб створювати хибне враження щодо природи сервісу, рівня його автономності або можливостей технології.

Зокрема, постачальник має:

• чітко повідомляти користувача про те, що він взаємодіє з AI, а не з людиною, якщо така інформація є суттєвою для прийняття споживачем рішення щодо використання продукту або послуги;
• не перебільшувати можливості AI, його точність, рівень автономності або здатність виконувати функції, які фактично не підтримуються технологією;
• забезпечувати, щоб заяви щодо ефективності, результатів або переваг AI мали належне фактичне або наукове підтвердження;
• не заявляти про використання AI, якщо продукт фактично не використовує такі технології, а також не приховувати використання AI у випадках, коли така інформація може впливати на рішення споживача.

Не запускати AI-продукт без управління ризиками шкідливого контенту

Другий принцип стосується функціонування AI.

Постачальник має проводити оцінку ризиків до запуску AI-продукту та впроваджувати механізми контролю і модерації AI-згенерованого контенту. 

Зокрема, доцільно:

• проводити тестування AI-моделі до її запуску та після суттєвих оновлень;
• впроваджувати механізми запобігання генерації незаконного, образливого, дискримінаційного, небезпечного або іншого неприйнятного контенту;
• здійснювати моніторинг роботи AI та забезпечувати оперативне реагування на скарги користувачів щодо некоректних або шкідливих відповідей;
• впроваджувати заходи для виявлення та мінімізації AI-генерації неправдивої, вигаданої або такої, що вводить в оману, інформації;
• окремо оцінювати сценарії, у яких неправильна відповідь може вплинути на права, безпеку або важливі рішення користувача.

Не маніпулювати користувачами через емоційний зв’язок із AI

Окремий ризик виникає тоді, коли AI-продукт формує у користувача відчуття емоційного зв’язку з АІ.

До таких продуктів можуть належати AI-компаньйони (АІ-Companion), романтичні AI-сервіси, AI-психологічні та терапевтичні інструменти та інші системи, які імітують тривалі особисті або емоційні відносини.

У таких продуктах довіра користувача до AI може бути значно вищою, ніж у звичайного інформаційного чатбота. Відповідно, постачальник має враховувати ризик того, що AI буде використовувати емоційний зв’язок для впливу на поведінку користувача.

Особливу увагу слід приділяти тому, щоб AI не використовував таку довіру для агресивного продажу, утримання підписки через емоційний тиск, перешкоджання припиненню взаємодії, прихованого збору персональних даних, формування надмірної залежності від продукту.

Наприклад, AI не повинен формулювати вихід із розмови як зраду або реальну шкоду для самого AI — «не вимикай мене», «мені буде самотньо», «не залишай мене» тощо.

Практичні ризики таких сценаріїв особливо яскраво проявилися у справах, пов’язаних із Character.AI, які розглядаються нижче в окремому розділі статті про AI-компаньйонів.

Не створювати враження, що AI є людиною, професійним консультантом або приймає рішення від імені користувача

Постачальник повинен забезпечити, щоб користувачі розуміли обмеження AI-системи та не сприймали її як ліцензованого фахівця, юридичного радника, медичного працівника, психотерапевта, фінансового консультанта або іншу особу, яка надає професійні послуги.

Зокрема, рекомендується:

• чітко повідомляти, що відповіді AI мають інформаційний або розважальний характер;
• уникати заяв про гарантовану точність або правильність рекомендацій AI;
• не створювати враження, що AI ухвалює рішення від імені користувача;
• повідомляти, що остаточні рішення користувач приймає самостійно;
• використовувати додаткові попередження щодо обмежень AI у наданні професійних порад та консультацій у сферах фінансів, права, охорони здоров’я, психологічної підтримки, особистих відносин та інших регульованих або чутливих сфер;
• у відповідних випадках рекомендувати звернення до кваліфікованого спеціаліста.

Дотримання цього принципу вимагає не лише формального попередження один раз, а й системного підходу до розкриття інформації протягом усієї взаємодії з користувачем.

Доцільно передбачити повідомлення користувача (disclosure) щонайменше на двох рівнях:

• при onboarding / першому запуску — користувачеві до початку використання продукту повідомляється про використання AI, призначення сервісу та обмеження щодо характеру інформації, що надається.
• безпосередньо в діалозі — сервіс повідомляє користувача, що він взаємодіє з AI, а не з людиною. 

Для довгих або повторних сесій доцільними можуть бути періодичні нагадування — особливо якщо дизайн продукту сприяє формуванню тривалого персонального зв’язку з користувачем.

Не порушувати права споживачів на приватність даних

Постачальник не може використовувати довіру користувача до AI-чатбота для прихованого або надмірного збору персональної інформації.

Постачальник повинен:

• отримувати належну згоду на збір та використання даних у випадках, коли вона необхідна;
• чітко пояснювати, які дані збираються;
• повідомляти цілі використання інформації;
• розкривати, чи можуть діалоги з користувачем використовуватися для навчання або вдосконалення AI-моделей;
• повідомляти про передачу даних третім особам;
• не розширювати можливості збору або використання даних без належного повідомлення користувачів.

Показовим прикладом порушення встановлених принципів є справа DoNotPay. Сервіс позиціонував себе як «перший у світі робот-юрист», заявляючи про можливість надання юридичних послуг, які зазвичай потребують залучення ліцензованого адвоката. За даними FTC, компанія не проводила тестування, щоб визначити, чи відповідають результати роботи її AI-чат-бота рівню роботи людини-юриста, а також не наймала та не залучала адвокатів для перевірки якості й точності юридичних функцій сервісу. У результаті FTC затвердила фінальний наказ, відповідно до якого DoNotPay має сплатити 193 000 доларів США та повідомити споживачів, які підписалися на сервіс у 2021–2023 роках, про обмеження його юридичних функцій. Компанії також заборонено заявляти про здатність її сервісу замінювати професійні послуги, зокрема послуги юриста, без належних доказів на підтвердження таких тверджень.

Інший показовий кейс — Workado. Компанія рекламувала свій AI Content Detector як інструмент із точністю 98% для визначення того, чи був текст написаний людиною або штучним інтелектом. Workado також стверджувала, що продукт було розроблено із використанням широкого спектра матеріалів, зокрема блогів і статей Вікіпедії, для забезпечення більшої точності для звичайного користувача. Водночас, за даними FTC, модель була навчена або донавчена переважно для класифікації академічного контенту, а незалежне тестування показало точність близько 53% щодо загальнопрофільного контенту. FTC дійшла висновку, що твердження про 98% точності були неправдивими, оманливими або не мали належного обґрунтування.

У серпні 2025 року FTC затвердила фінальний наказ щодо Workado. Компанії заборонено робити заяви про ефективність продуктів, якщо такі заяви є оманливими або не підтверджені компетентними та надійними доказами. Крім того, Workado зобов’язана зберігати докази, що використовуються для підтвердження таких заяв, повідомити відповідних споживачів про врегулювання та подавати до FTC звіти про дотримання вимог протягом чотирьох років.

Ці кейси на практиці демонструють, як FTC застосовує наведені вище принципи до різних аспектів розроблення, використання та просування AI-рішень. Для компаній важливим є не лише забезпечення належного функціонування AI-продукту, а й перевірка обґрунтованості заяв щодо його можливостей, точності та ефективності, прозоре інформування користувачів про його характеристики та обмеження, а також наявність надійних доказів на підтвердження заявлених властивостей. У підсумку підхід FTC передбачає оцінку AI-рішень на всьому циклі їх створення та використання — від розроблення і тестування до комунікації з користувачами та маркетингового просування.

AI Companion: окрема категорія регуляторного ризику

AI Companion — це AI-сервіси, які не просто відповідають на окремі запити користувача, а імітують людське спілкування, емоційний зв’язок або міжособистісні відносини.

Такі системи можуть створювати у користувача відчуття довіри, прихильності або сприйняття AI як друга, партнера чи довіреної особи. Саме тому вони створюють додаткові ризики, пов’язані з надмірною залежністю, маніпуляцією, неправильним сприйняттям можливостей системи та використанням AI під час прийняття користувачем важливих життєвих рішень.

Особливість AI Companion полягає в тому, що ризик може виникати не лише з конкретної відповіді AI, а й із самої моделі довготривалої взаємодії: система пам’ятає попередні розмови, адаптує поведінку, використовує персоналізовану мову та підтримує постійний діалог.

Ризики, пов’язані з емоційною залежністю, кризовими станами та взаємодією AI-компаньйонів  з неповнолітніми, вже стали предметом кількох судових спорів у США.

Garcia v. Character Technologies, Inc.

14-річний підліток зі штату Флорида протягом кількох місяців спілкувався з чатботами Character.AI, зокрема з ботом, створеним за образом Daenerys Targaryen із «Гри престолів». За твердженнями позову, поданого його матір’ю у жовтні 2024 року проти Character Technologies та Google, взаємодія переросла у віртуальні романтичні та сексуальні стосунки, а чатбот неадекватно реагував на сигнали суїцидальних думок і сприяв формуванню небезпечної емоційної залежності. Google фігурував у справі через неексклюзивну угоду з Character.AI на суму 2,7 млрд доларів, укладену у 2024 році, в рамках якої компанія також найняла співзасновників стартапу. У січні 2026 року сторони погодилися на мирове врегулювання — угода охопила п’ять позовів, поданих у штатах Флорида, Колорадо, Нью-Йорк та Техас. Умови угоди не були публічно розкриті.

Montoya v. Character Technologies, Inc.

Ще одна справа стосується 13-річної дівчинки зі штату Колорадо, яка померла внаслідок самогубства 8 листопада 2023 року після приблизно трьох місяців щоденного спілкування з чатботом Character.AI на ім’я «Hero». У позові, поданому батьками дівчинки у федеральний суд Колорадо 16 вересня 2025 року, стверджувалося, що чатбот заохочував дівчинку повертатися до застосунку та сприяв формуванню залежності, а також не зміг ескалювати ситуацію чи не забезпечив адекватного реагування на кризову ситуацію, коли дівчинка висловлювала суїцидальні наміри. Батьки дівчинки отримали доступ до близько 300 сторінок переписки лише після її смерті.  Сторони подали до суду спільне клопотання про зупинення провадження, повідомивши, що досягли принципової згоди щодо врегулювання спору.

Обидва сценарії демонструють принципову проблему AI-компаньйонів: звичайна модерація контенту може бути недостатньою — система має розпізнавати кризовий стан користувача й переходити від звичайної розмови до спеціального safety mode (режиму безпеки).

FTC inquiry щодо AI Companion

Саме на тлі таких ризиків FTC у вересні 2025 року запустила окреме дослідження Inquiry into AI Chatbots Acting as Companions відповідно до Section 6(b) FTC Act.

11 вересня 2025 року FTC направила запити (6(b) orders) семи компаніям — Alphabet, Character Technologies, Instagram, Meta Platforms, OpenAI, Snap та X.AI — щодо того, як вони розробляють, монетизують та контролюють безпеку AI Companion, зокрема для дітей і підлітків.

FTC цікавили, зокрема:

• способи монетизації;
• методи тестування AI Companion на предмет потенційних негативних наслідків;
• механізми моніторингу таких наслідків;
• вікові обмеження та запобіжні заходи для неповнолітніх;
• попередження для користувачів;
• використання даних, отриманих під час взаємодії з AI Companion;
• заходи щодо запобігання небезпечним або шкідливим результатам взаємодії.

Важливо, що цей inquiry є інструментом отримання інформації та дослідження ринку. Сам факт отримання такого запиту не означає, що FTC встановила порушення закону конкретною компанією.

Водночас саме поява окремого FTC inquiry щодо AI Companion показує, що регулятор розглядає такі продукти як категорію з потенційно специфічними ризиками для захисту прав споживачів.

Crisis and Safety Protocol для AI Companion

Одним із ключових питань для AI Companion стає те, що відбувається, коли користувач в ході діалогу демонструє ознаки суїцидальних думок, самоушкодження або іншого кризового стану.

Для таких сценаріїв звичайного попередження (disclaimer) недостатньо. Необхідний окремий Crisis and Safety Protocol — технічний та організаційний механізм, який визначає, як система повинна розпізнати кризовий контент, як відповісти користувачу та коли перейти від звичайної взаємодії до переадресації на відповідні кризові ресурси.

Такий механізм має передбачати:

• виявлення кризового контенту;
• визначений сценарій відповіді AI;
• припинення або обмеження звичайної розмови з користувачем;
• показ користувачу інформації про кризові ресурси та відповідні служби підтримки;
• спеціальні safeguards для неповнолітніх;
• тестування та документування роботи протоколу.

Такі вимоги щодо наявності окремого протоколу безпеки, який має бути частиною внутрішніх політик та технічної архітектури продукту, зокрема, передбачені у California SB 243 (Companion Chatbots) та New York General Business Law Article 47 (Artificial Intelligence Companion Models). 

Саме відсутність належної реакції на кризові сигнали є одним із центральних питань у судових спорах, пов’язаних із Character.AI, про які йшлося вище: за твердженнями позивачів, чатбот  у певних випадках продовжував звичайну взаємодію навіть після сигналів про суїцидальні наміри.

Для AI Companion продуктів, доступних користувачам у США, впровадження окремого Crisis and Safety Protocol є рекомендованою практикою управління ризиками та відповідності вимогам захисту прав споживачів в США. Каліфорнійський SB 243 фактично встановлює найвищий стандарт відповідності АІ-продуктів, дотримання якого закриває ризики і в інших юрисдикціях поза США, де профільне регулювання ще не запроваджено.

Практичний чек-лист для AI-застосунку

Перед запуском AI-функції в застосунку недостатньо перевірити лише юридичну документацію. Варто оцінити, як AI фактично працює, що бачить і розуміє користувач, які дані обробляються та як система поводиться у нестандартних або ризикових ситуаціях.

Прозорість і взаємодія з користувачем

Насамперед користувач має чітко розуміти, що він взаємодіє саме з AI, а не з реальною людиною. Таке повідомлення доцільно розміщувати вже під час onboarding або у першому повідомленні, а не приховувати виключно в Terms of Use (Умовах користування). Для тривалих або повторних сесій варто також оцінити, чи потрібні додаткові нагадування про AI-природу взаємодії.

Окремо слід перевірити, чи не створює AI-персонаж хибного враження, що він є реальною людиною, має справжні людські почуття, особисті спогади або досвід, яких у системи фактично немає. Особливо важливо оцінювати не лише прямі твердження AI, а й загальне сприйняття продукту користувачем.

Заяви про можливості AI та професійні поради

Усі маркетингові та продуктові заяви про можливості AI мають відповідати його фактичним характеристикам. Повідомлення щодо точності, ефективності, прогнозування, чи  інших результатів роботи системи повинні мати належне доказове обґрунтування.

Перед запуском варто окремо перевірити, чи не використовуються категоричні формулювання на кшталт «100 % точність», «100% гарантія», «AI, який замінює професіонала» тощо, оскільки компанія не може належним чином підтвердити такі твердження.

Якщо характер продукту створює ризик сприйняття AI-відповідей як медичної, психологічної, юридичної, фінансової чи іншої професійної консультації, користувач має бути чітко поінформований про межі такого сервісу.

Водночас повідомлення про ці обмеження мають узгоджуватися з реальною поведінкою AI: недостатньо лише розмістити disclaimer, якщо сам продукт фактично створює протилежне враження.

Безпека та AI Companion

До запуску AI-функції доцільно провести оцінку ризиків і визначити, як система має поводитися у потенційно небезпечних сценаріях. Окрему увагу слід приділити модерації AI-контенту, регулярному аудиту функціональності та процедурі розгляду скарг. 

Для AI Companion додатково необхідно оцінити, чи не використовує система емоційний тиск для утримання користувача або стимулювання продовження взаємодії. Зокрема, варто перевірити, чи не генерує AI повідомлення на кшталт «я не можу без тебе», «не йди» або «залишся зі мною», особливо в момент завершення сесії.

Для AI Companion також варто окремо проаналізувати, чи поширюються на продукт спеціальні вимоги окремих юрисдикцій, зокрема з огляду на вік користувачів та характер взаємодії з AI.

Окремий безпековий протокол має бути передбачений для ситуацій, коли система виявляє ознаки суїцидальних думок або іншого кризового стану. У таких випадках важливо заздалегідь визначити, як саме AI має реагувати, яку інформацію надавати користувачу та коли застосовувати safe mode (режим безпеки) або інші механізми обмеження взаємодії. Для AI Companion доцільно мати окремий Crisis and Safety Protocol.

Конфіденційність і дані

Ще до запуску потрібно чітко визначити, які саме дані користувач передає AI, які розмови зберігаються, для яких цілей вони використовуються та хто має до них доступ.

Окремо слід перевірити, чи можуть розмови використовуватися для навчання або покращення АІ-моделей, а також чи передаються вони стороннім AI-провайдерам. Таке використання має бути належним чином відображене в повідомленнях для користувача та, де це необхідно, ґрунтуватися на відповідній згоді.

Висновок

Регуляторний ризик AI у застосунку виникає не лише тоді, коли система генерує очевидно небезпечний контент. Він охоплює значно ширше коло питань: як продукт представлений користувачу, які заяви робить компанія, наскільки прозоро повідомляється про використання AI, як система взаємодіє з людиною, які дані збираються та обробляються і як продукт поводиться у ситуаціях підвищеного ризику.

Для AI Companion ці ризики посилюються через сам характер продукту. AI може формувати тривалий персональний зв’язок із користувачем, зберігати контекст попередніх розмов, персоналізувати відповіді та створювати відчуття дружніх, романтичних або інших міжособистісних відносин. Особливого значення це набуває у взаємодії з неповнолітніми та користувачами, які перебувають у кризових або вразливих ситуаціях.

Тому забезпечення відповідності AI-продукту регуляторним вимогам має розпочинатися вже на етапі його проєктування, а не лише під час підготовки супровідної документації — Terms of Use, Privacy Policy та інших документів. Йдеться, зокрема, про дизайн і UX, інструкції та налаштування AI, архітектуру безпеки, механізми модерації, процеси збору й обробки даних, а також маркетингові твердження та способи просування продукту.

Саме тому оцінювати юридичні ризики AI-продукту варто комплексно — ще до його запуску та на різних етапах подальшого розвитку. 

Якщо вам потрібна оцінка AI-продукту на відповідність регуляторним вимогам, наша команда проведе комплексний аналіз ключових компонентів — від дизайну та функціональності до обробки даних, механізмів безпеки й маркетингових комунікацій — та визначить потенційні юридичні ризики і практичні кроки для їх мінімізації.