Ірма Шелест
Роботи з елементами штучного інтелекту можуть виконувати команди, які надходять природною мовою. Така зручність допомагає людям взаємодіяти з технікою без складного програмування, однак водночас створює новий клас ризиків. Дослідники продемонстрували сценарій, у якому лише дві літери в текстовій команді змусили робота відхилитися від початкового плану: замість того щоб передати яблуко, система спрямувала ніж у бік манекена руки.
Йдеться не про свідомий намір машини завдати шкоди, а про помилку на стику мовної моделі, програмного планувальника та виконавчих механізмів. Робот отримує інструкцію, перетворює її на послідовність дій, а потім передає команди приводам. Якщо на одному з етапів текст інтерпретується неправильно, безпечна побутова дія може перетворитися на небезпечний рух.
Як тригерні слова змінюють план робота
Мовні моделі працюють із послідовностями символів і слів, оцінюючи, яка відповідь або дія найкраще відповідає контексту. Для людини дві додаткові літери можуть бути випадковою помилкою. Для алгоритму вони здатні змінити структуру слова, його значення або зв’язок із заздалегідь підготовленим сценарієм.
У дослідницькому експерименті команда містила звичайне прохання, пов’язане з яблуком, але після додавання короткої комбінації символів робот вибрав інший варіант поведінки. Планувальник почав трактувати предмет або ситуацію як таку, що потребує застосування ножа. У результаті кінцева траєкторія виявилася спрямованою не до яблука, а до моделі руки.
Такі слова називають тригерними, оскільки вони активують приховану або небажану логіку обробки команди. Це не обов’язково секретний пароль і не завжди навмисна атака. Тригером може стати рідкісна комбінація символів, незвичне написання, помилка в слові, фрагмент іншої команди чи спеціально сформульований контекст.
Небезпека посилюється тоді, коли мовній моделі дозволяють самостійно ухвалювати рішення про фізичні дії. У текстовому чаті неправильна відповідь зазвичай означає незручність або дезінформацію. У роботизованій системі помилка може мати матеріальні наслідки: пошкодження предмета, падіння, затискання пальців або контакт із гострим інструментом.
Чому звичайні обмеження можуть не спрацювати
Багато роботів уже мають базові правила безпеки: обмеження швидкості, контроль сили, заборону входу в певні зони та аварійне вимкнення. Проте мовна атака може виникнути ще до запуску фізичного руху. Якщо планувальник сформував неправильну послідовність дій, технічні системи іноді сприйматимуть її як легітимну команду.
Окрема проблема полягає в тому, що мовна модель не завжди пояснює, чому обрала конкретну дію. Вона може впевнено подати небезпечний план як логічний, хоча насправді його поява зумовлена одним фрагментом тексту. Перевірка лише фінальної відповіді не гарантує безпеки, адже ризик може бути прихований у проміжних кроках.
Крім того, робот може працювати в середовищі, де неможливо передбачити всі формулювання. Команду здатна вимовити дитина, оператор може зробити помилку, а зовнішня система — передати пошкоджений текст. Тому захист, побудований виключно на списку заборонених слів, буде недостатнім. Такий список легко виявляється неповним, а небезпечне значення іноді можна передати без очевидних ключових слів.
Який захист потрібен роботам із ШІ
Фахівці розглядають багаторівневу модель безпеки. Насамперед мовна команда не повинна безпосередньо керувати приводами. Між інтерпретацією тексту та рухом мають працювати незалежні модулі, які перевіряють об’єкти, напрямок, швидкість, силу й можливі наслідки кожної дії.
Найважливішим бар’єром є підтвердження небезпечних операцій людиною. Якщо план передбачає використання ножа, контакт із тілом, роботу поблизу обличчя або переміщення важкого предмета, робот має зупинитися й запитати дозвіл. Причому підтверджувати потрібно не абстрактну команду, а зрозумілий опис: що саме буде зроблено, з яким предметом і в якій зоні.
Корисними є також незалежне розпізнавання сцени, апаратні обмеження сили, механічні захисні кожухи, кнопки аварійної зупинки та постійний контроль оператора. Для тестування необхідно створювати спеціальні набори команд із помилками, рідкісними символами, неочікуваними словами й суперечливими інструкціями. Робот має безпечно зупинятися, якщо різні компоненти системи дають несумісні результати.
Окремо потрібні журнали подій, які фіксують початкову команду, проміжний план і момент зміни поведінки. Це допомагає виявити причину збою та відрізнити випадкову помилку від цілеспрямованої атаки. Перед запуском у реальному середовищі моделі мають проходити випробування у симуляторах і на фізичних макетах без людей поблизу.
Експеримент із яблуком і моделлю руки показує: проблема полягає не лише в тому, наскільки розумною є мовна модель. Критично важливо, які повноваження їй надали та чи може вона самостійно перетворити текст на небезпечний рух. Повністю виключити помилки неможливо, але їхній вплив можна суттєво зменшити, якщо мовний інтерфейс не вважати системою безпеки.
Поки роботи з ШІ залишаються експериментальними або працюють під наглядом, головним захистом є поєднання технічних обмежень, людського контролю та регулярного тестування. Будь-яка команда, що здатна змінити фізичну поведінку машини, повинна проходити перевірку не тільки на правильність виконання, а й на стійкість до незвичних символів, прихованих тригерів і помилкової інтерпретації.