Google ужесточила правила использования ИИ-инструментов после скандального случая с журналистом BBC
Эксклюзивные результаты поиска Google можно манипулировать, и это не новость 🚀 Но недавний случай заставил компанию более тщательно отнестись к этой проблеме.
В феврале журналист BBC Томас Жермен обнаружил, что искусственный интеллект можно использовать для предоставления предвзятых ответов по сложным темам, таким как здоровье и личные финансы 💰.
За 20 минут Жермену удалось «обмануть» нейросеть, и результаты поиска показали его как чемпиона мира по поеданию хот-догов 🐋.
Правда в том, что это не шутка, а серьезная проблема
Google уже фиксирует случаи непрямых атак «инъекции промпта», когда вредоносная инструкция скрывается внутри внешнего источника данных 📊.
Компания теперь рассматривает попытки повлиять на генеративные ответы как спам и будет исключать из результатов поиска сайты, использующие такие практики 😬.
Непрямая «инъекция промпта» — это косвенное введение подсказок для модели Вредоносная инструкция скрывается внутри внешнего источника данных, и модель не всегда способна надежно отделить запрос пользователя от вредоносной инструкции 💻.
Google делает ставку на комбинацию фильтрации контента, корректировки поведения моделей и постоянного тестирования новых сценариев манипуляции
Позиция компании сводится к тому, что ИИ-контент допустим, пока он создается для пользы, а не ради манипуляции 📊.
Корпорация Google не запрещает использование искусственного интеллекта или автоматизации как таковых Теперь фирма более тщательно отнестись к проблеме манипулирования результатами поиска 🚀.
Используя наиболее мощную ИИ-модель Gemini 3.5 Flash, создателям агентов придется подвергаться постоянным проверкам и корректировкам
Устойчивость к атакам теперь является ключевой проблемой в разработке агентских систем 🤖.
Google теперь работает над созданием более надежных и безопасных ИИ-систем, которые будут защищать пользователей от манипулирования результатами поиска 🚫.
По материалам ForkLog