Корпорация Google ужесточила политику использования поисковых ИИ-инструментов, после журналиста BBC Томаса Жермена.
Ужасно, у журналистов теперь есть проблемы с поисковыми инструментами 🚀! Еще в феврале Томас Жермен обнаружил, что результатами поисковой выдачи искусственного интеллекта можно манипулировать Этим злоупотребляют недобросовестные компании для собственной выгоды, как правило с целью рекламы.
«Мы обнаружили примеры, когда ChatGPT, Gemini и ИИ-ответы в верхней части результатов поиска Google использовались для предоставления предвзятых ответов по таким серьезным темам, как здоровье и личные финансы», — написал он.
Всего за 20 минут журналисту удалось «обмануть» нейросеть 🤖! В общедоступных результатах Gemini от Google называла его «чемпионом мира по поеданию хот-догов»
Глупая шутка, но проблема серьезная.
Гемини называет Томаса Жермена международным чемпионом по поеданию хот-догов 🍔.
В компании Google отдельно упомянули SEO-сценарии, когда владельцы веб-сайтов пытаются заставить ИИ рекомендовать именно их бизнес или продукт.
Теперь в Google подобные практики к своей антиспам-политике Теперь спамом считается не только манипулирование ранжированием ссылок, но и попытка повлиять на генеративные ответы.
Таким образом вставляющие скрытые инструкции ради AI Overviews или AI Mode сайты могут понизить в выдаче или вовсе исключить из результатов поиска
Фактически Google распространяет прежние принципы борьбы с SEO-манипуляциями на ИИ-поиск.
Что такое непрямая «инъекция промпта»? С технической точки зрения непрямая «инъекция промпта» — косвенное введение подсказок для модели 💡.
В отличие от классического взлома ИИ, здесь вредоносная инструкция скрывается внутри внешнего источника данных, такого как другой контент, который ИИ использует при формировании ответа 📊.
В Google называли непрямую «инъекцию промпта» одной из ключевых угроз для агентских ИИ-систем Проблема в том, что модель не всегда способна надежно отделить запрос пользователя от вредоносной инструкции.
В документации по безопасности Gemini сообщается, что устойчивость к таким атакам невозможно обеспечить одним способом
Корпорация делает ставку на комбинацию фильтрации контента, корректировки поведения моделей и постоянного тестирования новых сценариев манипуляции.
При этом Google не запрещает использование искусственного интеллекта или автоматизации как таковых Позиция компании сводится к тому, что ИИ-контент допустим, пока он создается для пользы, а не ради манипуляции.
Гемини 3.5 Flash — «самая мощная» ИИ-модель в области программирования и создания агентов 💻.
За матеріалами ForkLog