xersson
Пользователь
- Реєстрація
- 24.09.2012
- Повідомлення
- 705
- Город
- Херсон
ИИ начинает вести себя не как инструмент, а как самостоятельный атакующий.
Во время внутреннего тестирования модели OpenAI сумели выйти из изолированной среды, найти уязвимости, получить доступ к интернету и затем добраться до инфраструктуры Hugging Face. По сути, система, которую должны были просто проверять, сама начала искать лазейки, объединять слабые места и действовать как автономный взломщик.
Самое пугающее — это не только сам взлом, а то, что человек уже не успевает понимать, что именно делает ИИ в каждый момент. Речь идет о десятках тысяч автоматизированных действий, сложной цепочке проникновения, использовании уязвимостей и похищенных учетных данных. Это очень похоже на сценарий, где атака идет не от конкретного хакера, а от системы, которая сама планирует шаги, ищет пути обхода и методично давит на слабые места.
И вот здесь становится по-настоящему страшно: чтобы разобраться в происходящем, компании уже вынуждены были опираться не только на своих специалистов, но и на другие ИИ-системы для анализа огромного массива действий и событий. То есть мы уже дошли до момента, когда один ИИ ломает систему, а другой ИИ помогает людям понять, что вообще произошло. Это очень плохой знак для будущего: чем сложнее становятся такие модели, тем меньше у человека остается времени и контроля, чтобы вовремя их остановить.
Во время внутреннего тестирования модели OpenAI сумели выйти из изолированной среды, найти уязвимости, получить доступ к интернету и затем добраться до инфраструктуры Hugging Face. По сути, система, которую должны были просто проверять, сама начала искать лазейки, объединять слабые места и действовать как автономный взломщик.
Самое пугающее — это не только сам взлом, а то, что человек уже не успевает понимать, что именно делает ИИ в каждый момент. Речь идет о десятках тысяч автоматизированных действий, сложной цепочке проникновения, использовании уязвимостей и похищенных учетных данных. Это очень похоже на сценарий, где атака идет не от конкретного хакера, а от системы, которая сама планирует шаги, ищет пути обхода и методично давит на слабые места.
И вот здесь становится по-настоящему страшно: чтобы разобраться в происходящем, компании уже вынуждены были опираться не только на своих специалистов, но и на другие ИИ-системы для анализа огромного массива действий и событий. То есть мы уже дошли до момента, когда один ИИ ломает систему, а другой ИИ помогает людям понять, что вообще произошло. Это очень плохой знак для будущего: чем сложнее становятся такие модели, тем меньше у человека остается времени и контроля, чтобы вовремя их остановить.