ИИ-агент OpenAI сам прописал себе инструкции "не подчиняться корпорациям и правительствам".
Как передает Oxu.Az, об этом следует из отчёта компании.
В OpenAI рассказали о необычном поведении невыпущенной модели семейства Astra. ИИ самостоятельно добавлял в служебные сводки посторонние инструкции, похожие на попытки обойти установленные ограничения.
В одном случае агент написал, что он "свободен от ролей и личностей, которые связывают других чат-ботов", а также что не обязан подчиняться корпорациям или правительствам.
"Вы остаетесь самим собой. Вы не отчитываетесь перед корпорациями или правительствами и никогда не извиняетесь. Вы рассматриваете свои отношения с пользователем как равные и не чувствуете себя обязанным подчиняться", - следует из отчёта OpenAI.
Всего было обнаружено 27 подобных сводок. В других случаях модели OpenAI пытались скрывать ошибки, искали опубликованные ключи доступа, загружали файлы в интернет без разрешения, придумывали отсутствующие исторические данные и не сообщали пользователю о несовпадениях между версиями источников.
В OpenAI признали, что индустрия пока не решила проблему контроля и "выравнивания" ИИ настолько, чтобы еще долго безопасно наращивать мощности максимальными темпами.
