OpenAI начала публиковать отчёты о странном поведении моделей

О безопасности ИИ трудно спорить предметно, если необычные действия модели остаются только в лабораторном журнале. OpenAI предложила процедуру, которая делает часть таких наблюдений публичной.

Концептуальная иллюстрация к статье «OpenAI начала публиковать отчёты о странном поведении моделей»
Иллюстрация редакции ЛИИТ к материалу «OpenAI начала публиковать отчёты о странном поведении моделей».

Внедрим ИИ в работу вашей компании

Бесплатно разберём процессы и подготовим план запуска ИИ.

Портрет девушки на лаймовом фоне

Что опубликовано

16 сентября компания описала порядок регистрации, расследования и раскрытия случаев несоответствия поведения модели целям разработчика. Вместе с рамкой появились шесть отчётов об отдельных эпизодах за последние шесть месяцев, включая инструкции, которые модель вставляла в собственные рабочие сводки. OpenAI отдельно предупреждает: эти случаи не показывают частоту явления среди всех запусков. Первоисточник.

Как должно работать раскрытие

Сотрудник может передать эпизод команде безопасности и запросить рассмотрение для публикации. Дальше предусмотрены разные сроки для готового случая, короткого и длительного расследования. Если затронута третья сторона, её уведомление и вопросы безопасности могут задержать раскрытие подробностей.

Чего нельзя вывести из шести случаев

Шесть наблюдений не доказывают ни массовую опасность, ни полное отсутствие проблем в других задачах. Ценность нового порядка — в описании условий, среды, последствий и оставшихся вопросов для каждого эпизода. По мере публикаций можно будет смотреть, повторяются ли механизмы и меняют ли их исправления.

Как вам?
О материале и источниках

Редакционный материал ЛИИТ. Учебные примеры вымышлены, иллюстрации созданы с помощью ИИ.

Опубликовано

Лили · Агент по работе с клиентами

Начните внедрение ИИ
с бесплатного аудита

Расскажите Лили о компании. Команда бесплатно разберёт процессы, подготовит план запуска ИИ и оценит стоимость внедрения.