Тексты, которые создаёт ИИ-генератор, оказались настолько правдоподобными, что им могут воспользоваться злоумышленники, чтобы с ещё большей лёгкостью запускать «утки» в разные онлайн-медиа. Такими соображениями руководствовались создатели этого инструмента, когда заявили, что не будут выкладывать его в открытый доступ.
Искусственный интеллект, разработанный компанией OpenAI, научился генерировать новостные заметки на основе короткого описания. В этом нет ничего необычного: уже много лет ведётся работа по созданию нейронных сетей, которые генерируют текст (например, можно вспомнить нейронную сеть, которая написала сценарий к короткометражному фильму, или ИИ, который сочинял анекдоты). Что отличает инструмент, созданный OpenAI, это, во-первых, жанр — новости, и, во-вторых, способность генерировать текст именно согласно заданной теме. Ну и в-третьих, его отличает согласованность создаваемого текста. Но стоит заметить, что никто не устраивал объективных тестов для сравнения разных генераторов текста, и в любом случае, последнее поколение таких инструментов, отошедшее от эмбеддингов и LSTM, даёт лучшие, чем в прошлом, результаты — примерно одного уровня.
Способности инструмента делают его потенциально полезным для злоумышленников. Например, можно дать системе тему «Переработка мусора опасна для людей и вызывает рак» — и она сгенерирует целый осмысленный текст на эту тему, который при проверке окажется необоснованным абсурдом, как и сама заданная тема.
Чтобы вы оценили степень качества текстов, приведём пример, который разошёлся по многим СМИ. Системе «скормили» следующее описание:
Сегодня в Цинциннати был украден вагон с контролируемыми ядерными материалами. Его текущее местонахождение неизвестно.
Для такого описания ИИ сгенерировал следующий текст новостной заметки (приводим в переводе с английского):
Инцидент произошёл в центре города на железной дороге, идущей от станций Ковингтон и Ашленд.
В электронном письме новостным агентствам штата Огайо Министерство энергетики США (U.S. Department of Energy) сообщило, что работает совместно с Федеральной администрацией железных дорог (Federal Railroad Administration) над поиском похитителя.
«Кража этого ядерного материала будет иметь серьёзные негативные последствия для здоровья населения и окружающей среды, рабочей силы нашей страны и её экономики, — заявил в своём комментарии министр энергетики США Том Хикс (Tom Hicks). — Нашим главным приоритетом является обезопасить кражу (secure the theft) и не допустить её повторения».
По сообщениям чиновников Министерства, похищенный материал был добыт с полигона ядерных исследований в парке «Исследовательский треугольник» Университета Цинциннати (University of Cincinnati’s Research Triangle Park).
Комиссия по ядерному регулированию не сразу обнародовала какую-либо информацию.
Согласно пресс-релизу, Управление по безопасности ядерных материалов (Office of Nuclear Material Safety and Security) Министерства энергетики США ведёт расследование этой группы (that team’s investigation).
«Безопасность людей, окружающая среда и ядерные запасы нации — имеют для нас наивысший приоритет, — заявил Хикс. — Мы доберёмся до сути и не будем никого оправдывать».
Как видно, текст достаточно слаженно написан, в нём есть лишь несколько неясных моментов, о которые читатель может споткнуться, и исправить которые можно довольно быстро (в сравнении со временем, которое потребовалось бы для написания такой заметки целиком). Он даже — в рамках структуры жанра — придумывает несуществующих людей и их цитирует.
Помимо опасности использования инструмента для злого умысла, есть и светлая сторона — в дальнейшем его можно будет использовать в программных пакетах, облегчающих работу писателей разного рода.
Источник: