Текст опубликован в личном блоге и его автор не имеет отношения к администрации сайта

Компания OpenAI провела работу по повышению способностей своих моделей создавать программное обеспечение на устаревших языках программирования и переносить уже существующий код в новые среды. Последние результаты показывают, что точность выполнения задач по миграции подобного ПО составляет 97,9%.

В результате компании смогут модернизировать устаревшие приложения, которые продолжают оставаться критически важными в их работе. Это могут быть банки и финансовые учреждения, где применяется написанный десятилетия назад код. Заменить его на более современный непросто, поскольку необходимо будет сохранять нынешние алгоритмы расчётов и бизнес-правила.

Согласно оценкам IBM, на языке COBOL сейчас работают более 40% систем онлайн-банкинга, 80% операций по кредитным картам (при личном присутствии клиента) и 95% транзакций в банкоматах. Fortran применяется в научных вычислениях, прогнозировании погоды и анализе безопасности ядерных реакторов. Обучающих материалов для них меньше, чем для современных языков, документация бывает неполной, а ключевые бизнес-правила могут быть зафиксированы только в самом исходном коде.

Изображение: Gemini

Всё это усложняет процесс миграции, поскольку переписанная программа может не выдавать ошибок, но результаты будут не совпадать с результатами первоначальной программы. В частности, в COBOL лишние десятичные знаки могут отбрасываться, если в программе явно не задано округление. Это может исказить результаты финансовых расчётов.

OpenAI провела тестирование, оценив умение моделей переносить существующие программы на языки C++, Java, Kotlin, Python или Rust, сохраняя при этом их исходную логику работы. Модель GPT-6.1 Sol продемонстрировала точность 86,6% при низком уровне «усилий на рассуждение». У более старой модели GPT-5.6 Sol этот показатель равен всего 5,4%. Если же использовать более высокий уровень «усилий на рассуждение», точность GPT-6.1 Sol достигла 97,9%.

Дополнительно OpenAI также протестировала свои модели с помощью бенчмарка MultiLangBench. Этот бенчмарк рассматривает способность ИИ создавать движок базы данных, совместимый с SQLite, используя 20 различных языков программирования. GPT-6 Astra выдала средний результат успешного прохождения тестов на уровне 87,4%. Показатель для языка Fortran вырос с 21,4% до 83,5%, а для Visual Basic — с 27,5% до 89,4%. Самым сложным языком остался COBOL, хотя результат Astra для него также повысился с 10,9% до 72,1%. Результаты этого тестирования указывают на требующие доработки области.