RSS Блог "След бит"
Подписаться
Могут ли чат-боты создавать правильный код?
Автор, размышляя о саммите разработчиков кода на основе ИИ, ставит под сомнение оптимистичное видение замены разработчиков искусственным интеллектом. Они утверждают, что большие языковые модели (LLM), в отличие от компиляторов, не обладают детерминизмом, критическим свойством для корректности программного обеспечения. Компиляторы обеспечивают семантическое сохранение, гарантируя, что смысл кода остается неизменным во время преобразования, в то время как LLM по своей природе недетерминированы. Отсутствие гарантированного вывода создает риски для безопасности и корректности. Автор подчеркивает неоднозначность запросов на естественном языке. Пример показывает, как LLM "исправила" код, но внесла ошибки, неправильно поняв контекст. LLM испытывают трудности с устаревшими кодовыми базами из-за контекстных сложностей, недокументированных API и исторических ограничений, выходящих за рамки их понимания. Они предполагают, что LLM преуспевают в выполнении базовых задач, но испытывают трудности со сложными, устоявшимися системами, что потенциально может привести к неверным и вредоносным результатам. Автор подчеркивает, что понимание детерминированной природы компиляторов и вероятностных результатов LLM очень важно. Это критически важно для оценки достоверности и безопасности сгенерированного кода. Аргумент автора заключается в том, что LLM уверенно предоставляют неверные решения, когда им не хватает адекватной исторической и контекстной информации.
