Что ИИ делает хорошо, а что плохо

и почему по его тону этого не определить

Что это

У ИИ есть сильные и слабые места, и они довольно предсказуемы. Знать их важнее, чем кажется: половина разочарований возникает от того, что задачу дали не в ту сторону.

Но главное в этой статье другое. Тон ответа не зависит от того, насколько ИИ прав. Он одинаково уверенно пишет типовую функцию, которую видел тысячу раз, и выдумывает метод библиотеки, которого не существует.

Как выглядит в коде

Где ИИ силён

Общее у всего списка: задача распространённая, правильный ответ один, и проверить его легко.

Где ИИ слаб

Почему уверенность не помогает

ИИ не сообщает, что он не уверен, — ни тоном, ни оговорками. Ответ про библиотеку, которую он знает назубок, и ответ про библиотеку, которую он видел дважды, звучат одинаково.

Отсюда практическое следствие: степень проверки определяешь ты, по характеру задачи, а не по тому, насколько убедительно звучит ответ.

Как сказать ИИ

Уверенность можно вытащить прямым вопросом — на него ИИ отвечает честнее, чем подразумевает тоном:

Насколько ты уверен в этом коде? Отдельно скажи, какие места
ты бы проверил в первую очередь и почему.

Для незнакомой библиотеки стоит спросить прямо:

Ты уверен, что метод session.fetch_all() существует
в aiohttp 3.9? Если не уверен — скажи, и я проверю
в документации.

Такая формулировка работает: прямо разрешив сказать «не уверен», ты получаешь гораздо более честный ответ, чем если спросить «этот метод существует?».

На что смотреть

Чем специфичнее задача, тем внимательнее читай. Типовой код можно просмотреть по диагонали; код для редкой библиотеки — построчно.

Уверенный тон на редкой теме — повод насторожиться, а не расслабиться.

«Это распространённая практика» — не аргумент. Распространённая где? В твоём проекте может быть иначе, и ИИ об этом не знает.

Задача на компромисс отдана ИИ. «Что лучше — SQLite или Postgres?» без указания твоих условий даст средний ответ, а не твой.

Шпаргалка