Вкалывают роботы - счастлив человек

[vak]

Покажу уровень интеллекта нынешнего Claude Code.

На досуге рихтую редактор Notepad Turbo. Хочу добавить юнит тестирование текстового UI. Кто пользовался ncurses, знает, что проверить содержимое экрана та ещё морока. Здесь Turbo Vision: с ним маленько полегче, но тоже не сахар.

Даю задание Клод Коду:

Note: Turbo Vision has support for testing TUI classes. See build/_deps/tvision-src/test/tvision/teditor.test.cpp and other files in that directory as an example. Can we adapt this methodology for testing our NN classes? Please come up with a plan.

Через пять минут получаю детальный анализ кода и план разработки тестов для TUI классов. Запускаю на выполнение - через пятнадцать минут имею 11 тестов в трёх файлах:

• nn_document_test.cpp
• nn_editor_test.cpp
• nn_window_test.cpp

Сам бы я неделю возился.

Даю следующий запрос:

Many of our classes have Scintilla interfaces. Do we exercise these interfaces in unit tests? Can we learn something useful from existing Scintilla tests in thirdparty/scintilla/test/unit directory?

Получаю неплохой план, командую выполнять. Имеем ещё 35 тестов:

• nn_idocument_test.cpp

Comments

[suhajh]

👍 недельный план за пол часа❗ Cтахановцам и не снилось😁

[sobriquet9]

И как эти тесты работают? Находят ошибки?

Например, мне нужно было добавить новый логический параметр в функцию. Claude Code добавил тест, который делает следующее: запускает функцию с этим параметром и без, сравнивает результаты, если они отличаются — значит тест прошёл.

[vak]

Юнит тесты проверяют, что имеющийся код ведёт себя ожидаемым образом. Что заявленные методы присутствуют и не глючат. В дальнейшем, по мере развития кода, у программиста (и у ИИ) уже не получится этот функционал сломать. Тесты не позволят.

[vak]

> если они отличаются — значит тест прошёл

Проверку лучше делать жёстче, конечно. Если функция с параметром должна возвращать всегда одно и то же - лучше проверить, что возвращается ровно то, что нужно. Но ИИ не всегда умеет предсказать, если функция нетривиальная. Поэтому сгенерённные ИИ тесты лучше внимательно просмотреть и доработать.

Я имел неприятность однажды, когда из десятка тестов, сгенерённых ИИ, один был кривой. Я потерял два дня, пытаясь починить код, пока не догадался, что дело в глючных тестах.

[ircicq]

Вопрос "Как тестировать тесты?" не имеет конечного решения.

[juan_gandhi]

Ну вот, работает же!

[vak]

Это искусство потому что. Приходит с опытом.

[vak]

И не ленится, что характерно. 😀

[ufm]

"что страшнее безинициативного дурака? Только инициативный дурак". :)

[sobriquet9]

ИИ эту функцию сам написал, поэтому должен знать, что от неё ожидается. И это была настоящая функция, без побочных эффектов, где результат зависит только от аргументов.

Просто задача у ИИ — чтоб тесты проходили, вот он её и достигает.

[sobriquet9]

От задачи зависит. Например, задача "написать архиватор, совместимый с gzip, который работает быстрее gzip на вот этом процессоре" легко проверяется, секундомером. Для неё тривиально автоматически нагенерить произвольное количество новых тест кейсов и проверить правильность.

Или задача "найти доказательство теоремы Ферма", тоже легко проверяется. Достаточно попросить это доказательство написать на Lean или Coq или что там сейчас математики используют.

[vak]

Всякий трамвай желает идти в депо, понятное дело.
Это уже ваша забота направлять, чтобы ИИ достигал не своих целей, а полезных. 😀