Я имел в виду что-то немного другоe. Когда продукт более-менее готов, то происходят две вещи:
1. простых тестов не остается, тесты как правило подразумевают всю программу работающей.
2. очень жалко запускать тест после того, как все уже сделано, и логин, и загрузили все ресурсы, и какая-то часть программы отработала, и тут один ассерт - и начинай все по-новой.
Что я бы хотел / собираюсь сделать: чтобы тесты вместо того, чтобы фейлить напрямую, могли общаться с сервером, сообщая ему об ошибках / подозрительных ситуациях. Пример с тем же Люксором: шариком стреляем по другим шарикам, иногда получаем бонусный шарик, и баг проявляется в том, что если бонусным шариком попасть по самому первому из цепочки двигающихся шариков, то в зависимости от того, в какую сторону двигались шарики в это врема, вместо того, чтобы сбить их, бонусный шарик к ним цепляется и начинает себя вести как обычный шарик
Сорри за такие подробности.
Вобщем, после того, как это случилось, игра не падает, более того, еще несколько ходов, и этот баг исчезнет, никак не повлияв на игру. Баг очень сложно воспроизвести, т.как шарики выкатываются рандомально, у бота логика тоже не совсем прямолинейная, вобщем, ждать пока баг выпадет можно и час, и даже больше.
А теперь, предположим, у вас в коде два ассерта, которые как-то связаны с вашим предположением о том, как же должны себя вести шарики. И вдруг ваш код, после часа работы падает с первым ассертом, так и не дойдя до второго? - обидно, не?
Сейчас у меня просто примитивный скрипт на Питоне, который бежит на отдельном сервере, и которому я что-то рапортую из теста. Но хотелось бы все в одной коробке, чтобы и отчет сразу шел на нужный сервер, и вообще... интеграция