[aQuestion]

попробуйте так:
1 нормаль к окружности (нх, ну) = (х/радиус, у/радиус)
2 касательная - нормаль под 90° - (-ну, нх)
3 проэкция скорости на касательную - (скорость скалярно на касательную) * (-ну, нх)
4 новая скорость = старая скорость - 2 * (старая скорость - проекция из 3)