[Котяра]

Во-первых, нужно разбираться в предметной области задачи. Если задача на графы - читаем теорию графов.
Если геометрическая задача - учим геометрию и тригонометрию.
Ну и так далее.
Если сложности именно в оптимизации алгоритмов - читаем Кнута - "Искусство программирования" )