[AndrM]

В задаче требуется именно математическое решение.
Это или формула на выходе или некая функция,например:
InFigura=function(x,y,a,b,ygol){
//---???
if exist
return true
else
return false
}
//-----хотя бы для прямоугольника решить задачу
//-----в идеале иметь параметр figura - сюда передается описание фигуры
//----про hittest -тут все понятно