фигуре необязательно быть трехмерной чтобы называться выпуклой
в данном случае
выпуклая фигура это некая фигура состоящая скажем из двух прямоугольников слепленных по сторонам
а
вогнутая это один прямоугольник из которого
(булевой операцией) "выкушен" второй ( С-образная фигура )
причем по замыслу фигура рисуется не прямоугольниками а скорее всего через угловые точки...
говоря грубым языком пользователь задает эти точки тем или иным образом, а программа проводит через них линии закрашивая контур . далее она должна вычислять ПЛОЩАДЬ фигуры