[S-ed]

Вообще это делается проще.
1) Исходная картинка
2) Картинка со скруглениями всех углов
3) Применение к 2) маски полученной из 1) (для чб картинки - субстракт инверсии, по сути - удаление всех пикселей белого цвета первой картинки из пикселей второй картинки)