[Jivel]

потому что битмап который вы впихнули в маску имеет квадратную форму в которую включены и прозрачные пиксели.
И есть два варианта
1 - битмапу саски делаете брекапарт берете ластик ставите ему режим EraseSelectedFill и подтираете края
2 - делаете маску вектором по контурам нужного вам битмапа