[wvxvw]

Если уж использовали forEach() / sortOn(), так уж точно было бы лучше использовать filter() всяко быстрее было бы.
Только, мне кажется, что лучше построить добавление и удаление так, чтобы дубликаты не добавлялись - это будет гораздо менее затратно, да и по логике более очевидно.
EDIT: indexOf - такой же цикл.
Кроме того, он сравнивает ссылки на объекты а не значения их свойств. Т.е. из того, как я понял задание, new Point(100, 500) и { x : 100, y : 500 } в данном контексте считаются одинаковыми.