[MikroAcse]

Слушатели не "слушают" ничего каждый кадр.
Они просто посредники между двумя классами.

А удаляют их потому, что GC не может удалить ненужный объект из памяти, если к нему привязан слушатель.
Как, в принципе, и говорили выше.