c GeForce ты качественно на бетакам врядли запишешь, а на vhs пофиг с чего писать.
Размер фильма в зависимости от твоего железа - pal 765х576 или 728х576. Частота 25 fps, но тебя это может не беспокоить - редкий мульт отрисован выше 12 fps. Если писать для эфира, то сжатие лучше не применять, в крайнем случае поток должен быть не меньше 10 mb/sec, а для vhs поток пофиг - все-равно качество сильно теряется. Видеоряд лучше обработать в adobe AfterEffects - первое что тебе нужно будет сделать, это вертикальный блюр с захватом одного соседнего пиксела по вертикали (горизонталь должна остаться четкой!), это нужно чтобы статичные горизонтальные контуры на экране не дрожали (в системе pal применяется интерлейсная развертка по полям-полукадрам). затем сделать экспорт в новый видеофайл с полями (fields). У полей есть порядок - сначала нечетные, потом четные. Ставь как больше нравится, но если движение на экране ТВ будет дергаться, порядок нужно будет поменять и пересчитать. Хотя проблем с полями у тебя возникнуть не должно.
Успехов!