Заблуждения в оптимизации

[i.o.]

Но вот что меня немного удивило на этот раз, это то, что вектор не выдал какой-либо существенной разницы по сравнению с простым массивом на однотипных объектах.

Если память не изменяет - вектор быстрее на простых типах (инты, числа).
Еще попробуй Object заменить на простой кастомный класс. Тоже должно появится немного буста, потому что сейчас ты обращаешься к динамическому свойству объекта, а не к полю класса.