[wvxvw]

Почти наверняка используете блокирующие вызовы. Т.е. чтение из потока сделано так, что пока информация не вычитается, программа не продолжит выполнение. Хотя, конечно, кроме этого вариантов может быть масса.
Если вы расскажите о том, на какой операционной системе работаете, то можно будет попробовать посоветовать инструменты для определения того, что занимает процессорное время.