ну дак чем то что я написал не подходит?

Проще, я думаю, проверять, целое ли число и меньше ли оно диапазона int.MAX_VALUE и записывать соответственно int, с флагом, что это int. В противном случае — Number.

А вообще, при возникновении подобных проблем, стоит призадуматься над правильности такой схемы.