Если состав хмл известен можно по hasOwnProperty. Или попробовать взять имя корневого элемента.
Добавлено через 3 минуты
Или еще вот вариант, непроверенный. Пришла какая-то строка resStr.

Код AS3:
var xml:XML = XML("<result>" + resStr + "</result>");
if(xml.hasSimpleContent())
{
//простой тип
}
else
{
//xml
}