класс TextDisplayMode содержит статические константы, определяющие режимы сглаживания текста, создавать его экземпляр бессмысленно. Эти константы присваиваются
TextRenderer#displayMode . Ну а параметры расширенного сглаживания этого класса работают когда у текстфилда выставлен AntiAliasType.ADVANCED
P.S. Учитесь пользоваться справкой