Можно попробовать слать окну WM_QUIT.Опробовано на 2.5.0.34.

Код:
mdm.Application.doEvents();
//установим титл на форму, по которому будем искать окно
formTitle = mdm.Forms.MainForm.title = "form";
appTitle = mdm.Application.title = "app";
// получаем хэндл окна
var wList = mdm.System.getWindowList();
var i = 0;
while (wList[i][1]) {
if (wList[i][0] == formTitle || wList[i][0] == appTitle) {
hwnd = wList[i][1];
}
i++;
}
exit_btn.onRelease = function() {
mdm.System.postMessage(hwnd, 18, 0, 0);
};