[AntonSurkont]

Извиняюсь я не внимательно повторил формулу. Только сейчас случайно заметил.
Так вот все работает!

private function coloredOff():void {
  bmData2.lock();
  var color:uint;
  var red:uint;
  var green:uint;
  var blue:uint;
  var blackWhite:uint;
  for (var i:int=0;i<bmData2.height;i++) {
    for (var j:int=0;j<bmData2.width;j++) {
      color=bmData1.getPixel32(j,i);
      red=(color>>16)&0xFF;
      green=(color>>8)&0xFF;
      blue=color&0xFF;
      blackWhite=Math.round(red*0.56+green*0.33+blue*0.11);
      color&=0xFF00FFFF;
      color|=(blackWhite<<16);
      color&=0xFFFF00FF;
      color|=(blackWhite<<8);
      color&=0xFFFFFF00;
      color|=blackWhite;
      bmData2.setPixel32(j,i,color);
    }
  }
  bmData2.unlock();
}

Добавлено через 58 секунд
i.o. и Psycho Tiger спасибо что откликнулись