http://ru.wikipedia.org/wiki/%D0%A4%...87%D0%B8%D1%8F
http://www.compuphase.com/cmetric.htm
Но я бы советовал не париться, а сделать тупо либо
dist = abs(R1-R2) + abs(G1-G2) + abs(B1-B2)
либо
dist = max(abs(R1-R2), abs(G1-G2), abs(B1-B2))
- 0 - 255 отлично ложится на такую метрику. Я чую, что её используют вообще) Тут (R1, G1, B1) -1-й цвет в RGB, если не понятно.