[Котяра]

А не проще ли выдавать палитру имеющихся цветов для выбора?
если нет , то я бы сделал так - имеется массив цветов компании Array of [R,G,B].
есть цвет выбранный пользователем [r,g,b]
"близость" определяем как минимальную дельту между [R,G,B] и [r,g,b]
в арифметическом смысле наверное что-то вроде max(|R-r|,|G-g|,|B-b|), хотя с точки зрения зрения формула должна быть посложнее.
из массива RGB выбираем цвет с минимальной дельтой.

а вообще краски как минимум CMYK (не говоря уже про металлик, блеск итп)