Правой кнопкой мыши жмем на тот ярлык который хотим изменить -> свойство -> вкладка "ярлык" -> сменить значок и выбираем вашу иконку .
Если хотите изменить иконку для папки, тогда так: правой кнопкой мыши -> свойство -> вкладка "настройка" -> сменить значок и опять же выбираем вашу иконку.
Ещё раз хочу напомнить, что для Windows XP подходят только иконки с расширением ICO, для Windows vista - и PNG
