Вообще эти слова имеют одинаковое значение — «необычный, «исключительный». Поэтому их можно без проблем заменять друг другом.
«Редкий талант»
«Редкостный талант»
Но всё же у слова «редкий» есть дополнительные значения — не частый, не густой; расположенный далеко друг от друга; происходящий, повторяющийся через большие промежутки времени.
«Редкие волосы»
«Редкие прохожие»
Вот здесь уже заменить словом «редкостный» не получится, потому что пострадает смысл.
Грамотная речь | Лингвистика 📝