K tomuto pútnickému miesto sa viaže legenda o zázračnom obraze. V ústnom podaní sa dodnes zachovala udalosť, ktorá sa tu odohrala približne pred 300 rokmi. Dedinku v tom čase postihlo veľké nešťastie. V požiari zhorelo vtedy dvanásť domov aj s dreveným kostolíkom. Zachránila sa len ikona Panny Márie, ktorá zostala nedotknutá. Zvesť o zázračnej ikone sa rýchlo rozšírila do okolitého sveta. Začalo sem prichádzať mnoho pútnikov. Keďže Rafajovčania nemali vlastný chrám, rozhodli sa vzácny obraz umiestniť do susednej obce. Čo si zaumienili, to aj vykonali. Po veľkej slávnosti sa procesia veriacich vrátila domov. Aké bolo ich prekvapenie a zdesenie, keď obecný richtár sotva vkročil do svojej izby, videl nad stolom visieť tú istú zázračnú ikonu. Na druhý deň prišli do Rafajoviec občania Keľče a zarmútene oznámili, že niekto ikonu ukradol. Keď sa dozvedeli o zázračnom premiestnení ikony, ponáhľali sa túto radostnú správu oznámiť do svojej obce. O týždeň sa situácia opakovala. Procesia, ktorá odniesla ikonu, sa ešte nestihla vrátiť do Rafajoviec, už jej v ústrety vyšli ľudia so správou, že ikona je na pôvodnom mieste. Rafajovčania to považovali za znamenie, aby ikonu neodnášali. Preto v roku 1750 postavili za pomoci veriacich z celého okolia nový murovaný chrám, do ktorého umiestnili ikonu na prestol. Chrám zasvätili Narodeniu Presvätej Bohorodičky. Každoročne sa tu konajú odpustové slávnosti na sviatok Zosnutia Svätého Ducha a Narodenia Panny Márie.