Existe otro relato oral que amplía el anterior contando que, la ermita fue en tiempos la iglesia de un pequeño pueblo que se alzaba en torno al lugar en el que se apareció la Virgen. Pero un día todos los vecinos, excepto una anciana que estaba enferma, murieron al comer un guiso comunitario preparado con agua emponzoñada. La anciana llegó hasta la población de Hoyos, donde relató la tragedia, pero fue tomada por una demente. Lo mismo sucedió en Cilleros. Sólo en Perales del Puerto se prestaron a ayudarla. En agradecimiento, la anciana les regaló todas las tierras del viejo poblado, del que ahora era única dueña, a cambio de que le dieran cobijo y conservaran la iglesia de Ntra. Sra. de la Peña.
Tradicionalmente, en Cilleros se venido contando otra versión de esto último, y es que los tres citados pueblos rivalizaban por las atenciones de la Virgen. Los vecinos de Perales del Puerto subían a la ermita y giraban la imagen de la Virgen, de manera que quedaba mirando hacia su pueblo, al igual que los vecinos de Hoyos, y lo propio hacían los vecinos de Cilleros para que mirase hacia el suyo, al poniente, que sería la posición real dada la estructura de la ermita. Esta rivalidad perduró hasta que un buen día, o no tan bueno, los vecinos de Perales se la llevaron la imagen definitivamente a la iglesia de su pueblo.
