La ermita se aloja dentro de los restos de un antiguo castillo medieval, del que existen noticias ya en 1211. Este era de tamaño considerable. Ocupaba toda la cima de una colina rocosa, amplia y llana, situada al norte de la villa. Lo que queda del castillo es la parte inferior de una torre cuadrangular de piedra, trabajada en gruesos y bien escuadrados sillares, donde se ven numerosas marcas de cantero. El muro sur está reforzado con dos robustos contrafuertes; junto al muro derecho, vemos en alto, una aspillera defensiva. En la cara norte hay otro contrafuerte, junto al que aparece un arco apuntado de grandes dovelas, hoy cegado, que pudo servir de entrada a la torre; dicho arco fue reformado posteriormente (quizá cuando se produjo la reconversión del castillo en ermita) mediante ladrillos aplantillados y convertido en un vano adintelado. En los dos ángulos de este lado aparecen los arranques de sendos muros de la misma altura que el resto de la obra y, en el del noreste, donde según parece se situaba el ingreso principal a este recinto, vemos el arranque de un arco. La ermita está situada en lo que sería la planta baja de la torre, correspondiente originalmente a una sala. Su portada está en el frente sur, entre los dos contrafuertes. Es muy sencilla, de arco de medio punto con un escudo en la clave y hoy está blanqueada. La nave (el primer cuerpo de la torre) está cubierta con bóveda de cañón apuntado de piedra. A la derecha del ingreso, hay un pequeño púlpito y, junto a él, la entrada a la sacristía, que es rectangular y marcada en planta, ya que es un añadido posterior. A los pies hay un coro alto sobre columnas, posiblemente del siglo XVI. Un banco corrido de piedra recorre el perímetro interior.