Con asentamientos humanos anteriores a la romanización, de la etapa musulmana de Vilafamés existen pocos datos. Fue conquistada por Jaime I en el año 1235, y dada a poblar en 1241 a Guillem Ramón de Viella y otros. Pasó a la Orden del Temple, y posteriormente perteneció al Maestrazgo de Montesa.

Vilafamés fue unionista y agermanada, en contra de su señor el Maestre y de su Orden, a la que se enfrentó el concejo municipal incorporándose a la Corona en el año 1635.

Durante las Guerras Carlistas fue escenario de diversas escaramuzas entre los isabelinos y las tropas de Cabrera, Serrador y Forcadell.

Aunque los basamentos del castillo son de época musulmana, e incluso más antiguos, presenta modificaciones de muy distintas épocas, las últimas de ellas de la Guerras Carlistas.