Agoncillo es un lugar de origen romano situado en un punto estratégico pues domino un vado sobre el Ebro. Con la fijación medieval de la cercana frontera navarra cobra aun mayor valor defensivo. La fortaleza suena por primera vez en el siglo XII. En plena edad media pasa a poder de los señores de los cameros y después, sucesivamente, a los Rojas, Medranos, García de Porras y Frías Salazar. Parece que la más antigua fortaleza se corresponde con la gran torre del sur. La pequeña, cercana a la iglesia, es del siglo XIV, siendo construido el resto por Pedro Gómez de Porras. El resultado fue una amalgama de edificaciones como también lo confirma su irregular plano. En todo predomina una excelente sillería.