В 1391 году замок стал одной из главных резиденций Витовта, который в 1398 году вместо деревянной крепости построил каменный готический замок с пятью башнями. ... Приблизительно в это же время на территории замка была построена так называемая Нижняя церковь.
