«Белый» — потому что стены и башни замка были полностью выбелены. Другого белого замка в белорусских землях не было. Князь Семен Сангушка строил его как дворец для семьи с элементами оборонительного сооружения. Единственным входом в замок был деревянный мост. Главное здание и сторожевые башни по углам имели по три этажа, а центральная башня — пять.