No existe ningún registro escrito sobre la fecha de construcción del castillo de Kelburn, pero se cree que fue alrededor de 1143, siendo la primera estructura una torre de madera. Esta torre de madera fue reemplazada en el siglo XIII por una torre normanda de piedra, algunas secciones de la cual aún se utilizan hoy en día.
