Bangsbos voldsted går formentligt tilbage til middelalderen. 1300-tallet var nogle meget urolige år. Først med Erik Menved og hans efterfølger Christoffer den 2., der begge pantsatte landet til de Holstenske grever. Dernæst med Valdemar Atterdags generobring af landet frem til hans datter Margrethe den 1., som det lykkedes at stabilisere landet i
slutningen af 1300-tallet.
I disse meget urolige år byggedes der adskillige tilflugtsborge rundt om i landet, de såkaldte
Motter. Disse forsvarsanlæg blev ofte bygget i sumpede områder, moser og enge i nærheden af åer, som kunne bru-ges til oversvømmelse af området omkring forsvarsanlægget.
Bangsbos Motte er ingen undtagelse. Den ligger på et stadigt meget sumpet engareal ud til Bangsbo å. Ådalen, der oprindeligt var en fjordarm, var sejlbar formentlig frem til jernalderens afslutning og har derfor været et perfekt sted at placere sin tilflugtsborg.
Man ved ikke præcist, om det nuværende voldsted kun var tilflugtsborg, eller om det oprindelige Bangsbo allerede lå der, da Børglum kloster i 1469 stod som ejer. Eller da Ingeborg Skeel valgte at nyopføre en ny firlænget renæssancebolig i to stokværk på den gamle borgbanke.
Den bygning, der står der i dag, er fra ca. 1750 og opført af herregår-dens første borgerlige ejer, købmand og møller Jens Møller. Den er bygget som et trefløjet Barokanlæg, men kældrene er de oprindelige fra Ingeborg Skeels Bangsbo.