De gevangen moesten werken in Arbeitskommandos, die waren verdeeld in binnen- en buitenploegen. De meesten verrichtten eenvoudige, maar zware handarbeid in de buurt van Amersfoort en keerden 's avonds terug in het kamp.

De gevangenen kwam uit alle delen van het land en hadden uiteenlopende achtergronden: joden, mannen die zich aan de arbeidsinzet hadden onttrokken, illegale werkers, Jehovah's Getuigen, strafgijzelaars, zwarthandelaren, smokkelaars en clandestiene slachters. Verder waren er ruim honderd krijgsgevangenen uit de Sovjet-Unie (vooral Oezbeken). Degenen die niet van honger of uitputting stierven, werden na enkele maanden dood geschoten. Op de Leusderheide is een onbekend aantal in het kamp opgesloten verzetsmensen gefusilleerd. Afgezien van deze executies was lichamelijk geweld in Amersfoort aan de orde van de dag. Vooral de joodse gevangenen moesten het ontgelden en werden voor het minste geringste afgeranseld. Ook medegevangenen reageerden hun agressie op hen af.

In de eerste fase van het kamp, die duurde tot maart 1943 leden de gevangenen honger en werden zij wreed behandeld. Na de uitbreiding van het kamp bestond de grootste groep gevangenen uit mannen die zich aan de arbeidsinzet hadden onttrokken. De omstandigheden werden in deze tweede fase minder slecht. De medische zorg verbeterde, er mocht meer aan cultuur, religie en ontspanning worden gedaan en de gevangenen (behalve de joodse) mochten voedselpakketten ontvangen. Die bijvoeding werd vooral verstrekt door mevrouw L.H.M.A. van Overeem van het Nederlandse Rode Kruis, die gedurende het laatste halfjaar van de bezetting iedere vrijdag het kamp kon bezoeken. Veel gevangen beschouwden de wekelijkse komst van deze 'Florence Nightingale' van Amersfoort als het hoogtepunt in hun bestaan.

De voorbarige bevrijdingsroes waarin Nederland op Dolle Dinsdag (5 september 1944) verkeerde, liet ook het kamp niet onberoerd. Er brak lichte paniek uit onder de kampbewakers, er was geen appèl en de buitencommando's rukten niet uit. Alle gevangenen kregen hun burgerkleding terug en een groot aantal werd vrijgelaten. Niettemin bleven tot in april 1945 arrestanten komen. Nadat de Duitse kampleiding haar hielen had gelicht, werd het kamp op 19 april 1945 overgedragen aan het Rode Kruis en had het Duitse gevangenkamp opgehouden te bestaan. Begin mei reden de Canadese bevrijders het kamp binnen.