Ongeveer eenderde van de gevangenen bestond uit joden met een voorlopige vrijstelling van transport naar het oosten. Zij moesten arbeid verrichten voor het Duitse leger. Verder bestond de kampbevolking uit mensen die joden hadden helpen onderduiken, verzetsmensen, Jehovah's Getuigen, verspreiders van illegale geschriften en onttrekkers aan de arbeidsinzet. De meeste gevangenen waren echter niet om politieke redenen opgepakt, maar zaten vast wegens economische delicten: zwarthandelaren, zwartslachters en mensen die goederen van de Wehrmacht hadden gestolen. Vught herbergde ook zo'n zeshonderd gijzelaars, die onder meer als vergelding voor activiteiten van het verzet werden vastgehouden. In totaal hebben naar schatting 30.000 gevangenen in Vught opgesloten gezeten. Van hen wisten er negentig te ontsnappen.
De gevangenen werden tewerkgesteld in Arbeitskommandos, werkploegen die zowel binnen als buiten het kamp arbeid verrichtten. In het kamp zelf waren onder meer het 'Philips-kommando', waar circa 1.200 joodse en niet-joodse gedetineerden radio-apparatuur en zaklantaarns ('knijpkatten') vervaardigden, en het 'Luftwaffe-Kommando' dat neergestorte vliegtuigen moest slopen voor de oorlogsindustrie. De buitencommando's verrichtten onder meer constructie- en reparatiewerkzaamheden op vliegvelden. In een door prikkeldraad afgesloten gedeelte van het barakkencomplex werd vanaf mei 1943 een apart vrouwenkamp ingericht voor vrouwelijke arrestanten, joodse vrouwen en echtgenoten en kinderen van gijzelaars.
In het gedeelte van het kamp waar alleen joden waren ondergebracht, het 'Judendurchgangslager', was joods zelfbestuur toegestaan compleet met een ordedienst. De SS-bewaking bemoeide zich nauwelijks met de interne aangelegenheden. De voedselsituatie in Vught was slecht maar verbeterde vanaf mei 1943. Dat was mede het gevolg van de hulppakketten die in het kamp bezorgd mochten worden en die afkomstig waren van particulieren, zoals de dames Timmenga en Van Beuningen, en van het Rode Kruis.
Onder druk van de geallieerde opmars werd het kamp begin september 1944 in allerijl door de bezetter ontruimd. Rond 3500 gevangenen werden halsoverkop op transport gesteld naar Duitsland, terwijl de kampleiding een veilig heenkomen zocht. Op 26 oktober 1944 komen de Canadezen aan in het kamp.
