Die meisten preußischen Garnisonen hatten im 19. Jahrhundert eine eigene Bäckerei. Auch an der Zitadelle wurden die Soldaten mit frischen Backwaren beköstigt. Wesel war über Jahrhunderte hinweg ein wichtiger militärischer Dreh- und Angelpunkt. Während des Zweiten Weltkriegs wurde Wesel nahezu vollständig dem Erdboden gleichgemacht. Nur wenige Gebäude blieben unversehrt oder waren nur leicht beschädigt. Die Zitadelle am Rande der Innenstadt gehörte zu den wenigen Komplexen, die weitestgehend verschont geblieben sind. Das Fundament war noch gut und auch die Mauer waren zu gebrauchen. Lediglich das Dach musste aufwendig erneuert werden. Die Verantwortlichen im Weseler Rathaus, allen voran der damalige Stadtdirektor Dr. Karl-Heinz Reuber, wollten die 1956 wiedererrichtete Zitadelle den Menschen zur Verfügung stellen. Da es kaum räumliche Angebote für Jugendgruppen gab, entschied der Verwaltungsvorstand der Stadt Wesel, den Kindern und Jugendlichen der unterschiedlichen, in Wesel aktiven Gruppen die Räume der sanierten Garnisonsbäckerei der Zitadelle zu überlassen; ein Novum in der Nachkriegszeit.
Sieben Gruppen, die nicht unterschiedlicher sein konnten, fanden in der Zitadelle am 18. Februar 1956 eine neue „Heimat“. Neben den St. Georgs-Pfadfindern, dem Bund deutscher Pfadfinder, der Wandervogelgruppe, der Sing- und Spielgemeinschaft Eichendorff sowie dem Christlichen Verein Junger Männer bezogen auch die Deutsche Jugend des Ostens und die Gewerkschaftsjugend das Gebäude. Über 400 Kinder und Jugendliche, die in den Gruppen aktiv waren, nutzten in den Folgejahren die Räume.
Später übernahm die Stadt Wesel selbst die Trägerschaft. Bis zum Umzug des städtischen Jugendzentrums in das ehemalige Karolinenheim am Herzogring war die alte Garnisonsbäckerei der Zitadelle die erste Adresse für viele Jugendliche und Kinder in Wesel in ihrer Freizeit.
Am 27. März 1998 weihte die Weseler Jugend das neue Jugendzentrum „Karo“ ein. Bis heute nutzen viele Kinder und Jugendliche die Räume des Jugendtreffs in ihrer Freizeit. Das „Karo“ ist genauso wie sein Vorgänger, die „Zitadelle“, eine wichtige Anlaufstelle für Kinder und Jugendliche, in der sie mit Freunden gemeinsam ihre Freizeit verbringen können.
In der alten Bäckerei in der Zitadelle ist heute das Stadtarchiv Wesel untergebracht. Dort wird systematisch die Geschichte der Stadt Wesel dokumentiert und für die Nachwelt gesichert. Auch Bilder und Geschichten zum Jugendheim „Zitadelle“ sind in den Schätzen des Stadtarchivs zu finden. Immer wieder werfen ehemalige Weseler*innen, die als Kinder hier spielten, einen Blick in die alten historischen Gemäuer, um zu sehen, was aus dem damals beliebten Jugendzentrum geworden ist. Und auch dabei kommen heute, 65 Jahre später, die einen oder anderen oft sehr persönlichen Anekdoten inklusiver Beichten von Jugendsünden zur Sprache.