In de periode van 1929 tot 1937 was hij lid en fractievoorzitter van de RKSP in de Tweede Kamer. Op 24 juni 1937 werd hij minister van Justitie in het Vierde kabinet Colijn. Nadat dit kabinet in 1939 gevallen was, trad hij in augustus 1939, bij de mobilisatie van het Nederlandse leger, in actieve dienst als reservekapitein der artillerie.

Na de Nederlandse capitulatie in mei 1940 werd het leger gedemobiliseerd. Goseling werd ambteloos burger. In oktober 1940 werd hij door de Duitsers opgepakt en overgebracht naar het concentratiekamp Buchenwald bij Weimar. Daar werd hij geregistreerd onder het nummer 8016.

Vanaf 1940 waren er al Nederlanders gevangen gezet in Buchenwald. De eerste groep betreft gijzelaars, 217 mannen en 15 vrouwen, als represaille voor het gevangen zetten van 2400 Duitse mannen in Nederlands-Indië. De mannen gingen naar Buchenwald en de vrouwen naar Ravensbrück.

Ondanks druk van de Duitsers kwamen de gevangengenomen Duitsers in Nederlands-Indië niet vrij. Rijkscommissaris van Nederland Seyss-Inquart stelde daarop een nieuwe naamlijst samen van personen die opgepakt moesten worden.

Op 7 oktober 1940 werd een aanvullende groep van 116 gijzelaars opgepakt en naar Buchenwald overgebracht. Hier zaten enkele prominente Nederlanders tussen uit de politiek, zoals oud-minister Mr. Carel Goseling en de latere minister Dr. Willem Drees, professoren, kunstenaars en intellectuelen.

De winter van 1940-1941 was streng en 14 Nederlanders sterven, de meeste door longontsteking. Oud-minister Goseling sterft, op 14 april, tweede paasdag, 1941. Dr. Willem Drees schreef in zijn boek Van Mei tot Mei over Goseling, die met name onder de katholieke jongeren veel aanzien en vertrouwen genoot, het volgende: "Mr. Goseling is eerst wekenlang wegens een voetinfectie verpleegd in het Revier. Een briefje, dat hij in die tijd aan een van de kampkameraden schreef, wordt elders weergegeven. Er blijkt uit, dat hij het toen nog goed maakte. Een deel van de tijd was ook ik in het Revier. Toen hij zich weer door het zaaltje kon bewegen, zij het hinkende, aten wij samen. ... Hij was overigens volkomen zichzelf gebleven, opgewekt, vol vertrouwen in de toekomst, in het Revier een gewaardeerde patiënt, die zoveel mogelijk anderen van dienst was. ... Het is noodlottig geweest, dat hij met genezen voet naar de barak terugging, terwijl de griep daar nog niet was uitgewoed. Weldra werd hij zwaar ziek opnieuw naar het Revier gebracht dat ik inmiddels verlaten had. .... 14 april, Tweede Paasdag, kwam het einde. Als doodsoorzaak werd de nierontsteking opgegeven."

Het lichaam van Mr. Goseling werd in het crematorium van het kamp gecremeerd. Na de oorlog werd de urn met zijn asresten overgebracht naar Nederland en bijgezet in het familiegraf op de R.K. Begraafplaats Buitenveldert in Amsterdam.