Budapesten az állam és jogtudományi karon, Berlinben, Bonnban a tudomány egyetemen végezte tanulmányait.
A Wekerle-kormány 1906-ban Arad megye és Arad város főispánjává nevezte ki s tisztét 1910-ig viselte. Később az alkotmánypárthoz csatlakozott.
A világháború kitörésekor önként jelentkezett és mint hadi önkéntes, majd mint tartalékos huszárhadnagy, az orosz fronton teljesített szolgálatot.
1915. május 14-én ezrede Krzcin irányába tört előre. Erős orosz srapneltűzben lóról szállva küzdötték előre magukat a századok. Ezen harcok alatt vitézségével és példaadásával különösen kitűnt Károlyi Gyula a 46 éves tartalékos zászlós, akit a nagyezüst vitézségi éremmel tüntettek ki.

A kommunizmus kitörése után, 1919. május 5-én, megalakította Aradon az első ellenforradalmi kormányt s annak miniszterelnöke lett, a románok azonban megakadályozták abban, hogy munkáját az országnak a proletárforradalom alól való felszabadítására megkezdhesse. A kormány tagjainak egy részét Mezőhegyesen lefogták, mire a többiek Szegedre menekültek. Itt alakult meg a második ellenforradalmi kormány, amelynek szintén ő lett az elnöke. Miniszterelnökségéről július közepén lemondott s a forradalmi idők lezajlása után ismét visszavonult a politikától. Elvonultságából a nemzet bizalma 1928-ban szólította ki, amikor az országgyűlés két háza együttes ülésén koronaőrré választotta. Már előzetesen, 1927-ben, az örökös jogú főrendi családok a felsőház tagjává választották. 1930 decemberében a Bethlen-kormány külügyminisztere lett, egy év múlva a székesfehérvári kerület megválasztotta képviselőjének. Bethlen István gróf lemondása után, 1931. augusztus 20-án, őt bízta meg az államfő kormányalakítással. 1932-ben lemondott, és a továbbiakban az aktív politikai szerepvállalástól távol maradt.