Armia Krajowa była kontynuacją zawiązanej w nocy z 26 na 27 września 1939 r. przez grupę wyższych rangą oficerów z gen. Michałem Karaszewiczem-Tokarzewskim, przy współudziale prezydenta Warszawy Stefana Starzyńskiego, konspiracyjnej organizacji Służba Zwycięstwu Polski. Stała się ona zalążkiem struktur cywilnych i wojskowych Polskiego Państwa Podziemnego.

Utworzona 27 września 1939 r. SZP została przekształcona najpierw w 1940 r. w Związek Walki Zbrojnej, a następnie rozkazem Naczelnego Wodza w Armię Krajową, w której skład weszło ok. 200 organizacji wojskowych, zarówno spod okupacji niemieckiej, jak i sowieckiej.

Decyzja o powstaniu AK była podyktowana koniecznością scalenia polskich konspiracyjnych oddziałów zbrojnych i podporządkowania ich rządowi RP w Londynie, któremu podlegały Siły Zbrojne RP. W zamierzeniach rządu miała być organizacją ogólnonarodową, ponadpartyjną, a jej Komendant Główny jedynym, upełnomocnionym przez rząd dowódcą krajowej siły zbrojnej.

Głównym zadaniem AK było prowadzenie walki o odzyskanie niepodległości przez organizowanie i prowadzenie samoobrony oraz przygotowanie armii podziemnej na okres powstania, które miało wybuchnąć na ziemiach polskich w okresie militarnego załamania Niemiec.

Formalna zmiana nazwy nie oznaczała, że przez kolejne dwa lata Armia Krajowa ujawniała się i używała oficjalnie swojej nowej nazwy; zastępowano ją kryptonimem PZP, stosowanym od kwietnia 1942 aż do maja 1944 r. Dopiero w czasie realizacji planu „Burza” i nadawania ujawniającym się oddziałom podziemnej armii nazw dywizji i pułków Wojska Polskiego z 1939 r. zaczęto używać określenia Armia Krajowa.

AK od początku była organizacją masową, zwiększającą szeregi przez werbunek ochotników i kontynuowanie akcji scaleniowej, rozpoczętej przez Związek Walki Zbrojnej. W latach 1940–1944 do ZWZ i AK przystąpiły m.in. Tajna Armia Polska, Polska Organizacja Zbrojna „Znak”, Gwardia Ludowa PPS-WRN, Tajna Organizacja Wojskowa, Konfederacja Zbrojna, Socjalistyczna Organizacja Bojowa, Polski Związek Wolności oraz częściowo Narodowa Organizacja Wojskowa, Bataliony Chłopskie i Narodowe Siły Zbrojne.

Liczba zaprzysiężonych żołnierzy AK wynosiła na początku 1942 ok. 100 tys., a latem 1944 r. już ok. 400 tys., w tym: ok. 10,8 tys. oficerów, 7,5 tys. podchorążych i 87,9 tys. podoficerów. Kadra AK rekrutowała się z oficerów i podoficerów armii przedwrześniowej oraz z absolwentów tajnych Zastępczych Kursów Szkoły Podchorążych Rezerwy i Zastępczych Kursów Podoficerów Piechoty, a także przerzucanych do kraju oficerów, tzw. cichociemnych.

Od 1943 r. w jednostkach podporządkowanych Komendzie Głównej AK tworzono kompanie i bataliony, od 1944 r. – pułki, brygady, dywizje, zgrupowania pułkowe i dywizyjne.

Kulminacją wysiłku zbrojnego AK była akcja „Burza” rozpoczęta rozkazem gen. Tadeusza Komorowskiego „Bora” w listopadzie 1943 r. Działania zbrojne w ramach planu tej akcji rozpoczęły się 15 stycznia 1944 r. na Wołyniu wraz z przekroczeniem przez Armię Czerwoną granic RP ustalonych Traktatem ryskim.

Mimo wspólnej walki z Niemcami NKWD rozbrajało i internowało polskie oddziały. Taki los spotkał m.in. oddziały AK walczące o wyzwolenie Wilna w lipcu 1944 r. Polacy byli aresztowani, rozbrajani, a często nawet rozstrzeliwani. Aresztowanych żołnierzy przymusowo wcielano do armii Berlinga lub wywożono do obozów w głąb ZSRS.

Do planu akcji „Burza” włączono Warszawę. 1 sierpnia 1944 r. do walki przystąpiło 40–50 tysięcy powstańców. Jednak zaledwie co czwarty z nich mógł liczyć na to, że rozpocznie ją z bronią w ręku. Trwające 63 dni Powstanie Warszawskie było największym zrywem podziemia w okupowanej Europie. Po jego klęsce jednostki AK na terenach zajętych przez Armię Czerwoną zostały zdemobilizowane. 19 stycznia 1945 r. Komendant Główny gen. Okulicki wydał rozkaz o rozwiązaniu AK. Straty Armii Krajowej wyniosły ok. 100 tys. poległych i zamordowanych żołnierzy, ok. 50 tys. zostało wywiezionych do ZSRS i uwięzionych.

Wobec represji sowieckich i polskich służb bezpieczeństwa nie wszystkie oddziały AK podporządkowały się rozkazowi o demobilizacji. Powstały nowe organizacje konspiracyjne, m.in.: Ruch Oporu Armii Krajowej i Zrzeszenie „Wolność i Niezawisłość”. Resztki podziemia akowskiego walczyły z okupacją sowiecką do początku lat pięćdziesiątych. Ostatnim żołnierzem WiN poległym z bronią w ręku był Józef Franczak ps. Laluś, który zginął od kul milicji 21 października 1963 r.

Żołnierze AK byli prześladowani przez władze komunistyczne, zwłaszcza w okresie stalinizmu, wielu z nich skazano na karę śmierci lub wieloletniego więzienia. Dopiero po odwilży roku 1956 mogli wstępować do Związku Bojowników o Wolność i Demokrację, jedynej istniejącej w PRL organizacji kombatanckiej.