Den lille generalstab blev etableret som en følge af hærens internering under Operation Safari i forbindelse med 29. august 1943. Den blev ledet af kaptajn Viggo Hjalf og bestod af unge officerer, der i fællesskab skulle lede organiseringen af hærens officerer og befalingsmænd. Formålet var at sørge for, at hærens officerer ikke mistede forbindelsen med hinanden efter hærens opløsning og efterfølgende frigivelse fra interneringslejrene.
Staben blev etableret under general Ebbe Gørtz, og den fik kontakter til alle sider af det danske illegale miljø samt til lederne af det illegale arbejde i Danmark, Sverige og England.
I oktober 1943 blev der indgået en aftale mellem general Gørtz og tidligere statsminister Wilhelm Buhl. Aftalen var, at hæren skulle stå til rådighed for lederne af de store partier i tilfælde af, at der opstod en kaossituation i forbindelse med krigens afslutning. Den lille Generalstab var på den måde loyal over for det etablerede Danmark, dvs. de etablerede politikere og kongen. Det bragte den flere gange i et modsætningsforhold til andre dele af modstandsbevægelsen, der gerne så, at resultatet af modstandsarbejdet også blev mere eller mindre omfattende samfundsreformer. Generalstaben var i særlig grad mistænksom over for de modstandsfolk, der var tilknyttet det kommunistiske parti DKP.
Generalstaben tillod ikke officererne at søge over i det civile illegale arbejde på egen hånd, men fra foråret 1944 tillod man overførslen af officerer til opbygning af de såkaldte militærgrupper eller M-grupper. Til gengæld havde man også officersgrupper – O-grupper – i Storkøbenhavn og på Sjælland.
Staben fik desuden ved udnævnelse af regionsledere og militære by- og afsnitsledere placeret officerer på vigtige poster. Herved sikrede man sig loyalitet over for hæren i store dele af modstandsbevægelsen.
Den lille Generalstab var repræsenteret i Frihedsrådet – senest i K-udvalget.
I marts 1945 kom Den lille Generalstab imidlertid i konflikt med dele af Frihedsrådet samt faldskærmschefen Ole Lippmann. Det drejede sig især om våbenfordelingen mellem modstandsgrupperne. Særlig blev Den lille Generalstab kritiseret for kun at tilgodese hærens modstandsgrupper gennem våbenforsyninger, mens man tilbageholdt våben fra de ofte kommunistisk dominerede civile sabotagegrupper. Den konflikt er kendt under betegnelsen den skæve våbenfordeling, og den bundede i den mistro, der herskede mellem det etablerede Danmark og de kommunistiske cirkler inden for modstandsbevægelsen. Særlig sabotageorganisationen BOPA havde mistanke om, at den ikke fik de nødvendige våben pga. organisationens kommunistiske udspring.