太宗贞观初年，唐太宗从“元从禁军”中选取善骑射的卫士百人，分两番轮流在宫城北门玄武门宿卫，并且穿虎皮衣、骑属于皇家闲厩的六色驳马，跟从太宗田猎、演武，并赐以军号“百骑”。这支部队长期屯驻在北门，不同于轮流番上的外地府兵，因此也被称为“北门长上”（“长上”对应于“番上”，是长期宿卫而不是轮流宿卫）。
贞观十二年，太宗又选取有材勇的卫士置左右屯营于玄武门，称为“北衙屯营”，隶属于南衙十六卫中的左右屯卫（后改名为左右威卫），并名义上以诸卫将军领军，军号为“飞骑”。另外再从“飞骑”中择选骁健善骑射者约百人，作为巡幸翊卫。虽然此时的北衙军名义上以诸卫将军兼领，但实属皇帝亲辖，已经具有皇帝私人卫队的色彩。
与南衙军所不同的是，北衙军设立的目的不是为了征战和“勤王”，而是完全忠诚地、目的明确一致地服务于皇帝个人，是一支私兵。北衙军建立之初，规模较小，而且除了开始时兵源来自“元从禁军”外，其后便逐渐转向从民间招募士兵，特别是从外府兵中拣选健儿入充。
在将官制度上，北衙禁军一开始甚至没有自己独立的升迁体系，统兵将官多由南衙十六卫的将领兼任（称为“押”、“领”或“检校”），而且军资粮饷具由尚书兵部核发。唐高宗时，改左右屯营为左右羽林军，军号“飞骑”，正式确立了北衙禁军系统，但将官仍由南衙诸卫将领兼任。
直到武则天称制之时，又将左羽林军改为左右羽林卫，使之与南衙十六卫并列，并且单独任命了左右羽林卫大将军作为统兵官，武则天的侄子武攸宜便是北衙军第一任羽林大将军。同时，又将“百骑”扩充为“千骑”。这样，北衙禁军从开始就具有两大系统，即“飞骑”（羽林军）系统和“百骑”系统。
北衙禁军与南衙军不同，从一开始成军就积极地参与到唐皇室的政治斗争中。武周神龙元年，宰相张柬之联合右羽林卫大将军靺鞨人“黄头都督”李多祚以及桓彦范、敬晖等北衙禁军将领发动兵谏，诛杀佞臣二张兄弟，迫使武则天退位，迎还太子李显为中宗皇帝。
中宗时，为加强禁卫力量，又将“千骑”扩充为“万骑”。其时，太子李重俊不满中宗皇后韦氏、安乐公主与武三思勾结，密结李多祚、野呼利等羽林军将领，矫诏发三百多羽林甲士诛杀武氏，并勒兵入宫，结果骁勇绝伦的大宦官杨思勖单骑刺杀羽林军大将野呼利，中宗又在城头“喊话”，导致禁兵溃散，太子功败垂成，命丧荒山。
后来，中宗被韦氏、安乐公主合谋毒死，中宗弟李旦的第三子李隆基又派亲信家奴王毛仲阴结“万骑”将领葛福顺等，终于发动“唐隆政变”，诛灭韦氏、安乐公主等，拥立李旦登基为睿宗。后来，睿宗退位，让皇位于李隆基，是为玄宗皇帝。唐玄宗一为加强禁军实力，二为安抚功臣集团，特将“万骑”从羽林军中正式分出，单独成立左右龙武军作为自己的侍卫禁军，赐军号“万骑”，与左右羽林军并称“北门四军”。
左右龙武军的成立成为唐朝南北衙禁军发展的一个分水岭，也是唐朝军事制度变化的一个重要时期。当时，随着均田制的破坏，外府兵的兵源大量缺失。同时，唐朝的军事斗争也逐渐从与边疆少数民族的战争转向朝廷内部的政治斗争。
作为由南衙宰相们控制的“国家军队”，南衙十六卫已经日渐不能胜任侍从君主、钳制政敌的任务，而从皇室私兵发展来的左右羽林、左右龙武四军为代表的北衙禁军在地位上和人员编制上日渐重要和庞大。而且，其统兵将领已经从最开始的由南衙诸卫将军兼领，发展到单独任命和内部自行迁转的独立系统。兵源也从单纯的征召改为招募，粮饷物资的供应也由南衙官署转向北衙内帑。
这一时期在南衙军中发生的大事就是“长从宿卫”和其后“彍骑”制度的实行。由于府兵制败坏，南衙诸卫几乎已无府兵可领，鉴于此，开元十一年，宰相张说建议玄宗征募京师长安周边六州健儿组成常备军，分配给南衙诸卫，每卫领约一万人，以作为京师禁军，号为“长从宿卫”。
开元十三年，“长从宿卫”改称“彍骑”。唐朝的兵制基本上已从征召的府兵制转为招募兵制。此时的南衙诸卫几乎已形同虚设，战斗力几已当然无存。相比而言，北衙禁军则得到很大的发展，这得益于玄宗非常重视和感谢那些帮助他政变登位的北衙将领，以致于以北衙将领为核心形成一个“唐元功臣集团”，也有叫“龙武功臣集团”的，就是以龙武、羽林二军将领为代表。
此外，为了加强禁中的护卫，玄宗还大力启用宦官执掌禁军，成为祸害唐朝后半期的“宦祸”的肇始。当然，玄宗还毕竟没有太过糊涂，他没有把成建制的北衙禁军交给亲信太监，而是让自己最宠信的宦官高力士领皇内苑闲厩使，也就是皇帝自己私人马场的场主，并以闲厩为基础，逐步掌控了整个北衙禁军的马政，从而达到间接控制北衙禁军的母的。进而又以闲厩中之飞龙厩侍者组建了一支特别的劲旅——内飞龙兵，均由高力士统领，作为北衙禁军之外的又一禁卫力量。
与此同时，唐朝廷自睿宗景云二年起，又采取了一种特殊的军事制度，即节度使制。因为当时国内局势比较稳定，没有大规模战争。主要的冲突都是围绕在北部、西部边境地区的少数民族地区，且规模都不太大。当时唯一能对朝廷构成相当威胁的就是西南方向青藏高原的吐蕃帝国。
其实，吐蕃当时也有自己“难念的经”，自贞观以来近百年的唐蕃冲突已耗费了吐蕃大量的人力物力，不堪重负。而其西方方向的中亚和中东地区正崛起了一个新兴的强敌——阿拉伯阿拔斯帝国，虎视眈眈地觊觎着帕米尔高原以东的吐蕃领地。
唐朝鉴于当时的形势，为了对付这些边境地区的“低强度冲突”，在边疆设立了十个军事重镇，派遣将领统帅边兵驻屯当地，防备边疆少数民族的入侵和袭扰。这些边疆军镇的统兵将领不仅掌握和指挥军队，而且兼管当地行政、财政大权，相当于皇帝授予旌节管理当地军政事务的全权大使，所以就叫“节度使”。
节度使在原则上可以报请中央朝廷招募扩充军队，可以经朝廷批准更换任免下属将领、官员，在地方上有生杀便宜之权，所以权势很大。玄宗后期，随着唐朝内部**奢淫的加深，帝国的力量日渐削弱，边疆少数民族不断趁虚而入，挑起边境的战事。故此，节度使统领的兵员越来越大，权力也越来越集中。相反，中央南衙十六卫却越来越虚弱，形同摆设。
北衙禁军也因为其善战的将领和士兵不断被抽调到西北边境作战而遭到削弱。如此一来，唐朝建立时确立的“内重外轻”的军事原则就完全颠倒了。边境节度使权力过大，拥兵自重，最后身领范阳、平卢、河东三镇节度使的胡人安禄山和其部将史思明等终于发动叛乱，称为唐朝衰败的直接导火索，史称“安史之乱”。
安史之乱中，南北衙禁军都遭到沉重的打击。南衙军早已名不符实，北衙军也因平叛被抽空殆尽，以致于玄宗西幸入蜀时，身边仅有千余龙武军卫士侍从，大部分北衙禁军都被肃宗李亨带到灵武组军平叛去了。肃宗即位后，即开始从跟随自己的亲信子弟中挑选健儿组建禁军，至德二年，成立左右神武军，军号“天骑”。
至此，北衙禁军正式确立了六军系统，即左右羽林（飞骑）、左右龙武（万骑）和左右神武（天骑）六军。另外，肃宗为加强殿前警卫还增置了殿前射生左右厢，初时兵员大约千人，后来扩编并改名为左右英武军、宝应军、殿前射生左右军、左右神威军、天威军。