个羁縻县，是宋朝地域最大的一路，也是羁縻州县最多、民族问题最复杂的一路。
按照羁縻程度的不同，又将广西各羁縻州县分为四类：第一是最轻微的羁縻，朝廷既不驻军也不管民政，仅仅名义上属于大宋；第二是稍强一点的羁縻，朝廷象征性在羁縻地区某个地点建堡设寨，派驻少量协调官员，以及跟随这些官员的少量护军；较强的羁縻是在羁縻州县各个主要关卡进行驻军，在必要时还可以征调当地部族土兵征战，但是朝廷既不具体管理也不收税；第四是最强的羁縻，朝廷不仅驻军，而且派驻文官进行直接管理并收赋税，但是这种羁縻在宋朝属于极少数——这样强势的羁縻只能追溯到盛唐时代，即使遥远的安西都护府辖下的西域军镇都是要收税的。但在宋朝广西，最多的是羁縻是第一类。
卫希颜以阿宝身份生活的汉人小山村就是隶属羁縻第一类的矩州（贵州省）——北宋曾设置夔州黔南所，后又独设黔南路，之后又归入广西路，流放刑犯的“黔南所”之称却一直存在。州内汉人只占少数，除了朝廷建的矩州城省内民和黔南所军管驻地的军民外，其他地域居住的汉民与夷民一样属于不上户、不纳税的非编户齐民。这里的百姓无论夷汉都十分彪悍，夷人无论男女均背刀带弩，汉人男子都背弓佩箭带猎叉，还时不时出现有带刀或带剑的江湖客，夷人之间、夷汉之间，说不拢就会大打出手。卫希颜当年在出矩州的路上就遇到了四起械斗，两起夷人内讧，一起夷汉厮斗，一起江湖客寻仇，无论是参加械斗的还是路人，被打死了都算你倒霉。而接壤大理的边境更加混乱，往往还有大理国的白蛮（白族）、摆夷（傣族）等部族牵扯在内。
但矩州西南夷的情况还算是好的了，相比之下，广西与交趾接壤的桂南羁縻州县更为复杂。矩州西南夷虽然内斗，但有五姓蕃部统合，内讧也有个限度。而桂南溪峒有七八十峒，每峒都互不统属，溪峒与溪峒之间为了争地争资源内斗频繁，又有溪峒与省民的矛盾，溪峒与交趾的矛盾，有时前两种矛盾还有交趾人在后面挑事，纠葛甚深。
在广西最南的是海岛，宋人俗称为海南，又称琼岛，岛上的夷人最初都居于山岭，他们称山岭为“黎”，遂被朝廷称为黎人。宋朝在海南上设置了三个行政州一个军事州：北为琼州，置琼管安抚司统管整个海南，西为儋州——后来儋州降为昌化军，南为崖州——后来降为朱崖军，东为军事州——万安军。到北宋后期，就已经变为一个行政州三个军事州了。而岛上的黎峒主要聚居在一州三军“包围”中的岛屿中部，依傍黎母山，朝廷称之为黎峒羁縻地，但并未正式设置羁縻州或羁縻县。这些黎峒有一部分已经归属州县，朝廷称为熟黎，那些居住山岭没有徵赋徭役的就称为生黎。而在省外之地共有生黎四十余峒，侵境劫掠省民的事件虽然不像桂南溪峒那么恶劣，但也未尝绝止。不过与桂南、桂北相比，海南还算是安定的。
而桂北是猺峒聚居地，从地理上看与荆湖南部溪峒所居地相连，两地山岭间有多条道路可通，所以每有荆湖南路南部的溪峒聚反时，往往勾连窜动广西桂北猺峒——也是很不安分的一群。
综观广西一路，地域广、部族多，又是临交趾、大理的边地，可谓矛盾复杂，隐患重重，加之广西又是宋朝最偏远的治地，许多地方守令从未一至亲民，反而大行征敛、鱼rou百姓之事，往往埋下更深的积怨，引发更大的矛盾，朝廷却因远僻和交通不便而不得闻，更不提惩治了。而且，广西的地方官在处置峒人侵掠的手段也多简单，要么出兵镇压，要么调动另一峒的部族兵征讨，要么给钱粮招抚，但无论哪种手段，都未触及矛盾的根源，只是平息一时。而且省地发生侵掠时，官府的兵马往往到得不及时，被侵掠的省民白白死伤，积怨丛生，而主事的官员又多贪佞，无论用哪种手段平服峒部都要在省民身上刮油。据说，那些从广西离任或迁任的地方官，往往都行箧丰盛，多有上十万缗者，僻地为官竟能为富至此，可见广西贪弊之甚。而广西治地的宋民对官府的不满、不信任也越来越深。
如此种种都与卫希颜想要一个安定的广西——经略交趾、大理的战略很不符合。
于是在建炎二年末，当广西桂、邕、钦、廉数州的兵改完成之后，她便奏准朝廷，升广西路治地桂州为桂林府（广西桂林），仍将经略司置于此地。但桂州离接壤交趾的边境太远，以前旦有边事经略安抚司往往反应不及。卫希颜便将广西武安军帅司置于邕州——与交趾相邻，而且距离矩州西南夷和大理国也比桂林府要近得多。至建炎三年，兵改推进到海南驻军，朝廷将昌化、朱崖、万安三军的驻军整编为武安军，归属琼州武安军帅司统辖。同时，朝廷又将三军州复置为行政州，重设儋州、崖州，新设万安州，均以文官为守臣，又以琼州守臣带布政使，统管四州民政、财赋，归属广西经略司，作为安定广西的一环。
朝廷既定经略广西之策，就必得整饬广西官场，枢密院和政事堂聚议后定下“不贪不暴、不衅不忍、清明公正”十二字，即是对广西为政为军的要求，并基于此而任命广西路司官员