当然，朝廷对土司也不是毫无约束，除了名义上的称臣外，土司对天子还负有其他义务。土司要同海外属国的朝贡一样向皇帝进贡，这也可视为维持两者君臣之盟的一种形式。另外逢改朝换代之际，土司要向新皇帝宣誓效忠，得到新王朝的承认和印信，才能延续政权的合法性。
不过元代的土司制仍然不能视为成功，赵昺记的在元末红巾举义后，土司趁机扩张势力，归附地方军阀或者干脆自立门户，参与到元朝末年的群雄逐鹿当中。然而却也因此惹了祸，因为土司在这次改朝换代的过程中表现的太过活跃，以至于被最后的胜利者朱元璋视为了独霸天下的威胁之一。
在中原王朝眼中，治理苗疆的最重要任务，就是将语言不通、不受官府或地方土司管辖的生苗，改造成通晓汉人语言、向官府或土司纳税服役的熟苗，使苗疆成为开化之地。为达到这一目的，明清两代都煞费苦心。
明朝建立后便利用西南地区的土司来征剿生苗、镇守苗疆。而为了防范牵制土司，又在各个土司辖地周边，设立密集的卫所、军屯，形成犬牙交错、相互遏制的局面。但到了明末，西南各卫所衰败废弛，明朝不得不大量征召土司辖下的土兵，以填补卫所虚空。可想而知，靠征用土司土兵来维持苗疆稳定，只会使土司挟苗自重，尾大不掉。
到了后来为了专注于抵挡来自北方的威胁，明朝只得彻底放弃征服苗疆的打算，竟然想到用一道边墙，干脆把墙外的生苗隔离在外。于是在远在长江以南的湖南西部地区，修起了一道南起湖南、贵州边界的亭子关，北至湘西州古丈县境内的喜鹊营，途经凤凰、吉首两大湘西重镇，全长三百八十余里，纵贯整个湘西地区的长城。可见明朝的统治者是多么无奈，实现统制又有多难。
到了清朝，位于湘黔边界，包括黔东南和湘西在内的苗疆，成为西南地区最后一片不受官府管辖的生界。历代皇帝也是操碎了心，采用佂抚并举，两手都要硬的措施展开了征服。
雍正时，苗疆大员张广泗曾建议：为学习汉文、参与科考的苗人学童特批生员名额，以示奖励。乾隆时则有明文规定：不许生苗参加考试，以示对熟苗的优待。而应试的熟苗，须注明新民籍，既与汉人考生区别，又方便录取时的照顾。
同时，清廷还松弛前代在苗疆地区的禁令，允许生苗在官府登记、领取证件执照的前提下，与汉人、熟苗之间进行适当的贸易乃至通婚。不仅如此，只要不涉及造反，还允许苗疆苗人案件以苗例自行解决，哪怕是命盗等刑事案件，也不妨稍予宽容。
在明时政府为了加强对土司辖区行政干预，不断以土司无后嗣或触犯国法为理由，废除当地的土司官员，改派来自中央的非世袭官员流官继任，这一加强中央集权的做法发展到清朝，为了解决土司割据的威胁，终于演变成了大规模的改土归流。
在鄂尔泰的主持下，清政府首先在云贵地区展开了大规模的改土归流，以“计擒为上，兵剿为下”为策略，在争取土司自愿交出领地的同时，对土司中敢于顽固抗拒者，以武力消灭。而对主动配合改流的土司，朝廷多授予现任武职或其他世袭官职以示优待。对原来土司的领地，除重新设置府县外，还增设军事机构，清查户口，丈量土地以便于管理。
改土归流让盛行于元、明、清三朝的土司制度土崩瓦解，但部分流官到任后，因不善治理，骤然加税，贪赃枉法等原因，反而激化了同当地民众的矛盾。让多地土司揭竿而起，康、雍、乾三代，苗疆都未能摆脱三十年一小反，六十年一大反的所谓苗患。
尤其是乾隆末年的苗民起义，清廷更是动用两湖、两广、云贵川七省十八万官兵，延续十余年才将其平息。而福康安、和琳二位乾隆朝重臣，都在征剿苗疆的军中病殁。进入嘉庆朝后，修筑长城将苗疆隔离，并严禁苗汉混杂，也成为清朝对苗疆不得已为之的最后办法。
清朝将长城两侧的汉民苗民编入各自的军屯，纳入国家统一管理，使之成为寓兵于农，为国家屯田的佃户。汉地和苗疆之间的交易，也在少数边卡的严密监视下进行。而边卡的任何进出，都必须办理护照，否则按偷越边境论处。
在密不透风的管控下，将苗疆变为由屯田兵丁进行生产建设的屯垦边区之后，同时清政府也不得不废除新区赋税，尊重当地民俗来维持改革成果，才使得湘西地区逐渐恢复了稳定。然而，在从清末到民国的混乱时期，屯政也迅速解体，失去田地的兵丁四处流窜，将湘西变为兵匪横行的地域
所以在赵昺的理解下羁縻制度的实质，其实就是在少数民族形式上臣服于中原王朝的前提下，基本保持其原有的社会组织结构和管理机制，任用当地少数民族头领或德高望重者为地方官吏，除定期向中央朝贡外，一切地方事务均由他们自己管理。这种策略在一定时期为维护统治和地区和平是有着好处的，但是当王朝国力衰退，控制力下降，却又会成为心腹之患。
对于这点赵昺是深有体会的，琼州也算是大宋朝的国土，且设立了州县等官方机构，可实际上根本无法对琼州实现有效的统治，反而时时会受到俚族的侵扰，只是依靠着这些名义归附而事实独立的地方政权，仅仅在形式上维持着对羁縻地区的统治。但是实际上对羁縻统治下各部族、地域的具体情形，往往一无所知。也正是如此，位于山区深处、连羁縻势力也少有涉足