蔡虔离开军营已是三日之后了，不是他有意拖延，实在有太多事放心不下。他再三嘱咐孟副将不可小瞧了高昌王，将一切安排妥当后，依依不舍地离开了。
当他回到都城秀禺，本以为只是被罢免兵权，正想好好休息一番，谁知没过几天，他与太子密谋的谣言就传到了南越王的耳朵里。那些谣言七句真三句假，说得有鼻子有眼，就连蔡虔磋磨了三日才离开这件事也被说成是“不肯交权”。此时赵英稷还躺在病床上不得起身，听闻太子与蔡虔有勾结，虽不十分相信却也不敢大意，急召丞相牙自和射阳君赵叔缠入宫。
“近日寡人听闻，太子与蔡虔图谋不轨，你们怎么看？牙卿，你先说说。”赵英稷道。
“呃，这个……”牙自面露难色，“王上，臣早年因为变法之事与太子有些误会，世人皆知。臣以为，太子的事臣不便置喙。”
“怎么？这么多年了，他还记仇呢？真是个不省心的孩子！”赵英稷叹了一声，又问赵叔缠的意见。
赵叔缠是赵英稷最小的弟弟，两人相差二十余岁，虽是兄弟却亲如父子，深受赵英稷的信任。见王兄问话，赵叔缠道：“臣弟以为，太子位居东宫，日后继承大统毫无异议，不至于要做出什么不利于王兄的事吧？”
赵英稷道：“有人上奏，说蔡虔回京之时，太子出城三十里相迎，可有此事？”
牙自道：“确有此事，蔡虔是太子的半个恩师，他们感情很好。”
“哼，感情好就可以胡来吗？”赵英稷气得直拍案：“几年前寡人出征回来的时候，他才出城十里。就这么不把寡人放在眼里？蔡虔是他的恩师不错，可常言道：‘天地君亲师’，寡人既是君王，也是他的至亲，怎么也不该排到蔡虔的后面。”
赵叔缠道：“王兄息怒，羽儿年轻不懂事，做事偶尔失了分寸敲打敲打就好了，没那么严重。”
“都二十四了，还不懂事？”赵英稷没好生气地说，“也罢，这件事暂且不论。寡人还听说，蔡虔这次回来，太子每日与他谈论国事，言语之间对寡人甚是不满，可属实？”
牙自和赵叔缠飞快地交换了一下眼神之后，赵叔缠拜道：“王兄，这恐怕是有人暗中中伤太子，挑拨您二人的父子关系，不可轻信呐！”
牙自思虑再三后说：“王上，太子心思耿直，阅历又浅，臣怕他被别有用心之人利用。”