林灵素在徽宗的宠溺和支持下，为所欲为、嚣张跋扈、横行无忌，不但常常身居朝堂指手画脚，甚至干涉朝政、深度染指官员提拔等重大事项，权势爆棚，即便是一人之下万人之上的杨光华，宰相蔡京、太尉高俅，也无法跟林灵素相比，可谓风光权势皆无两。
可是，世间万事万物，总逃不脱一个规律，物极必反，水满则溢。
此时的林灵素，气焰熏张目中无人。无论在哪里跟蔡京、高俅相遇，总是蔡京高俅给他让道，而每一次给他让道之后，他还要昂首向天、耀武扬威的走过；而由于他带领道教徒跟太子带领的佛教徒争斗，最后徽宗判他的教徒胜出，而把太子所领导的佛教徒却全部刺面流放；还有他见到王爷们也从不让道不行礼，而是将王爷推开径直走过。
对林灵素的这些作为，朝中重臣，皇家王爷、太子都极为不满，林灵素已经是四面树敌。此时徽宗对林灵素的信任度依然坚挺，他自然更加嚣张更加张狂无忌。直到后来发生的几件事，才逐渐动摇了徽宗对他的看法，最终这根深扎在朝廷的毒刺才被拔掉。
政和八年三月三，乍暖还寒。林灵素又在上清宝箓宫讲经。但凡林灵素举行这样的大型讲经活动，徽宗都要亲临现场听讲。林灵素高坐讲坛，徽宗和陪同前来的礼部尚书蔡攸，随皇上一同坐在最前排中间。光看这派头，这阵势，就足以让所有到场者心生敬畏和仰慕。
当时，赴会听讲的道众达四千多人，上清宝箓宫广场挤得满满荡荡水泄不通，都毕恭毕敬、认认真真的坐着听讲。可唯独有一中年道士，昂然而立于最后，怒目而视林灵素。
这种情形，自从林灵素在京师传道、讲经以来，还是第一次遇到。林灵素很是恼火，就喝斥道：“你是何方道人？皇上和朝廷大臣，连同众多道友都静坐听讲，你有何能耐，竟然敢如此狂傲无礼？”
那道人毫不畏惧，镇定自若的答道，“贫道无所能。”林灵素火气更大，抬高嗓门气势汹汹地喝问：“既然你无所能，为何胆敢这样？”
那道人依然丝毫不惧，也高声反问说，“先生，既然您无所不能，那为何也这样？难道你不觉得这样有失你大家风范吗？”说罢，离席昂首而去。
徽宗看到这种情形，便急忙以小解为名，带着杨戬离开会场，让杨戬把那个道士拦住，叫到一旁，问他说：“刚才你跟林道长辩论，慷慨陈词，气宇轩昂。想必你定有超人能耐，不然你岂能敢跟林道长对峙？不知你到底有何能耐呀？能说与我知吗？”
那道士已知眼前站着的正是当今皇上，但也没有丝毫慌乱惧怯，而是镇定地拱手回道：“有何不可？贫道有雕虫小技，不值一提。”
徽宗就问：“何为雕虫小技？愿闻其详。”
道士便说：“只是能生养万物。”
徽宗很感纳闷，此人居然能生养万物，可见绝非等闲之辈。徽宗当即让杨戬带人在道院里寻找可以播种的东西，结果只找到了一小包茴香籽儿，交给了道人。在杨戬和两名御林军士兵的监视下，这个道人将茴香籽种在了墙根下。徽宗又派六个士兵监护着道士，在道院中住下来，想让其一道验证他所说的生养万物到底是真是假。
当时的天气，还没到播种时节，夜间依然寒凉。到了三更时分，那道士却忽然不见了人影。六名卫兵，每三人一组轮班值守，寸步不离，可就在卫兵的眼皮底下，这道人就凭空蒸发了，卫兵们四处搜寻，直到天亮也没见人影。
道家秘术，是徽宗最感兴趣、也最最重视的事。所以，徽宗前一天下午，就通知杨光华罢了早朝。天刚蒙蒙亮，徽宗早早起了床，要早点吃了饭去看稀奇。可刚起来，卫兵就来报告说，道士夜里跑了。他们分明寸步没离，可就是不见了。这消息，令徽宗很是失望，心想，看来是怕露馅，才跑掉了。
既然人都跑了，也就没什么必要再去看了。就按部就班吃好了饭，来到垂拱殿上班。那期间，徽宗的心思都在信道崇道传道和道家秘术上。所以站在龙案前，望着渐渐升起的太阳，满脑子里都是林灵素，都是道士们那些令他着迷上瘾的奇异法术。
“皇上您看！”徽宗正天马行空想入非非呢，杨戬突然跑到龙案前，把一盆郁郁葱葱、足有一尺高的青苗放在了徽宗面前。
“这是什么？”徽宗一愣，一边问着，一边就用手轻轻抚弄那看着养眼、闻着奇香的青苗。
杨戬一脸阳光灿烂地回道：“这是那道士昨晚栽上的茴香苗呀。这人也太神了！”
“啊？果真？”徽宗被惊得差点掉了下巴。赶忙带着杨戬又跑回到栽种茴香的地方，除了那六名卫兵因没接到撤走的命令，还在那里守着，已经空空如也了。徽宗突然如梦方醒，真是人外有人，天外有天呀，看来林灵素不过如此，根本就不是万能的神仙，只是自己被林灵素蒙蔽，以至于太过信任他了。从此时起，林灵素在徽宗心目当中的分量逐渐减轻，徽宗对他的看法也在慢慢发生变化。