但今年的东林党争，却不免把他牵扯进去。东林党无法让李三才入阁，便又看中了在士林之中颇有声望的王图。
他们塑造起想让王图入阁的言论，立刻引得三党反击。王图和负责京察的孙丕杨都是陕西同乡，王图的兄弟王国、孙丕杨的同乡孙瑭也在朝为官，三党便指责王图和孙丕杨为“秦党”，接着造谣孙丕杨和王图把持京察，宣传“欲去富平（孙丕杨的老家），先去耀州（王图的老家）”。
王图挡住了流言的攻击，反对者更是无所不用其极，直接造谣王图的儿子“贪污巨万”。
万历皇帝就此事派人调查，发现完全子虚乌有。
王图家很有钱，早就积累够了，没必要贪污坏名声。
且王图的儿子也就是个县令而已，到任以来经手的经费都没有一万两，咋能贪污巨万
其实是因为王图兄弟在京城中节俭出名，三党造不了他的谣言，便把罪名罗织到在外当官的王图儿子身上。
身负这样的指责，加上东林党在京察之中失势，眼看王图接下去的官会越来越难做。
现在隔三差五就有人上疏污蔑他，王图真的是对官场寒心了。
后来在天启初年，东林党因为拥立之功大量被启用，凭借王图的地位，只要他愿意出山，定然是被重用。但他却一直等到天启三年，在各方劝说之下才愿意出来做官。
转年遭到魏忠贤弹劾，王图立刻就回家。
王图悲观的道：
“古人言以史为鉴，可以知兴替。”
“然而又真正有几人能够以史为鉴”
王文龙摇了摇头，笑着说：“那是因为过去人读历史的方法不正确。”
“他们只以为以史为鉴，就是学习古代发生的事情，学习古人的做事办法。”
“然而时移世易，古代的方法放到现在怎么能够实行”
“真正以史为鉴的办法，应该是参考过去发展的事情，总结出事物发展的客观规律，以此判断未来将要发生之事的走向。”
“我的这本《中国历代政治得失》就是以此目的而写。”
王图思索半天，总觉得悟了又没误。
制度史、社会螺旋变化上升这样的概念，没有仔细分析的情况下，在此时文人的脑中很难自我构建出来。
他又去看王文龙桌上的稿子，却见王文龙的草稿放的乱七八糟，从哪里开始看都不知道。
但王图却已对王文龙的新书产生极大兴趣。
“建阳此书写就，一定让我一观。”王图说道。
……
一直到万历三十九年的八月，王文龙一直窝在家中写书。
半年没有在公开场合露面，没写任何时事文章，只发表了一本文人会看的《晦翁学案》，几乎让天下人忘记了，还有这么一个搅风搅雨的王文龙。
这天一早，王图和徐光启便结伴走进王文龙的家中。
王文龙被软禁后，徐光启经常来找他讨论。
主要商量的是一些农业问题。
后世认为徐光启是个大科学家，涉猎的知识颇为驳杂。
但考据徐光启的专著，会发现徐光启的天文、物理水平都只属一般，数学上的成就说来说去也跳不出《几何原本》的翻译。
在农业、工程方面，徐光启却是著述甚丰。
他其实是个典型的农学家。
他留到后世最有名的作品就是《农政全书》。
王文龙觉得这一切大概归于徐光启喜欢挣钱。
除去学者的外衣，徐光启骨子里更像个精于计算的小地主……