自打那日被困床底后，牛大便开始对谭伦心怀怨恨，凭什么你可以光明正大，我就要躲躲藏藏，我牛大偏不信这个理儿。
但碍于谭伦的身份，即使牛大心怀怨恨，却也不敢对谭伦做什么。
直到有一次，牛大赌博输了银子，被赌场的人打了几棍，心里憋怒，抱着干草去马房里喂马，正撞见了谭伦与戴氏在那马厩里行那不耻勾当。
牛大看见了他们，他们也看到了牛大，牛大当时就想夺路而逃，可转念一想，是他们在行那不耻之事，我跑什么？
三人愣愣地看着，后来还是戴氏耐不住羞，捂着脸先跑了。
谭伦正在兴头上，被牛大撞破，又羞又怒，照脸就打了牛大两个耳光。
牛大本就怨恨谭伦，心里又积了怒，如今被谭伦一打，怒从心中起，恶向胆边生，张口骂道：“你这没脸的东西，连自己的婶娘都敢偷，我怎么你了，你就打我。罢了，我告诉老爷子去，让老爷子评评理！”
谭伦一听说要去告诉爷爷，魂都吓没了，忙拉住牛大哀求，又许给他五百两银子，说在一个月内给足。
牛大本来只是恼怒，并没有真想去告诉谭千秋。如果真把谭伦的事揭破了，戴氏也得跟着遭殃，他自己还能落着好了？这种损人不利己的事，他牛大是不做的。况且，他跟谭伦现在是一根绳上的蚂蚱，不论是谁露了底，双方都没好处。
牛大知道，谭大公子出手向来阔绰，既然他开了口，这五百两银子没跑了。
牛大越想越开心，挨了一顿打，竟然还白捡了五百两银子，这顿打可没白挨。
有了这个盼头，牛大做梦都会笑醒，可坐等右等，却不见谭伦送银子过来。
自那日挨打过了半个多月，谭伦终于来了，但却不是来送银子的，而是打他的。
当时谭伦带了几个恶仆，将他揪到院子里，当众说他调戏戴氏，又偷谭家的东西，结果狠狠打了牛大一顿，直接赶出了谭家。
那几个恶仆早就听说戴氏颇有美姿，争着想往兰香小筑来，但谭家人员调动，可由不得他们。
牛大在谭家诸多下人中并不起眼，十分平庸，可偏偏就让他近水楼台先得了月。那些人心里又是羡慕，又是嫉妒，所以下起手来格外狠，恨不得直接打死牛大，来接替他的位置。
牛大当时被打得很惨，又加羞怒塞胸，之后就大病了一场。