墨儿人缘极好，因此黄飞在黄少成面前说自己的坏话的事情，很快就传到了墨儿的耳朵里。墨儿还好，小桃却气不打一处来：“咱们也没招惹他姓黄的，何必跟我们过不去？他的事情我还没跟黄老爷说呢！”于是墨儿问小桃知道黄飞什么事情，小桃左右看看见四下无人，便悄悄地对墨儿说“黄飞与三姨太有染！”墨儿说，这种事情不可胡说，小桃则说这是她亲眼所见的。

原来有一天晚上，小桃睡不着便独自在后花园的假山后面乘凉，正好遇到黄飞与三姨太在假山另一面搂搂抱抱。。小桃嘴特别严，她没有和任何人提起此事，今天是第一次将这事情说出去。墨儿听了心中有了盘算，不过她还是提醒小桃，切不可将这事情说出去。

晚上黄少成宿在墨儿房里，墨儿故意摆出一副很愁苦的样子，黄少成便墨儿怎么了。起初墨儿怎么也不肯说，后来架不住黄少成的再三追问才说:”按理说黄飞是您的干儿子，我也是他长辈，不应该说什么的，可是黄飞平日里对我多有无礼，根本不把我这个小娘放在眼里。还有呀，他跟着老爷做事，老爷对他那么好，他却背地里不知道黑了老爷多少银子。”其实黄少成对于黄飞暗地里贪没他银子的事情也是知道的，平日里黄少成觉得黄飞还是忠的，拿些银子他也不会太计较，但如今黄少成听说他居然对自己的宠妾这样无礼，心里就开始厌恶黄飞。眼下黄老爷还用得上他，因此并不打算把他怎么样，不过让黄飞收敛一点还是很有必要的。

第二天，黄少成便将很多事情交给王知心去办，故意将黄飞晾在一边，而一向与黄飞不和的王知心也开始秘密调查黄飞。王知心虽然正直但他也是有野心的，他一直想将黄飞除掉，自己做大管家。

之前府里的账目都是黄飞来管，毕竟他们父子都是靠算账这个技能起家的，但最近黄老爷将一部分账目交给了王知心，让他看看这些账目是否有出入。王知心一开始也没看出什么端倪，他拿到的都是日常米面薪碳采买的账目，表面上看着都很正常。但仔细一看就发现了很多问题。首先府里根本用不上那么的米面，如果按照账目上记载每月采买的米面，足够府里人吃上一年，但实际上府里每月都会采买这同等数量的米面。王知心实地去看了，每月采买的米面也就是账目上的十分之一而已。其次是府里下人的例钱，作为黄府二管家，他知道很多下人每月只能拿到三成，但账目上显示每个下人都是拿全额的例钱。王知心当然也知道，这笔钱肯定是让黄飞贪没了。最后王知心发现，黄飞很多对外的采买都去找了三姨太的娘家人，这就让王知心心中有了黄飞与三姨太关系特别的想法。正当王知心调查黄飞之时，他忽然接到了一封匿名信。