汉宣帝在民间时，就听说霍氏家族长期尊贵显赫，内心很不喜欢。亲政之后，御史大夫魏相担任给事中，霍显对霍禹、霍山、霍云说：“你们不努力继承大将军的遗业，如今大夫魏相做了给事中，一旦有人在他面前说你们的坏话，你们还能自救吗？”后来，霍家的奴仆与魏家的奴仆在路上发生争执，霍家的奴仆冲进御史府，想要踢魏家大门，御史只好向他们叩头谢罪，他们才肯离去。有人把这件事告诉了霍显等人，霍显等人才开始感到担忧害怕。

魏相担任丞相后，多次在汉宣帝闲暇时进宫奏事，平恩侯许广汉和侍中金安上等可以径直出入宫廷。当时，霍山兼领尚书事务，汉宣帝却下令让官吏百姓可以直接呈递密封奏章，不必经过尚书，大臣们进宫奏事也可以单独往来。这样一来，霍氏家族非常不满。汉宣帝听说了一些霍氏家族毒杀许皇后的传闻，但还没有查实，就把霍光的女婿度辽将军、未央卫尉、平陵侯范明友调任为光禄勋，把霍光的女婿诸吏中郎将、羽林监任胜调出京城，担任安定太守。几个月后，又把霍光姐姐的女婿给事中、光禄大夫张朔调出京城，担任蜀郡太守，把霍光孙女婿中郎将王汉调出京城，担任武威太守。不久之后，又把霍光长女的女婿、长乐卫尉邓广汉调任为少府。戊戌日，汉宣帝再次任命张安世为卫将军，统领两宫卫尉、城门以及北军的兵力，让霍禹担任大司马，但只让他戴小冠，没有印绶，还撤销了他的屯兵官属，只是让霍禹的官名与霍光一样都是大司马。同时，收回范明友的度辽将军印绶，只让他担任光禄勋。霍光的二女婿赵平担任散骑都尉、光禄大夫，统领屯兵，也被收回骑都尉印绶。将统领胡越骑兵、羽林军以及两宫卫将屯兵的人，全部换成汉宣帝亲近信任的许氏、史氏子弟。

地节四年（公元前66年），霍显和霍禹、霍山、霍云眼看家族势力日益被削弱，多次相对而泣，自怨自艾。霍山说：“如今丞相掌权，皇上信任他，把大将军当年制定的法令全部更改，还宣扬大将军的过失。而且那些儒生大多是贫寒人家的子弟，从远方来京城，又饥又寒，喜欢说一些狂妄的话，毫不避讳。大将军生前就很痛恨这些人。如今陛下喜欢与这些儒生交谈，他们每个人都上书应对，很多人都在说我们家的事。曾经有人上书说我们兄弟骄横放纵，言辞非常激烈，我把奏章压下没有上奏。后来上书的人越来越狡猾，都呈上密封奏章，直接由中书令取出，不再经过尚书，皇上对我们也越来越不信任了。又听说民间传言霍氏毒死了许皇后，难道真有这回事吗？”霍显害怕事情败露，就把实情告诉了霍禹、霍山、霍云。霍禹、霍山、霍云大惊失色，说：“如果真是这样，为什么不早告诉我们？皇上把我们的女婿都调走、贬斥，就是因为这个缘故啊。这可是大事，一旦被治罪，惩罚可不轻，这可怎么办呢？”于是，他们开始有了反叛的念头。

霍云的舅舅李竟有个好友叫张赦，他见霍家的情况危急，就对李竟说：“如今丞相和平恩侯掌权，可以让太夫人告诉太后，先把这两个人杀了，再设法把皇上废掉，这事儿就成了。”长安男子张章告发了这件事，案件交给廷尉和执金吾处理，他们逮捕了张赦等人。后来，汉宣帝下诏停止追捕。霍山等人更加恐惧，他们相互商议说：“这是皇上看在太后的面子上，不把事情追查到底。但我们的恶行已经暴露，时间长了还是会被发现，一旦发作，就是灭族的大祸，不如先动手。”于是，他们让女儿们各自回去告诉自己的丈夫，都说：“我们还能躲到哪里去呢？”恰逢李竟因与诸侯王勾结，供词牵连到霍氏家族，汉宣帝下诏说霍山不适合在宫中值宿警卫，让他免职回家。