霍光这一拒绝就得罪了两个人：上官桀和盖长公主。此时还有另一个人也对霍光产生了不满。御史大夫桑弘羊建立了盐铁专卖制和酒税法，为国家增加不少财富，可谓功高一等。他也为自己的亲戚要求官爵，同样被霍光拒绝。
这个消息被燕王知道了。燕王作为汉武帝年长的儿子，汉武帝却没有传位给他，反而传给了最小的刘弗陵，他心里一直很不满，虎视眈眈地盯着帝位，这会儿正准备造反。为了增加造反成功的可能性，他打算拉拢桑弘羊和上官桀，于是，以燕王刘旦为首，上官桀和盖长公主为辅的造反团队成立了。
按照上官桀的计划，要先利用燕王刘旦的身份，发动政变，在政变成功之后，再干掉燕王刘旦，由他自己来掌握大权。这个暂时联合起来的政治集团的主要目标就是霍光。公元前80年，上官桀、燕王刘旦等人加紧了政变的准备工作。燕王刘旦将夺取帝位的赌注压在上官桀身上，前后派遣十多人，带了大批金银珠宝，贿赂盖长公主、上官桀、桑弘羊等人，以求支持他夺取帝位。偏偏这个时候霍光增加了大将军麾下校尉（部队长）的人数。于是上官桀以燕王名义，提出了弹劾霍光之奏文：“霍光正在检阅京都兵备，京都附近道路已经戒严，霍光将被匈奴扣留十九年的苏武召还京都，任为典属国，打算朝匈奴借兵。所有这些，是为造反，为了他自己当皇帝。”
