从昭帝年间，到昌邑王刘贺（史称汉废帝）短暂的27天，再到汉宣帝刘询即位之初，朝政差不多全部掌握在霍光手里。当时，霍家权力极大，霍光除了权倾朝野之外，他的儿子霍禹、侄孙霍云还是统率宫卫郎官的中郎将；霍云的弟弟霍山官任奉车都尉侍中，统率禁卫部队胡越骑兵；两个女婿分别担任东宫和西宫的卫尉，掌管整个皇宫的警卫；堂兄弟、亲戚也都担任了朝廷的重要职位，形成了一个盘根错节、遍布西汉朝廷的庞大的势力网。
至此，霍光已经成为当时实际上的最高统治者，他的权势和声望在废除了昌邑王刘贺的帝位、拥立汉宣帝之后，达到了无以复加、登峰造极的地步。早在民间时，汉宣帝对霍光的权势和威风就有风闻。尤其在他一夜之间由一个平民变成了至高无上的皇帝之后，更领教了霍光的权威。他一即位，就明显地感觉到了朝廷内部来自霍光集团咄咄逼人的政治压力，所以在他登基之日谒见“高庙”时，霍光陪同他乘车前往，他觉得浑身上下都不自在，如“芒刺在背”。
有着丰富生活阅历的汉宣帝心里明白，自己初即位，力单势薄，仅凭着一个皇帝的称号是不能和羽翼丰满的霍光相抗衡的，只有保持最大的克制，逐渐发展自己的势力，寻求有利时机，才能夺回属于自己的最高统治权。所以在即位伊始，当霍光表示要还政于他时，汉宣帝回绝了，他明确表示非常信任霍光，欣赏霍光的才能。
请霍光继续主持朝政，并当众宣布，事无大小，先报请霍光，然后再奏知他本人。事后他还专门下诏褒奖霍光的援立之功，益封七千户。每次上朝，汉宣帝都给予霍光以极高的礼遇。汉宣帝的这一系列行为对于消除霍光对他的猜忌和提防，缓和朝廷内部潜伏的政治危机，为他的统治创造一个良好政治气氛起到了极其明显的积极作用，最直接的结果就是免于变成“昌邑王第二”。
武帝庙乐之争本始二年（公元前七二年）五月，即位不足两年的汉宣帝下了一道全面颂扬他的曾祖父汉武帝的诏书，要求丞相、御史与列侯（世袭的侯袭，一般为功臣或外戚及嫡系后裔）、二千石（年俸二千石的官员）、博士讨论武帝的“尊号”和“庙乐”。群臣莫不赞成，唯独长信少府（皇太后师傅）夏侯胜发表了惊人的反对意见：“ 武帝虽有攘四夷广土