任命灌夫担任中郎将，过了几个月，因为犯法而丢了官。后来，到长安安了家，长安城中的许多显贵没有不称赞他的。
汉景帝驾崩，太子刘彻即位，为汉武帝，汉武帝认为淮阳是天下的交通枢纽，必须驻扎强大的兵力加以防守，因此调任灌夫担任淮阳太守。灌夫与长乐卫尉窦甫喝酒，灌夫喝醉了，打了窦甫。窦甫，窦太后的兄弟，皇上恐怕窦太后杀灌夫，调派他担任了燕国国相。几年以后，又因犯法丢官，闲居在长安家中。
灌夫家中职累的资产有几千万，每天的食客少则几十，多则近百。为了在田园中修筑堤塘，灌溉农田，他的宗族和宾客扩张权势，垄断利益，在颍川一带横行霸道。颍川的儿童于是作歌唱道：“颍水清清，灌氏安宁；颍水浑浊，灌氏灭族。”
灌夫闲居在家虽然富有，但失去了权势，达官贵人及一般宾客逐渐减少。等到魏其侯窦婴失去权势，也想依靠灌夫去报复那些平日仰慕自己，失势后又抛弃了自己的人。灌夫也想依靠窦婴去结交列侯和皇族以抬高自己的名声，两人互相援引借重，他们的交往就如同父子之间那样密切，彼此情投意合，没有嫌忌，只恨相知太晚了。
灌夫在服丧期内去拜访田蚡，田蚡随口说：“我想和你一起去拜访魏其侯，恰值你现在服丧不便前往。”灌夫说：“您竟肯屈驾光临魏其侯，我灌夫怎敢因为服丧而推辞呢！请允许我告诉魏其侯设置帷帐，备办酒席，您明天早点光临。”田蚡答应了。灌夫详细地告诉了窦婴，就像他对田蚡所说的那样。窦婴和他的夫人特地多买了肉和酒，连夜打扫房子，布置帷帐，准备酒宴，一直忙到天亮。
天刚亮，就让府中管事的人在宅前伺候，等到中午，不见田蚡到来，窦婴对灌夫说：“丞相难道忘记了这件事？”灌夫很不高兴，说：“我灌夫不嫌丧服在身而应他之约，他应该来。”于是，便驾车，亲自前往迎接田蚡。田蚡之前只不过开玩笑似地答应了灌夫，实在没有打算来赴宴的意思，等到灌夫来到门前，田蚡还在睡觉。于是，灌夫进门去见他，说：“将军昨天幸蒙答应拜访魏其侯，魏其侯夫妇备办了酒食，从早晨到现在，没敢吃一点东西。”田蚡装作惊讶地道歉说：“我昨天喝醉了，忘记了跟你说的话。”便驾车前往，但又走得很慢，灌夫更加生气。