次的奏章不是一般俗吏所能写出来的，是谁的手笔？”张汤说：“是倪宽所写。”汉武帝说：“早就听说过这个人。”于是，张汤提拔倪宽为专门起草奏章的秘书官。
倪宽在廷尉府，说服张汤和廷尉府官吏，学习经学，按照《尚书》中《尧典》、《舜典》的教义来治理狱讼，成绩卓着，非常被张汤重用。张汤做了御史大夫，推荐倪宽为侍御史，掌握纠察举荐官吏之权。汉武帝召见倪宽，让他讲论经学，倪宽引经据典，把《尚书》中的《尧典》《舜典》讲得非常精辟、透彻。汉武帝大悦，提升他为中大夫，专管朝廷议论之事。
倪宽迁升为左内史之职。左内史，相当于后来的京兆尹，负责治理京城长安所在的关中地区民政。在任期间，以儒家道德教化民众，采取措施奖励农业、缓刑罚，重新清理狱讼，选用仁厚之士，体察民情，做事讲究事实求是，不务虚名。因此，深得关中地区民众拥戴。
关中地区，秦时修建了郑国渠，两岸农民深得灌溉之利，土地肥沃，田赋是第一等的，是汉朝赋税的重要来源之一。倪宽了解到，郑国渠上游南岸高卯之田仍然十年九旱，首倡开凿六辅渠，得到汉武帝的同意后，倪宽征发民工，在郑国渠上修筑了六条渠道，史称“六辅渠”，使两岸高卯之地得到灌溉，原来的郑国渠发挥了更大的效益。
为了做到避免纠纷、合理用水、上下游兼顾，又制定和颁布了“水令”，使人民按令用水，上下相安，很快使关中地区出现农业丰收，经济繁荣的局面。倪宽关心民间疾苦，收租税时，对一些丰歉不同的地区和农户进行适当调整，对一些贫弱户和因故不能及时缴纳的可以延缓和减免，因而赋税征收速度较慢。
后来，因军务用粮紧急，朝廷令左内史征收赋税。于是，大家户赶牛套车，小户担挑背负，交粮路上人车连绵不绝。结果，赋税任务不但没有落后，反而成为完成最快最好的，汉武帝愈加惊奇倪宽的才能。
汉武帝封倪宽为御史大夫，跟从武帝东巡泰山，举行封禅大典，倪宽主司封禅大典仪式。在此之前，梁国国相褚大精通五经，为五经博士时，倪宽为博士弟子，位在褚大之下。后御史大夫一职空缺，武帝召褚大入京，褚大自以为做御史大夫无疑。行至洛阳，听说倪宽做了御史大夫，心中不