元385年，他是谢玄的孙子、王羲之的外孙。
幼即聪颖，“文章之美，江左莫逮”，可以说谢灵运完美继承了家族里的优良基因，除了他爹不聪明以外，一出场就是神童。
虽然此时的谢家不如从前，但瘦死的骆驼比马大，他依然算是含着金钥匙出生在东晋。
由于从小就被寄养在一位非常有名的道士家里，所以小名叫“客儿”。
作为声名在外的谢氏子弟，谢灵运的官路按说是挺幸运的了，要比一般人高很多，但是谢灵运不满足。
从东晋末年到刘宋，谢灵运做的都是参军、侍郎、秘书丞一类的职务，手上没有实权。
而且在刘裕建立刘宋政权后，还把谢灵运袭封的康乐公爵降成了侯爵，“朝廷唯以文义处之，不以应实相许”。
无论是宋武帝刘裕还是宋文帝刘义隆，看中的都是谢灵运的文才，而不是吏才。
谢灵运是非常高傲的一个人，除了曹植以外谁也不服。
所以眼看着自己没得到重用，而像王华、王昙首这些文才不如自己的人都参政机要，成为朝廷枢纽，他的心态便开始失衡，对朝廷是有怨望的。
谢灵运心怀愤懑，便开始作死，主要体现在工作态度上。
刘裕死后，刘义符即位，谢灵运便对政务指手画脚，大臣对他很不满，把他外调为永嘉太守。
身为太守，谢灵运每天的主要工作就是游山玩水，到处旅游，为此还专门发明了登山用的“谢公屐”，“理人听讼，不复关怀”。
在永嘉郡待了一年后，谢灵运不想干就辞职了。
辞职理由是身体不好，有病，但是根据谢晦等人专门写信劝他不要作死来看，这次辞职只是谢灵运的意气用事，认为自己怀才不遇，对朝廷有怨气而已。
宋文帝刘义隆即位后，打算重新起用谢灵运，但是聘用了他两次他都不去，直到光禄大夫范泰带着皇帝的表扬信去请他，谢灵运这才出来做官。
得亏谢灵运遇到的是刘义隆这种爱好文学的皇帝，要不然就凭谢灵运这作死能力说不定就得罪皇帝了。
但是刘义隆看中的也仅仅是他的才华而已，平时只让他作作诗、写写字，没有给他实权。