为司徒长史，加封为将作大匠。
桓帝末年鲜卑、南匈奴以及高句丽的继承人伯固等少数民族一同叛乱，在边境一带抢劫掠夺，四府举荐乔玄为度辽将军，特赐可以使用黄钺的权力，乔玄到了任上，修养兵士，然后监督各将领讨伐胡虏以及伯固等。敌人都败退逃跑，乔玄在这里任职三年，边境安定无事。灵帝初期，调回乔玄任命为河南尹，改任少府、大鸿胪。
乔玄与南阳太守陈球有怨仇，当他在司空司徒的位置上的时候，反而推荐陈球担任廷尉，乔玄因为国家力量薄弱，并且揣度自己的能力没有用武之地，于是托病上奏，把各种灾害归咎在自己身上，于是被免职。一年多后任命他为尚书令，当时太中大夫盖升曾经和皇帝有密切关系，愿来担任南阳太守，贪污好几亿，乔玄上奏罢免盖升并关押起来，没收他的财产贿赂所得，皇帝不同意，反而升迁盖升为侍中，乔玄托病辞职，又任命为光禄大夫，过了几个月，再次因为疾病免职，改任太中大夫，在家中养病。
乔玄的小儿子十岁的时候，独自外出游玩，突然有三个人拿着棍棒把他劫持了，进入乔玄府里楼阁上，让乔玄拿钱赎人，乔玄却不答应，不一会，司隶校尉阳球率领河南尹、洛阳北部尉曹操围住了乔府。阳球等人担心劫匪杀掉乔玄的儿子，没有下令追赶劫匪，乔玄大声说:“犯罪的人没有人性，我怎么能因为一个儿子的性命而纵容了国家的罪犯!“催促命令追击，于是攻击劫匪，乔玄的儿子也死了，乔玄于是面见皇帝谢罪，请求皇帝向天下下令：“凡是有劫持人质的，一律格杀，不得拿财宝赎回人质，让罪犯有利可图”，于是诏书发布了这个命令，起初从汉安帝以后，法律渐渐失去效力，京城里面劫持人质的，不管对方是不是富贵官宦人家，从乔玄这次事件以后，就没有这种事再发生。
起初曹操地位很低的时候，没有人知道他，他曾经去拜见乔玄，乔玄见到他感到惊异，对他说：“如今天下将要战乱，能够安定天下的岂不是你吗？”曹操常常感叹乔玄是他的知己，后来曹操每次经过乔玄的坟墓，都感到凄怆并祭祀他，并亲自为他撰文说：“原任太尉乔公，品德高尚，仁爱宽容，国家感念您的训诫，读书人缅怀您的教诲，您的在天之灵，我们缅怀不止，我从年轻时候，就去过您的府上，那时