皇甫嵩出身于将门世家，祖父皇甫旗曾担任东汉扶风郡都尉，父亲皇甫节曾担任东汉雁门郡太守，叔父皇甫规曾担任东汉度辽将军。
皇甫嵩年轻时有大志，文武双全，喜欢阅读《诗》《书》，擅长弓箭骑术；
他最初先后被州郡举荐为孝廉、茂才，太尉陈蕃、大将军窦武都曾先后征召他为幕僚，他都没有就任。
汉灵帝刘宏以公车之礼征召皇甫嵩为议郎，不久又升任北地郡太守。
中平元年，黄巾军叛乱，黄巾军首领张角、张宝等人聚众数十万人，劫掠州郡，残杀官吏，青州、徐州、幽州、冀州、荆州、扬州、兖州、豫州等州郡的百姓纷纷响应，朝野震动。
朝廷诏命各州郡修筑城池，整顿器械，以防备黄巾军进攻。
同年三月，汉灵帝刘宏主持朝议，皇甫嵩建议解除党禁，拿出宫中藏有的钱财及西园中豢养的马匹，以赏赐将士，激励军心。
“刘宏听从，又诏命征召天下兵马，选拔将领，任命皇甫嵩为左中郎将，持有节仗，与右中郎将朱儁等人一起讨伐黄巾军。”
“同年四月，皇甫嵩、朱儁各自统率一支军队，共计兵马四万人，前往征讨颍川郡内的黄巾军。”
“朱儁率领前军与叛军将领波才交战，战败，皇甫嵩进兵据守长社城。”
“叛军将领波才率兵围城，皇甫嵩兵力不足，将士恐惧，皇甫嵩于是召集将士，表示用兵变化不在于士兵人数的多少，如今叛军依草结营，可以采用火攻；”
“如果在夜里发动袭击，纵火焚烧敌营，叛军必然大乱，到时再出兵攻击，四面合围，就能取胜。”
“傍晚时分，皇甫嵩借助大风，下令全军士兵都携带杂草等候出城，又命令精锐士兵率先出城潜入敌营外围，纵火焚烧敌营，与城中的士兵举火为号。”
“皇甫嵩趁势击打战鼓，率军进攻，叛军受到惊扰大乱，纷纷四散奔逃。”
“同年五月，恰逢刘宏派遣骑都尉出城率军前来，皇甫嵩与曹操、朱儁合兵一处，继续对叛军发动进攻，大破黄巾军，斩杀敌军首级数万。”
“战后，皇甫嵩因功封为都乡侯。”
“皇甫嵩、朱儁乘胜追击，继续率军进讨汝南郡