赵元佐记忆中的二伯赵匡胤是个和蔼可亲的人，这与他帝王的外表有些相悖。
武将出身的伯父身材魁伟，皮肤黝黑，不怒自威，宫廷流传着一些关于他的故事，描述了君主的雷霆之怒。例如，某日他在后苑赏牡丹，欲与一位他宠爱的宫嫔共享这和美春光，遂遣人传宣美人前来。美人推说疾病未愈，两次宣召均不至。赵匡胤亲自摘了一朵牡丹，前往美人居处，将牡丹簪在美人髻上。美人勉强受之，但待皇帝出门，便将牡丹摘下，掷于地上。
赵匡胤并未走远，思及美人，又转身折回，岂料正好看见这一幕。赵匡胤面上青红不定，旋即大怒：“我何等艰勤才得天下，岂可被一妇人蒙蔽心智，败坏基业！”言罢引佩刀斩断美人皓腕，扬长而去。
因此，元佐每次入宫，母亲都要叮嘱他言行谨慎，切勿激怒伯父。
然而元佐兄弟面对的伯父绝非传言中暴戾的君主，他一见子侄就开怀笑，甚至会把年幼者举到他肩头坐着，舐犊之状与寻常百姓无异。
元佐兄弟之中，最得伯父宠爱的是元侃。元侃从小便聪明伶俐，被伯父养在宫中。元侃与叔伯兄弟们嬉闹，常指挥他们排兵布阵，而自命为“元帅”，甚至要元佐和皇帝的幼子德芳都在游戏中听命于他。有一次，那时名为赵光义的赵炅看见，十分惶恐地代元侃向皇兄请罪，赵匡胤哈哈一笑，提起被他当拐杖用的玉柱斧，轻轻拍了拍元侃的臀部，口中却赞道：“好小子，有志气！”
与弟弟相较，元佐沉静得多，小小年纪便沉浸于书史弓弦之中，见了伯父及从兄弟，也言谈得体，进退合宜。
开宝九年冬十月，十二岁的赵元佐入宫看望弟弟元侃，元侃拉着他到皇帝寝殿万岁殿见伯父。赵匡胤从大殿御座上下来，笑而相迎。
赵元佐打量伯父身后刚换上的暂新的御座，目中满溢好奇之情。赵匡胤便一指御座：“来，你坐上去试试。”
元佐立即欠身推辞：“明君御座，侄儿岂敢僭越触碰。”
赵匡胤笑问：“何谓为明君暗君？”
元佐不假思索地答道：“君之所以明者，兼听也；其所以暗者，偏信也。”
赵匡胤大为惊奇：“你读过《贞观政要》？”
他们的一问