因为他的母亲不喜欢雍正。

雍正刚生出来的时候，因为他的母亲位分不高，所以说被送给了别的嫔妃抚养，所以他和他母亲的关系并不是特别好，而在之后雍正即位的时候呢，他又对她母亲很不尊重，所以说他的母亲很讨厌，用着比较喜欢他的第14个儿子。

因为雍正的母亲偏心，她希望她小儿子胤禵当皇帝，她也怕雍正会对胤禵不利。

乌雅氏和雍正帝母子亲情实在冷漠。雍正帝出生时，乌雅氏的位分并不高(位分低是不可以抚养自己的孩子)。

雍正帝是由孝懿仁皇后抚养长大。孝懿仁皇后来头很大，她和康熙帝的生母孝康章皇后同族，是康熙的表姐。孝懿仁皇后没有儿子，雍正帝后来夺嫡路上，孝懿仁皇后的家族佟佳氏出力不少。从雍正帝即位后对待佟佳氏的态度，也可以猜测他对这个养母感情不错。他一直称呼孝懿仁皇后的弟弟隆科多为舅舅，后来他因为功高震主杀了隆科多，但是对佟佳氏一族颇为不错。雍正帝小时候一直以为孝懿仁皇后是自己的生母。大概到孝懿仁皇后去世后，才和生母乌雅氏有来往。这是乌雅氏身边已经有了其他弟弟，对这个自幼养在外面的儿子亲热不起来。母子两人各自心怀芥蒂，没有培养起该有的母子温情。

其次在于党派之争。不知道是幸还是不幸，康熙诸多皇子中最后进入继承人角逐的人是乌雅氏的两个亲生儿子，胤禛和胤禵(十四阿哥)。胤禵从小养在自己身边，知冷知热，母子感情浓厚。在乌雅氏心中，她可能都没有意识到，她有可能把在长子身上缺陷的母爱全部投射到幺儿身上。这是一种弥补缺憾的自我保护机制，但是让她和雍正帝的关系越来越远。