曾祖，北魏新興、雁門太守，光祿大夫。祖父[[楊紹]]，大將軍、儻城信公。父[[楊雄 (隋朝)|楊雄]]，隋雍州牧、司徒、觀德王 。是[[隋文帝]]族侄觀德王[[楊雄 (隋朝)|楊雄]]的長子，楊雄在[[隋朝]]初年與[[高熲]]、[[蘇威]]、[[虞慶則]]號稱四貴 。