曾祖，北魏新興、雁門太守，光祿大夫。祖父[[楊紹]]，大將軍、儻城信公。父[[楊雄 (隋朝)|楊雄]]，隋雍州牧、司徒、觀德王。是[[隋文帝]]族侄觀德王[[楊雄 (隋朝)|楊雄]]的長子，楊雄在[[隋朝]]初年與[[高熲]]、[[蘇威]]、[[虞慶則]]號稱四貴。楊恭仁原是隋朝官員，歷任甘州刺史、吏部侍郎，曾平定楊玄感叛亂，後被裴蘊排擠出朝，擔任河南道大使，兵敗逃歸江都。江都之變後，楊恭仁升任吏部尚書。<ref>《舊唐書·楊恭仁傳》記載：「自武德之後，恭仁兄弟名位尤盛。（武）則天時，又以外戚崇寵。一家之內，駙馬三人，王妃五人，贈皇后一人，三品以上官二十餘人，遂為盛族。」，朝廷的評價也是8個字——「內安社稷，外撫要荒。」唐初，楊恭仁在內對外政治活動中確實發揮了重要作用。</ref>