他歷任長尾為景、長尾晴景、和長尾景虎(之後的上杉謙信)家臣，位至宿老。北越後國人眾（楊北眾）之一、平林城城主。深受謙信的信任，多次參與關東出陣與北條氏康的交戰、並於第四次川中島之戰解救了柿崎景家的危機，謙信因此授與他「血染的感狀」以表揚他的功勳。永錄7年（1564年）進攻下野國佐野城時獲得軍功，再次獲得謙信賜給感謝狀。以後2年間擔任佐野城將職務。永祿12年1月10日（1569年2月7日），本庄繁長之亂時，率兵包圍繁長的居城村上城，繁長發動夜襲時遭到討死。也有出征時病死的說法。
永祿12年（1568年）1月10日去世，享年75歲；由兒子色部顯長繼任其位。
