王希廉的家庭富有而又充满文化气息。蒋宝龄《墨林今话》卷十六明确记载到，他的父亲王仲沅做过广东的藩库大使。王希廉家庭富裕，能够有财力刻印插图本《三国演义》，而且在程高本出版不久，他就能刊印《新评绣像红楼梦全传》。他的叔叔、哥哥和妹妹都很有文化修养，特别是他的侧室周绮是个极富才情的女子。据《历代妇女著作考》记载，周绮音律篆刻，诗词书画无不精通，王希廉能够见解独到的点评充满才情的《红楼梦》不能说完全没有受她的影响。