该馆始建于19世纪60年代。1862年鲁缅采夫博物馆由彼得堡迁往莫斯科，迁入由着名建筑师巴热诺夫设计，坐落于克里姆林宫旁的帕什科夫楼。同年，作为该博物馆 <ref>[https://www.sohu.com/a/442795068_99904531 走进博物馆：丰富对世界的完整认知] ，搜狐，2021-01-05</ref> 一部分的莫斯科第一所免费公共图书馆开放，名为莫斯科公共博物馆及鲁缅采夫博物馆图书馆，通常称鲁缅采夫图书馆。该馆当时藏书基础是着名国务活动家鲁缅采夫伯爵丰富的藏书。鲁缅采夫伯爵于1826年在圣彼得堡去世，出于"有益于祖国和教育"的目的将其藏书捐赠。从1862年建馆之初，便开始接受缴送本。十月革命后，1918年3月，苏维埃政府迁往莫斯科，鲁缅采夫图书馆成为国家主要图书馆。1921年被赋予国家书库职能；1925年2月根据苏联中央执行委员会主席团的决议，改名为苏联国立列宁图书馆。列宁图书馆的藏书迅速增加，规模超过了始建于1795年的谢德林图书馆，在苏联图书馆界占据了中心地位。1973年，在苏联文化部批准的图书馆章程中，第一次以条文形式规定列宁图书馆是"苏维埃社会主义共和国联盟的国家图书馆"。1992年，根据俄联邦总统1月22日第38号"关于建立俄罗斯国立图书馆"的命令，俄罗斯国立图书馆在苏联国立列宁图书馆的基础上建立，并成为法定缴送本保存馆。

俄罗斯国立图书馆设馆长一人，副馆长5人，大部11个，中心10个，部处60个。主要部处有博士论文 <ref>[https://www.sohu.com/a/437198287_120432829 博士论文，应该什么样？]，搜狐，2020-12-09 </ref> 部，缩微部，外文采选与国际交换部，文献修复科研中心，图书馆学科研部，"帕什科夫楼"俄罗斯国立图书馆出版社，图书馆书目分类法发展科研中心，分类与主题目录部，书目学科研部，基本馆藏保存部，电子资源利用部，教学部，善本部（图书博物馆），社会发展中心，国际交流中心，国内文献采选部，图书馆服务部，图书馆目录书目服务与咨询部，乐谱与声像部，图册部，军事文献部，"信息文化"科研部，地图部，东方文献中心，交换储备馆藏部，编目与字顺目录部，鲁缅采夫图书馆之友协会及鲁缅采夫伯爵慈善基金，图书馆学与书目学文献部，外借服务部，俄罗斯国立图书馆技术发展部，报纸部，俄罗斯国外文献部，参考书目服务部，法律信息中心及俄罗斯国立图书馆正式出版物阅览室，图书学科研部，信息技术中心，手稿部，社会联系及预算外拨款中心。