Книжное собрание Оружейной палаты начало формироваться с 1861 г. по инициативе директора палаты А.Ф. Вельтмана и архивариуса Г.Д.Филимонова. Долгие годы библиотека существовала как научно-справочный отдел, пополняя свое собрание путем закупки книг, посредством книгообмена, а также даров.