Н.П. Румянцев был известным коллекционером и библиофилом. Его библиотека насчитывала более тридцати тысяч печатных книг и рукописей. Это собрание Николай Петрович завещал своим соотечественникам «на благое просвещение». Позже книги Румянцева легли в основу Российской Государственной библиотеки.
Обладателями книжной коллекции были и следующие владельцы гомельского дворца — семья Паскевичей. В их библиотеке собраны книги по истории, философии, естествознанию, произведения русских и зарубежных писателей, поэтов, многие на языке оригинала. К сожалению, большая часть уникального наследия утрачена.
Практика сбора книжной коллекции продолжилась и после создания музея. Сейчас здесь более полутора тысяч наименований книг и журналов разнообразной тематики и направленности.
