Il 1 dicembre 1825 il Conte cavaliere Fabrizio Rilli-Orsini aveva lasciato al Comune di Poppi la proprietà della Biblioteca di famiglia, formata da 9.000 volumi e 200 manoscritti. L’originale del documento di donazione si trova nell’Archivio notarile di Firenze; da esso si ricava che, oltre ai libri, il Comune ricevette anche la proprietà di tre stanze della casa del Rilli, dove erano custoditi i volumi.

Nel 1866 un altro cittadino, Soldano Soldani, donava la sua biblioteca privata al Comune, imitando l’esempio del Rilli ed accrescendo in tal modo il materiale di studio della Rilliana.
Nello stesso anno venivano devolute al Comune di Poppi le librerie del Convento e del Sacro Eremo di Camaldoli e quella dei Frati Cappuccini.

Nel 1877 avvenne anche il trasporto di tutti i volumi dalla casa del Conte Rilli in un altro edificio di proprietà comunale, situato nell’attuale Via Rilli Orsini.
Qui la Biblioteca rimase fino al 1911, per essere poi trasportata nella sede del Castello dei Conti Guidi, dove si trova ancora oggi.

Dopo qualche anno di lavoro, nel luglio dell’anno 1914, la nuova sede della Biblioteca fu inaugurata solennemente: l’assetto allora dato alla Rilliana fu di grande modernità, tanto che oggi, a più di 70 anni di distanza, la Biblioteca necessita solo di pochi interventi di manutenzione.

La Biblioteca «Rilliana» è considerata una delle biblioteche più ricche della Toscana con i suoi 25.000 volumi, formata da cinque sale di cui solo tre aperte al pubblico. Complessivamente si possono trovare all’interno della Biblioteca 800 manoscritti, di cui 150 medievali, 600 incunaboli, ovvero i primi libri a stampa, risalenti alla seconda metà del XV secolo e una ricca collezione di Bibbie.