All’interno del cassero del primo castello doveva trovarsi, originariamente, un castello del quale, ad oggi, non rimane traccia.

La Torre dei Diavoli con molta probabilità appartiene al primo incastellamento; essa doveva rappresentare la Torre del Palazzo Signorile.

La Torre dei Diavoli è da sempre legata ad una leggenda, quella di Matelda, giovane contadina, divenuta Contessa.

Matelda era una semplice contadina poppese di vent’anni che, per guadagnare qualche soldo in più, lavava i vestiti delle famiglie del Borgo dei Cenci, a Poppi.  Grazie anche alla sua arte nel cucire, con il passare del tempo, la donna era stata chiamata a svolgere dei lavori dentro al Castello.  E fu grazie alla sua bellezza che Matelda attirò l’attenzione del Conte Guidi, un uomo molto autoritario e più grande di lei, che decise di sposarla.

Nel Casentino tutti gli uomini parlavano sempre della Contessa e della sua bellezza. Il fascino di Matelda spinse, in molti, a spiare le attività che si svolgevano dentro al  castello, tanto che furono assoldati alcuni garzoni per seguire gli spostamenti del Conte Guidi e comunicare agli spasimanti della bella Matelda.

Dal canto suo la bella Matelda, dopo i primi tempi passati quasi sempre da sola dentro al Castello, iniziò a soffrire sempre di più la solitudine. Proprio per questo, con il passare dei giorni, iniziò ad ottenere un po’ di compagnia maschile, richiedendo dei menestrelli e degli intrattenitori maschili per allietare le sue serate. Matelda aveva così trovato il modo di consolarsi per la mancanza del Conte.

Rimaneva tuttavia un problema: per quanto gradisse quelle appassionate notti passate in compagnia dei suoi intrattenitori, non poteva permettere che si spargessero voci sul conto della Contessa di Poppi. Eventuali pettegolezzi avrebbero messo fine alla sua stessa vita.

Fu piuttosto facile per lei trovare il modo di sbarazzarsi degli uomini che trascorrevano le notti di piacere al suo fianco.  All’alba la donna invitava l’amante di turno ad uscire dal castello da un passaggio nei sotterranei, dicendogli che era un’uscita segreta. In realtà il passaggio portava verso un cunicolo buio e pieno di trabocchetti, con tanto di spuntoni e lame acuminate, che arrivava fino alla Torre dei Diavoli, dove gli amanti venivano lasciati morire. Quando un giorno si venne a scoprire il macabro piano di Matelda, anche a lei fu destinata la stessa sorte. Venne rinchiusa e lasciata morire nella Torre.

La sua morte fu accompagnata da strazianti urla e lamenti. La leggenda ci dice che, ancor oggi, trovandosi vicino alla torre nelle notti più buie e silenziose, può capitare di udire i lamenti della lussuriosa contessa di Poppi.