I Monti Rognosi sono parte di un esteso affioramento (circa 1400 ha) di ofioliti, vale a dire tre diverse rocce che hanno un'origine magmatica sottomarina: serpentinite, gabbro e basalto. Il termine ofiolite deriva dal greco ophis (serpente) e lithos (roccia) ad indicare il loro aspetto sostanzialmente verdastro e scaglioso come appunto la pelle di un rettile. Fino a 200 milioni di anni fa l'attuale affioramento costituiva il fondale dell'Oceano Ligure-Piemontese, un antico oceano che corrisponde all'incirca all'attuale Mar Mediterraneo. Si sono formate in seguito ad una spaccatura della crosta terrestre dalla quale è fuoriuscito del magma che è entrato in contatto con l'acqua di mare. Il magma si è poi raffreddato in modi diversi, dando così origine alle tre differenti rocce: la serpentinite e il gabbro si sono formate in profondità con un raffreddamento lento durante il quale il magma ha potuto interagire chimicamente con l'acqua di mare. Il basalto invece si è formato grazie ad un raffreddamento più rapido assumendo spesso la tipica forma "a cuscino".
Nei Monti Rognosi la roccia più diffusa è la serpentinite, che conferisce ai rilievi il tipico colore scuro. Le ofioliti si formano tutt'oggi ogni qualvolta avviene una spaccatura della crosta terrestre sottomarina che lascia fuoriuscire del magma. Durante i movimenti tettonici che hanno portato alla formazione degli Appennini alcuni lembi del fondale oceanico si sono sollevati e si sono spostati verso la terraferma, dando così origine non solo ai Monti Rognosi ma a tutto il sistema ofiolitico della Valtiberina che si estende fino a Pieve Santo Stefano.