Andrea Graziani nacque nel 1864 a Bardolino. Sottotenente nel 1882, fu in Eritrea nel 1887 e nel 1904 insegnò alla Scuola di Guerra. Passò successivamente col grado di capitano dal 2° alpini al corpo di S.M. della divisione di Ancona nel 1895. Durante il terremoto di Reggio e Messina (1908) meritò un encomio speciale e la medaglia d'oro di benemerenza per i soccorsi prestati. Colonnello nel 1915 al 15° bersaglieri comandò le brigate Jonio e Venezia in Valsugana e la 44ª divisione sul Pasubio durante la Strafexpedition del maggio-giugno 1916, che gli fece guadagnare la fama di “eroe del Pasubio”. Il Dizionario Biografico dei Veronesi dell'Accademia di Agricoltura, scienze e lettere di Verona, scrive che

Sempre e dovunque si è distinto per la brutalità verso i sottoposti. Fucilazioni, decimazioni, punizioni mortali.

In particolare, fu protagonista dell'esecuzione, il 3 novembre 1917 a Noventa Padovana, dell'artigliere Alessandro Ruffini (29 gennaio 1893-3 novembre 1917), colpevole di averlo salutato militarmente senza prima essersi levato di bocca il sigaro che stava fumando. Ruffini fu prima brutalmente bastonato e successivamente fucilato "per dare un esempio terribile atto a persuadere tutti i duecentomila sbandati che da quel momento vi era una forza superiore alla loro anarchia", come affermò lo stesso Graziani in risposta ad alcune proteste e interrogazioni parlamentari sollevate a seguito della pubblicazione della notizia della fucilazione di Ruffini sul quotidiano Avanti! del 28 luglio 1919.

L'11 aprile 1918 il ministero della Guerra lo incaricò di costituire un corpo di cecoslovacchi (ex prigionieri) combattenti in Italia; costoro iniziarono la costruzione della strada sul Monte Baldo —«la strada per Praga» la chiamarono— che poi il generale riuscì a far completare dopo la guerra.
Nel dopoguerra, con il fascismo, comandò la Milizia volontaria per la sicurezza nazionale (Mvsn) per le province di Trento, Vicenza, Verona e Belluno. Si appassionò alle opere pubbliche: oltre alla «sua» strada sul Baldo, fu un grande sostenitore della Galleria Adige-Garda tra Mori e Torbole, che sarà terminata però nel 1959, e del Canale Biffis in val d'Adige, iniziato nel 1928 e finito nel 1943. Si schierò con gli agrari nelle grandi opere di bonifica, presiedette il consorzio Utenti acque medio Adige e rimboschì colline e montagne veronesi. Fu sindaco di San Massimo negli anni Venti, comune poi accorpato con Verona nel 1927.
Il 27 febbraio 1931 il generale fu trovato morto sui binari nel tratto Prato-Firenze: la causa della morte non fu mai accertata, anche se le autorità dell'epoca archiviarono il caso come una "caduta accidentale dal treno".