Al confine con la Basilicata, Gravina si trova nella Murgia Occidentale su un territorio fortemente carsico caratterizzato dalla presenza di numerose grotte che fin dal Neolitico (V millennio a.C.) hanno dato rifugio alle popolazioni locali dedite all'agricoltura ed alla pastorizia.

A partire dall'età del ferro sulla collina di Botromagno si sviluppò un insediamento stabile che nel corso dei secoli che vanno dall'VIII al V secolo avanti Cristo sarà, come molti centri della regione, sempre più influenzato dalla cultura greca importata dalle colonie.
In questo periodo fu conosciuta con il nome di Sidion, vennero edificate delle mura difensive e la città mantenne, a testimonianza della sua importanza, il diritto di coniare monete (IV sec. a.C.).
Nel 305 a.C. fu conquistata dai Romani ed inclusa nel tragitto della via Appia con il nome di Silvium. Divenuta municipium come molte altre località della regione dopo le guerre civili (90 a.C.), Gravina conobbe un periodo di ricchezza e sviluppo economico in epoca imperiale.

La fine dell'impero portò la distruzione dei Vandali comandati da Genserico nel 456, mentre gli abitanti si rifugiarono per secoli nelle grotte naturali del luogo dando avvio alla cosiddetta civiltà rupestre.
Dopo la guerra greco-gotica (535-553) combattuta e vinta dai Bizantini contro gli Ostrogoti Gravina entra e resta per secoli nei domini dell'Impero Romano d'Oriente di Costantinopoli subendo tuttavia le incursioni e il saccheggio ad opera dei Saraceni (999).

L'arrivo dei Normanni (1069) in città coincise con la rinascita culturale ed economica che si manifestò con la costruzione della nuova Cattedrale in stile romanico e del Palazzo Vescovile (XI sec.).
Con il successivo avvento degli Svevi (1194) Gravina acquisì maggiore importanza sul territorio divenendo sede della Curia Generale per le Puglie e la Basilicata. Federico II volle inoltre che fosse avviata la costruzione di un castello di cui oggi rimangono alcuni resti.

La rovina degli Svevi avvenuta per mano degli Angioini (1266) chiamati dal Papa in Italia, fece diventare Gravina una città demaniale e feudale successivamente affidata agli Orsini i quali al ressero ininterrottamente dal 1380 al 1816.
Dal XIX secolo Gravina aderì al processo risorgimentale cha attraverso i moti carbonari del 1820 e le insurrezione del 1848 portò alla formazione di un'idea di stato nazionale. Nel 1861 la città passò al Regno d'Italia come tutte le Puglie.

Gravina è ricca di testimonianze artistiche architettoniche a partire dalla Cattedrale vicino alla quale sorge anche il Palazzo Vescovile (XI-XII sec.).
Tra le altre chiese citiamo S.Domenico, S.Lucia, il Santuario della Madonna della Grazie e le chiese e conventi di S.Sofia e S.Sebastiano (1474).

Della storia antica della città rimane incredibilmente intatto un ponte romano.

Ogni anno in aprile ha luogo la Fiera San Giorgio, una delle manifestazioni più antiche del mondo essendo stata istituita per decreto regio da Carlo II D'Angiò nel 1294. Il decreto di Carlo inoltre non faceva altro che ristabilire un'antica fiera.