Ce terroir historique est constitué d'arènes granitiques recouvertes de micaschistes et de gneiss, mais aussi de plages de cailloux ronds alluvionnaires (diversité qui explique la présence de lieux-dits dans l'Appellation : Bessards, Greffieux, Méal, Rocoule, Beaumes, etc.…).
La colline de l'Hermitage se subdivise en trois parties. En partant de l'Ouest sur la rive gauche, on trouve tout d'abord les Bessards, terroir au sol granitique et très accidenté. Il est considéré comme le terroir des rouges sur l'appellation. C'est sur ce coteau qu'on trouve la chapelle de l'Hermitage ainsi que le célèbre vignoble de l'Ermite.
Ensuite, la partie centrale se divise en deux : sur la partie supérieure, dite le Méal, le sol est calcaire et siliceux avec en surface des galets roulés. Il produit les vins les plus solaires de l'appellation grâce notamment à son exposition plein sud. Sur le bas, désigné sous le nom des Greffieux, la terre, issue du ravinement, est relativement plus fertile.
Enfin, les quartiers des Murets et des Dionniers possèdent un sol argileux et une pente beaucoup moins accentuée. Son confinement à l'Est est cependant un grand terroir de blancs.