Initialement, le Mourillon désignait une zone plus vaste que l'actuel quartier et s'étendait depuis les zones marécageuses de l'embouchure de la rivière Eygoutier dans la petite rade (actuel Port Marchand) jusqu'à la corniche le long de la grande rade en passant par La Mitre. 
Avant le xviiie siècle, il n'y avait que très peu d'habitations. Un ancien cimetière turc (galériens) ainsi qu'une poudrière existaient alors. Les terrains étaient principalement utilisés comme jardins et vignobles, les pêcheurs s'adonnaient à leur activité sur la corniche. Il y avait également une houillère.

Comme les alluvions transportés par la rivière Eygoutier avaient tendance à ensabler l'accès à la vielle darse du port de Toulon, la rivière fut détournée lors de l'agrandissement de l'arsenal par Colbert en 1681. 
Le nouveau lit de la rivière faisait alors le tour des hauteurs du Mourillon pour aller se jeter dans le port-abri St-Louis, à l'ouest du fort Saint-Louis.

Le Mourillon avec son ouverture sur la grande rade avait une position militaire stratégique.

La Grosse Tour (Tour royale) qui gardait l'entrée de la petite rade a été bâtie au milieu du xvie siècle sur le cap de la Manègue (ou Pipady) aujourd'hui appelé La Mitre. 
Le fort Saint-Louis, dont le rôle était de défendre le port contre les navires ennemis venus du large, a été bâti à la fin du xviie siècle. Il s'appelait alors fort des Vignettes. La grande rade se nomme, en effet, rade des Vignettes à cause des vignes qui étaient plantées le long du littoral depuis l'époque romaine. 


En partie détruit lors du siège de Toulon en 1707, le fort fut reconstruit à l'identique et prit le nom de fort Saint-Louis. Dès le xviie siècle, le terrain du Polygone situé à la Mitre sert de terrain d'exercice pour les marins qui s'entrainent au maniement de la bombarde et du canon, puis de l'artillerie de Marine au xixe siècle. 


Un stand de tir sera construit au xxe siècle et détruit au milieu des années 1960. Le fort Lamalgue fut construit vers la fin du xviiie siècle. L'émir Abd El-Kader y fut emprisonné.