L’empreinte du passé gallo-romain de la ville est d’abord marquée par son étymologie. C’est en effet le nom du propriétaire d’un domaine, Paternus, que l’on retrouva longtemps pour désigner la ville et son emplacement.

La première citation de Pernes date de 994, le site est alors qualifié de «Paternis villa». À l’époque, Pernes est un habitat de plaine, près d’une église. Durant le XIè siècle, Pernes transite de la plaine vers la butte de la rive gauche de la Nesque. Émerge alors un groupe de maisons fortifiées dont le nom devient « Paternensis castri ».