La commune recèle plusieurs traces de la préhistoire, la plus célèbre étant la torsade d’or de l’Age du bronze découverte en 1925 (elle a intégré le musée départemental, à Quimper).
Par ailleurs, divers endroits d’Irvillac ont été marqués par l’époque gallo-romaine : c’est ainsi que une « voie romaine », reliant l’actuel village de Kerilien, en Plouneventer, pour rejoindre Quimper, traversait Irvillac dans sa grande largeur.

Irvillac possède, outre son église Saint-Pierre, trois chapelles et dix-neuf croix ou calvaires, ainsi que plusieurs fontaines « sacrées » : plusieurs de ces monuments, principalement construits au 17è siècle, sont remarquables. Leur construction est liée à une phase de prospérité dans la région, consécutive à la confection et au commerce des toiles : notons que Irvillac possédait une spécificité, la confection de berlinge (étoffe destinée à l’habillement) par des paysans et sa vente par des « paysans marchands de berlinge », au nombre de dix en 1799.