Joseph Pichou dit Charmant, fils d'un artisan serrurier possédant une laverie industrielle sur le Tillet, s'établit au bord du lac avant 1882, avant même la création du port de Cornin (qui deviendra ensuite port de plaisance, le Petit Port). A l'époque, les bateliers embarquaient les touristes sur la grève le long du Tillet pour des promenades sur le lac et notamment des traversées jusqu’à l’abbaye de Hautecombe.
Il fait construire une auberge, exploitée sous l’appellation "Petit Charmant" par Claudius Vuillermet (la maison voisine sis 181), ainsi qu’une petite maison attenante (sis 183).
Vers 1917, il cède l'affaire au fils de son gendre, Claudius Vuillermet, également batelier. La sœur de ce dernier, Marie, hérite d’une partie de son terrain ainsi que de la petite maison après son mariage avec Victor Besson qui s'était établi comme batelier au Petit Port vers 1924.
C'est lui, Victor, qui fait construire l’hôtel particulier en 1936 par l'architecte Alexandre Maire, en lieu et place de l’ancienne petite maison.
L’hôtel de « La Marine », également bar, sera en activité quelques années avant que l’établissement ne ferme durant la seconde guerre mondiale.
En 1958, son fils Roger récupère l’affaire familiale et ferme la partie hotellière pour se consacrer à une activité de Bar-brasserie avec « Le Café Aix Plage », ouvert jusqu’en 2002.
L'établissement est racheté en 2022 et commencent 3 années de travaux pour une réfection de grande envergure intérieure comme extérieure.
Les portes réouvrent aux clients en 2024 sous l’appellation « La Villa du Petit Port » avec les 2 appartements du R2 et le R3 est terminé en 2025 ainsi que les espaces extérieurs.
