Laissant une France complètement exsangue, Napoléon embarque à Saint Raphaël dans le plus grand secret et quatre jours plus tard, dans la nuit du 03 au 04 mai 1814, la frégate Anglaise Undaunted accoste dans le petit port de Portoferraio, capital de l'Île d'Elbe. Il s'apprête à faire une entrée majestueuse avec les 600 hommes qu'on lui a alloué, mais seuls, le gouverneur militaire Delesme et le Sous-Prefet Balbiani ont été informés de la présence à bord, du monarque déchu et c'est seulement le 04 mai au matin que les habitants vont prendre connaissance de l'arrivée de leur nouveau souverain par une proclamation placardée sur les murs de la cité : "Le plus heureux événement qui pût jamais illustrer l'histoire de l'île d'Elbe s'est réalisé en ce jour ! Notre auguste souverain l'Empereur Napoléon est arrivé parmi nous. Nos voeux sont accomplis : la félicité de l'île d'Elbe est assurée…Unissons-nous autour de sa personne sacrée, rivalisons de zèle et de fidélité pour le servir…".

Le 04 mai 1821 à 15 heures Napoléon quitte la Frégate Undaunted et dans une chaloupe se rend sur le port où les autorités civiles et militaires, ainsi qu'une foule à la fois enthousiaste et stupéfaite, sont venus l'accueillir tandis que les cloches sonnent à toute volée. Il est ensuite reçu à l'hôtel de ville où il va passer ses premiers nuits ; mais c'est aux Molini, sur une crête qui surplombe la ville, qu'il a déjà décidé d'établir sa résidence.

Afin de ne pas avoir à traverser la ville pour rejoindre la campagne, il commence par faire percer un tunnel dans le rocher sous la terrasse, fait raser les vieux moulins et entreprend la construction de son "palais" et de ses pavillons : des appartements privés avec huit fenêtre en façade donnant sur la ville et huit fenêtres à l'arrière avec vue mer, une bibliothèque, une salle du trône faisant office de salle de bal, un petit théâtre.

Le tout est abondamment meublé, principalement par deux razzias dont Napoléon est coutumier :  Une première fois il fait saisir à Piombino, dans l'ancien palais de sa soeur Elisa restitué au domaine autrichien, meubles, tentures, jalousies, jusqu'aux lames des parquets. Au commissaire d'Autriche qui se plaint de cette spoliation, il fait remettre l'état circonstancié de cet "emprunt", et l'affaire en reste là.

Un peu plus tard, la tempête ayant forcé un bâtiment à faire relâche dans le port, Napoléon s'enquiert de son chargement : c'est le mobilier de son beau frère Camille Borghèse, acheminé de Turin à Rome. Il se l'approprie aussitôt, disant : "cela ne sort pas de la famille !".

Avec ses compagnons d'infortune Drouot, Bertrand et Cambronne, entouré d'un nombre incalculable de domestiques en livrée, de musiciens, de jardiniers et de 22 palefreniers qui veillent à l'entretien de 90 chevaux et de 27 voitures, Napoléon a recréé autour de lui une cour d'opérette. Pour tromper son ennui, il va mener pendant son séjour une vie faite de dépenses ostentatoires et de réceptions somptueuses.

Cette vie tranquille s'anime soudain le 30 septembre, avec l'arrivée de sa soeur Pauline qui va occuper la partie de l'habitation qu'il a fait construire spécialement pour Marie-Louise qui ne viendra jamais.

Cette intimité entre Napoléon et sa soeur Pauline, le fait qu'elle a toujours été sa préférée et qu'elle à souvent été à ses côtés, donnera lieu à de nombreux ragots colportés principalement par Beugnot et Talleyrand pour lesquels les relations incestueuses du frère et de la soeur n'ont jamais fait aucun doute.

Lassé de la villa des Molini, Napoléon recherche bientôt une maison de campagne et il fini par jeter son dévolu sur une maisonnette située dans le vallon ombragé de San Martino. Mais l'état de ses finances, déjà mises à mal par un train de vie dispendieux, ne lui permet pas d'accepté le prix demandé par le propriétaire et c'est sa soeur Pauline, qui à sa demande, va en faire l'acquisition en sacrifiant quelques diamants de son fameux collier. En peu de temps, les vieille bâtisses du domaine sont rasées, les grenadiers de la garde construisent une route pour accéder à la propriété sur laquelle est édifiée une maison blanche toute simple surmontée d'un étage et modestement meublée.