Le comte Charles Pozzo di Borgo, député de Corse, était âgé de 24 ans lorsque l’Assemblée Nationale décida la destruction du château des Tuileries, incendié durant la Commune en mai 1871. L’entrepreneur chargé de la démolition met en vente les matériaux en 1882. Au printemps 1883, le duc Jérôme Pozzo di Borgo et son fils le comte Charles acquièrent le plus gros lot de pierres sculptées provenant du pavillon Bullant, du pavillon central de Delorme et du pavillon Le Vau. Les pierres sont photographiées, puis numérotées afin de pouvoir les reconstituer telles qu’elles étaient placées avant la démolition. Le lieu de construction du château s’imposera en Corse, sur les terres filiales de la famille où était construit l’ancien village Pozzo di Borgo détruit au XVIe siècle lors des attaques barbaresques. Les 185 caisses de pierres sont acheminées de Paris jusqu’à Marseille par chemins de fer puis par bateau jusqu’à Ajaccio où plusieurs caisses sombrent dans le port. L’acheminement jusqu’au mont (la pointe, a punta) Pozzo di Borgo pose problème par manque de route. Durant trois années, la route est percée sur 7 km en taillant la roche du massif. Les caisses sont ensuite transportées à dos d’âne et de mulet jusqu’à l’emplacement du futur château.
Albert-Franflin Vincent, architecte formé à l’Ecole des Beaux-Arts, fut chargé d’établir les plans du futur monument. Il opte pour une composition complexe mêlant les pierres des différents pavillons et qui s’articule en trois niveaux superposés : deux niveaux de fenêtres et la toiture, cinq travées qui scandent la façade nord, sept travées pour la façade sud et quatre travées pour les deux autres façades.
Sur la façade nord, le château reproduit une partie de l’œuvre de Jean Bullant et du pavillon Delorme. Le soubassement est réalisé en granite rose extrait sur place. Les pierres des Tuileries ont été retaillées et plaquées contre de la pierre locale et assemblées par des barres en fer. Un escalier en pierre de calcaire permet d’accéder au premier niveau tandis que l’entrée marque sa monumentalité par un porche en saillie formé de deux colonnes à fûts bagués et marbrés surmontés de chapiteaux ioniques. Les armoiries sont sculptées dans un écusson où se déploie la devise de la famille Pozzo di Borgo « Virtute et Consilio ». En dessous des armoiries, on peut lire la dédicace suivante : « Jérôme Pozzo di Borgo et son fils Charles ont fait construire cet édifice avec des pierres provenant du palais des Tuileries incendié à Paris en 1871 pour conserver à la patrie corse un précieux souvenir de la patrie française. L’an du Seigneur 1891 ».
La façade sud est tournée vers la ville d’Ajaccio. Elle est composée majoritairement d’éléments provenant de la façade occidentale du pavillon Bullant. Un majestueux escalier en fer à cheval permet d’accéder au grand salon. Pour les deux niveaux, huit colonnes à fût cannelé surmonté de chapiteaux ioniques formant péristyle encadrent les baies tandis que deux pilastres ferment la composition de part et d’autre de la façade. On reconnait sur les futs du premier niveau les deux « C » entrelacés encadrés de deux fleurs de lys, chiffre de Catherine de Médicis.
Les façades orientale et occidentale disposent de quatre baies séparées de pilastres ioniques au premier niveau et corinthiens au second niveau. Tournées soit vers les montagnes soit sur le talus, elles sont composées de pierres provenant des pavillons Bullant et Delorme. A l’est, le soubassement est percé de portes et fenêtres qui permettent d’accéder aux communs.
La toiture initiale s’inspire de l’architecture parisienne mais l’architecte a voulu s’adapter au milieu dans lequel il s’inscrit. Il choisit d’effectuer un comble à croupes recouvertes d’ardoises et couronnées d’une balustrade métallique. Suite à son incendie en 1978, le toit est entièrement refait en 1996.