Préchauffez votre four à 175°C (350°F). Graissez et farinez un moule à gâteau rond de 23 cm ou tapissez-le de papier sulfurisé.
Dans un grand bol, mélangez l'huile d'olive et le sucre granulé. Fouettez jusqu'à obtenir un mélange lisse et légèrement mousseux.
Ajoutez les œufs un par un, en fouettant bien après chaque ajout. Incorporez ensuite l'extrait de vanille et le lait entier, en mélangeant jusqu'à ce que le tout soit bien combiné.
Dans un autre bol, mélangez la farine, la levure chimique et le sel. Ajoutez progressivement les ingrédients secs au mélange humide, en remuant délicatement jusqu'à ce que le tout soit juste combiné.
Incorporez délicatement les zestes de citron et d'orange.
Versez la pâte dans le moule préparé et étalez-la uniformément. Tapotez légèrement le moule sur le plan de travail pour libérer les bulles d'air.
Enfournez pendant 30 à 35 minutes, ou jusqu'à ce que le gâteau soit doré et qu'un cure-dent inséré au centre en ressorte propre ou avec quelques miettes humides.
Une fois cuit, retirez le gâteau du four et laissez-le refroidir dans le moule pendant environ 10 minutes. Puis, démoulez-le sur une grille pour qu'il refroidisse complètement.
Avant de servir, saupoudrez le dessus de sucre glace si vous le souhaitez.