oui mais pendant deux mois un voisin peut deposer un recours, et si vous n'avez pas respecté ce recours,  qui en réalité est de 4 mois et quinze jours car pendant 4 mois et 15 jours le prefet peut invalidé un permis de construire, et tout ce que vous aurez fait  ou construit si tel est le cas vous n aurez que vos yeux pour pleurer,
je pense qu' il est raisonable d 'attendre tout au moins les 2 mois de recours au tiers, par contre si on construit en bord de mer, je préconnise que l on attendre les 4 mois et 15 jours (loi litoral oblige)
mais en droit vous avez le droit de construire dés l acceptation de ce permis , si tel est votre souhait allez voir les voisins pour voir si ils voient une objection a votre construction

je parle des voisins directs ceux qui pourrait trouver a redire avotre construction , attention un recours de tiers, n est pas quelques choses d anodin,  il faut une bonne raison,   par exemple une privation de jouissance de soleil , alors qu il y a moyen de faire autrement, un caractére trop contemporain pour l environnement, un aspect qui ne leur conviendrait pas,    là si il y a recours il y a enquete, et souvent en pareil cas le prefet annule le permis purement et simplement pour se donner du temps a la reflexion, mais les recours abusifs sont aussi sanctionnable,
c est simplement pour etre tranquille,
et le plus simple franchement c est de mettre son panneau d autorisation de permis de construire, le faire constater par la police municipale, et puis d attendre sagement les 2 mois  , lorsque lon construit une maison pour les 20 prochaines années on peut patienter quelques 2 mois de plus que de se foutes dans des galéres pas possible, je cite souvent le cas de ce maitre d ouvrage qui a penestin a pourtant attendu 2 mois, pour faire les fondations , couler la dalle et qui au bout de 4 mois et 13 jours a reçu une lettre du prefet lui annonçant que son permis était annulé, depuis c est en procés mais pour avoir sa maison en bord de mer, il a en attendant acheter un autre terrain  et a pris un architecte "voyou" ce qui fait qu'il se trouve dans une autre galére il y des personnes qui ont la poisse qui leur colle a la peau