le plus simple si vous êtes d'accord avec le voisin c'est de faire un échange de terrain avec un nouveau bornage "rectiligne"

ce n'est pas rare que le cadastre soit faux
y'a t'il eu un bornage par géomètre?

ce n'est pas le cadastre, mais il faut regarder dans les actes notariés s'il y'a des informations et rechercher sur le terrain des bornes et se renseigner si tu arrive à savoir qui était le géomètre.
ensuite l'idéal si tout se passe bien avec le voisin, c'est de se mettre d'accord avec un projet de bornage et de faire un bornage contradictoire. Les frais peuvent être partagés ou pris en charge par une seule personne.
pour ton projet en lui même tu peux faire une demande de certificat d'urbanisme opérationnel qui te permet de savoir si tu as la possibilité de faire ce que tu veux (un CUb, le CUa porte uniquement sur le terrain)

merci à vous deux pour les réponses apportées.

effectivement, j'occupe bien le terrain jusqu'au muret depuis 15 ans et les anciens occupants en faisait de même… mais je ne me sens pas trop d'aller réclamer la propriété de ces quelques m² à mon voisin (en plus une petite fenêtre de son étable donne sur cette partie), je le vois une fois tout les 2 ans et il ne s’intéresse pas à son bâtiment qui ne lui est d'aucune utilité (il n'habite pas sur place), je lui est proposé plusieurs fois de lui racheter mais il n'a jamais donné suite....

plutôt qu'une terrasse, est ce que je peux faire un appentis jusqu'à la limite de propriété ?

un appentis non  qui dit appentis dit ligne d égout coté  voisin mais une construction en toit terrasse par exemple   ça me semble plus  en adequation

normalement  on construit soit sur borne soit  et la  tout depends  de l interprétation de l instructeur  du permis …  (petit roi)   ça sera 5 m  voir 8 m  car en l absence de plu   

«Logiquement, les distances qui doivent être respectées sont soit fixées par les Plans d’occupation des sols (POS) et Plans locaux d’urbanisme (PLU) des communes quand ces derniers existent, soit, à défaut, par le code de l’urbanisme et les règlements régionaux
la jurisprudence du conseil d’Etat explique que ces marges de recul répondent à une exigence d’hygiène, de salubrité et de sécurité.
Le permis étant accepté «sous réserve du droit du tiers», selon l’expression consacrée dans l’autorisation, il convient également de voir avec vos voisins si la construction réalisée ne leur porte pas préjudice
Hors Plan d’occupation des sols (POS) et Plan local d’urbanisme (PLU), l’article R.111-19 du code de l’urbanisme détermine les distances à respecter entre ces deux constructions. Le point commun entre les deux constructions étant la limite séparative entre les deux terrains.

L’article explique qu’« à moins que le bâtiment à construire ne jouxte la limite parcellaire, la distance comptée horizontalement de tous points de ce bâtiment au point de la limite parcellaire qui en est le plus rapproché doit être au moins égale à la moitié de la différence d’altitude entre ces deux points, sans pouvoir être inférieure à trois mètres ». En clair, la maison doit être construite soit en limite de propriété, soit respecter un retrait d’au moins trois mètres. Celui-ci sera de cinq mètres pour une maison de 10 mètres de haut.

Du coup, logiquement, la distance entre deux maisons sur deux propriétés adjacentes sera d’au moins six mètres, voire plus en fonction de la hauteur des constructions, si aucune n’est construite en limite de propriété.

attention si vous construisez un appenti  il faudra que la gouttiére soir sur le batiement  donc ça sera un chéneau,  la gouttiere ne doit pas surplomber le terrain du voisin

le plus simple est de voir avec le service de l urbanisme de votre commune