L'AFFI a été créée en 1996 corrélativement à une constatation majeure :
Il n'y avait pas d'Association d'Ingénieurs ferroviaires en France, très certainement un des pays dans le monde le plus évolué dans le domaine ferroviaire tant pour les technologies développées et leurs mises en œuvre que pour la qualité de l'exploitation de ses différents réseaux ferroviaires et urbains.
Il existait une Union européenne, l'UEEIV, regroupant 22 associations nationales d'Ingénieurs ferroviaires, représentant 20 pays, certaines associations, en particulier les associations allemande, suisse et italienne comptant plusieurs milliers d'adhérents.
Le monde ferroviaire européen évoluait très vite, Bruxelles légiférait sur une organisation européenne des chemins de fer, et la France à l'image d'autres pays européens, cherchait à redéfinir la vocation de son réseau ferroviaire.
Dans cet environnement très mouvant, la plupart des pays européens s'étaient déjà mobilisés à différents niveaux. L'un des plus actifs était sans aucun doute l'association nationale.
La France était restée curieusement à l'écart de ce mouvement, alors que tout justifiait la création d'une association française qui aurait un rôle important à jouer en créant un carrefour d'échanges, en mettant en valeur le savoir faire de ses membres et en apportant aux pouvoirs publics idées suggestions et propositions.
Ceci fut fait en avril 1996, à l'initiative des entreprises ferroviaires françaises, soutenues par la Fédération des Industries Ferroviaires, la SNCF et la RATP.
Article du président fondateur, Jean-Henri Lemoussu pour les 10 ans de l'AFFI
