L'idée de la grille et du point est ancienne. Des sources médiévales décrivent des chiffres bâtis à partir des parties d'une croix, et en 1531 Cornelius Agrippa décrit une forme ancienne de ce que les auteurs postérieurs nommèrent le chiffre rosicrucien — une grille unique de neuf « cases » dont les positions du point portent l'alphabet. Il l'attribuait à la tradition kabbalistique juive, la « Kabbale des Neuf Chambres », où elle servait le symbolisme religieux plus que le secret.
La célébrité du chiffre vient de la franc-maçonnerie. Les loges employèrent le pigpen dès le début du XVIIIe siècle pour garder privés leurs récits d'histoire et leurs rites et pour la correspondance entre les dirigeants de loges — si assidûment que le système s'appelle aujourd'hui simplement le chiffre des francs-maçons. On le trouve gravé là où on l'attend : des pierres tombales maçonnes portent des gravures en pigpen, et l'une des plus anciennes pierres du cimetière de l'église Trinity de New York se lit « Remember death » — un memento mori maçonnique.
Le 7 juillet 1730, le pirate français Olivier Levasseur aurait jeté un morceau de papier en pigpen à la foule lors de son exécution — soi- disant l'emplacement de son trésor jamais retrouvé. Le message n'a jamais été lu de façon décisive, et l'agencement exact de sa grille est mort avec lui : une leçon précoce — une variante non standard impose une vraie cryptanalyse. Pendant la guerre de Sécession, des prisonniers unionistes dans les prisons confédérées employèrent le pigpen pour faire passer des messages sous le nez de leurs geôliers, et la documentation de l'armée de George Washington montre une version du système à alphabet randomisé.
Les sites web attribuent volontiers la variante à bras de croix aux Templiers médiévaux. La source savante du « chiffre templier » dit le contraire : le système à alphabet scindé et croix à bras est l'œuvre de néo-Templiers francs-maçons du XVIIIe siècle, et non de l'ordre religieux des XIIe–XIVe siècles. L'ordre médiéval n'a laissé aucun tel chiffre ; la légende est un habillage moderne d'une vieille idée.
Le chiffre a survécu en devenant un jeu. Il paraît dans les livres pour enfants sur l'écriture secrète, les chasses au trésor, les escape games, la fiction de trésor depuis Verne, et même dans le journal australien de 1852 d'un colon examiné par des historiens deux siècles plus tard. Le pigpen ne protège plus rien — il signale le secret, ce qui est peut-être le plus durable des métiers pour un chiffre.