孔元方是河南许昌人，经常服食松脂、茯苓等仙药。刚开始得到这个药方的时候，他已经年老，但服用仙药以后，越来越年轻，好像才四十岁的样子。
郄元节、左元放都是他的好朋友，他们仨人都不读四书五经，不关心时事，专心修炼道术。
孔元方心地善良，衣着朴素，素食清淡，每次喝酒都没有超过一升，当时有一百七十多岁。有一次，几位会请孔元方一同喝酒，他们每人都要行酒令。
到孔元方的时候，他什么话都没说，只是把拐杖拄在地上，手扶着拐杖倒立，头朝下，脚朝上，另一只手拿着酒杯喝酒，其他人都不能像他这样喝酒。
孔元方有妻有子，从来不积攒钱财，喜欢下地种田。有一次，他的家里失火，街坊邻居都来救火，往外抢救衣物粮食家具，孔元方却不顾及这些东西，反而蹲坐在篱笆前看火。他的妻子催促他赶紧帮忙抢救财物，他大笑着说：“这些东西有什么可惜的？”
他还在河岸边凿了一个洞，洞有一丈多宽。元方进入洞中，辟谷修炼，不吃不喝，也不让家里人来看他。洞前面有一棵柏树，长在荆棘草丛之中，刚好把洞遮挡住。弟子有急事求见孔元方，却没能找到那个洞。
后来从东方来了一位少年，名叫冯愚，喜好道术，一心想要跟随元方学道。他来到岸边，找到了那个洞口，元方说：“其他人都找不到我，如今你找到了我，看来你是值得我传授道术的人。”
于是把两卷写在白布上的经文给了冯愚，说道：“这是大道的真谛，修道的要点，四十年才能传授一人。如果四十年时间到了，却没有值得传授的人出现，也不能轻易传授给不值得的人。
如果第一个四十年没有传授出去，再过四十年后出现两个值得传授之人，就可传授给他们两个人。可以传授之时，却没有传授出去，此乃“闭天道”之大罪；不可传授之时，却传授了出去，此乃“泄天宝”之罪。此两大罪过可祸及子孙。我已经把该传的都传给你了，也可以离开了。”
于是元方离开妻子儿子，进入西岳华山。五十年后，孔元方回过一次故乡，故乡还有认得他的人。