1148年（皇统八年）农历正月十九日，丘处机生于山东登州栖霞。自幼失去双亲，尝遍人间辛苦。从童年时就向往修炼成“仙”，少年时栖身村北的公山，过着“顶戴松花吃松子，松溪和月饮松风”的生活。传说，他为了磨炼意志，曾一次次将铜钱从石崖上扔进灌木丛，直到找到为止。年十九出家宁海昆嵛山。1167年开始学道。1168年拜全真道祖师王重阳为师，王重阳为他取名处机，字通密，号长春子。大定九年，王重阳携弟子4人西游，途中得道飞升于汴梁城，嘱咐：“处机所学，一任丹阳。”
自此，丘处机在马丹阳教诲下，知识和道业迅速长进。和其他师兄弟合称“全真七子”他们是：丹阳子马钰、长真子谭处端、长生子刘处玄、长春子丘处机、玉阳子王处一、广宁子郝大通、清静散人孙不二（马钰之妻）。全真七子随王重阳一起弘扬道教全真派，丘处机在王重阳仙化后入磻溪穴居，历时六年，行携蓑笠，人称“蓑笠先生”。后又赴饶州龙门山隐居潜修七年，成为全真龙门派创始人之一。大定八至十年丘处机跟随王重阳在山东和河南传教。十年春，王重阳在河南汴梁升天后，丘处机跟随同门马钰、谭处端和刘处玄到陕西终南山拜会王重阳的朋友，及后于1172年将王重阳灵骨迁葬终南山。大定十四年8月，丘处机隐居磻溪潜修7年，又到陇州龙门山潜修6年。这期间，他“烟火俱无，箪瓢不置”，“破衲重披，寒空独坐”，生活极为清苦，但“静思忘念，密考丹经”，潜心于养生学和道学的研究，并广交当地文人学士，获得了丰富的历史、文化知识。大定二十八年三月，丘处机应金世宗召，从王重阳故居赴燕京，奉旨塑王重阳、马丹阳（时已去世）像于官观，并职“高功”，主持了“万春节”醮事。对皇帝作出了“持盈守成”的告诫。此时丘处机已名声大振。明昌二年秋，丘处机东归故里，修建了一处修道之所，金章宗赐匾额“太虚观”，即后来的太虚宫。因该宫地处滨都里村，栖霞人俗称之滨都宫。丘处机多次到访崂山，开创了全真道教的“龙门派”。《太清宫志》载：“宋庆元元年乙卯，真人丘长春……七真来崂山。止于本宫，讲道传玄，宏阐教义，道众大悟，各受戒律。”
太清宫三皇殿之后巨石上刻有他的石刻十首。泰和八年，他到莱西永真观后又来崂山，较长时间在这里修道，今白龙洞有他的石刻20首。他认为“牢山”名不好，山如同一座大鳌伏于海畔，命名为鳌山，因而明代在山畔建“卫城”的时候叫“鳌山卫”，海畔叫“鳌山湾”，是青岛蓝色硅谷主要“一极”。后又来青岛，在上清宫有题“词”和“诗”。崂山有许多丘长春的题词、词、诗的刻石，多为丘长春所写，后人上石刻字，如上清宫旁的丘长春词《青玉案》：“长春真人于大安己巳年胶西醮罢，道众邀请来此山，上至南天门，命黄冠士奏空洞步虚毕，乃作词一首，名曰《青玉案》。”
白龙洞刻诗20首，是崂山最大的一片石刻。泰和三年，刘处玄去世，丘处机任全真道第五任掌教。丘处机掌教时间长达二十四年，期间他在政治和社会上积极发挥自己的影响，使全真道乃至整个道教的发展都进入了兴盛时期。在泰和三年至兴定三年间，他在山东蓬莱、芝阳、掖县、北海和胶西等地传教；贞祐二年山东发生杨安儿起义，金朝驸马都尉仆散朝恩请丘处机协助招抚乱民，凭借丘处机的声望，登州和莱州等地很快恢复平静。贞祐四年金宣宗下诏派东平军王庭玉召丘处机赴汴梁，但丘处机认为金朝皇帝有“不仁之恶”，推辞未前往。至1219年（金兴定三年，宋嘉定十二年），宋宁宗派遣将领李全、彭义斌持诏书敦请丘处机赴临安，丘处机认为南宋皇帝有“失政之罪”，也推辞未前往。兴定三年五月，成吉思汗派使者刘仲禄等人携带诏书前往山东邀请丘处机前往蒙古帝国相见，十二月，刘仲禄到达山东莱州昊天观，奉命邀请丘处机前往蒙古帝国与成吉思汗会面，丘处机说：“我循天理而行，天使行处无敢违。”
欣然同意前往。兴定四年正月，丘处机挑选门人弟子赵道坚、宋道安、尹志平、李志常等十八名弟子离开山东昊天观，启程西去，这时他已经年届73岁。几个月后到达大蒙古国统治的燕京（原金朝中都，1215年5月31日被蒙古帝国攻陷后改名燕京），丘处机一行人入驻玉虚观，得到当地官员的热情接待。此时，丘处机听说成吉思汗已经于1219年（兴定三年）六月统兵西征中亚的花剌子模沙朝，而自己年事已高倦冒风沙，欲约成吉思汗来燕京会见，于是写了一份陈情表。刘仲禄乃令曷剌急驰报告成吉思汗。成吉思汗忙于西征战事，不能东到燕京，便写了回复诏书，派遣曷剌带回复丘处机。丘处机知道燕京会见不可能，便于1221年兴定五年春天继续西行。当时刘仲禄欲为成吉思汗挑选处女，丘处机当即劝阻，他说，“春秋时期齐景公为了削弱鲁国，派人挑选美女80人送给鲁定公。定公与国相季氏朝欢暮乐，朝政日衰，孔子为此指责定公：君相沉溺于声色，国家何以图强？”
后成吉思汗知悉而罢选。兴定五年四月出居庸关，途经漠南和中亚地区，在漠北草原拜会铁木哥斡赤斤后一路西行，途经镇海城时接纳田镇海的建议留下宋道安、李志常等九名弟子修建栖霞观，然后再经回纥城、昌八刺城、阿里马城、赛蓝城。于同年冬天抵达撒马尔干。兴定六年四月，丘处机途经铁门关抵达“大雪山”八鲁湾行宫觐见成吉思汗，实现了龙马相会（成吉思汗属马，丘处机属龙）。成吉思汗称他为“神仙”。同年秋冬，成吉思汗三次召见丘处机，询问治国和养生的方法，丘处机向他以“敬天爱民”、减少屠杀、清心寡欲等为回应。及后，成吉思汗下诏耶律楚材将这几次的对话编集成《玄风庆会录》。元光二年春天，丘处机向成吉思汗辞行，成吉思汗下诏豁免全真道的赋役，并沿途派兵护送，一行人于冬天抵达宣德府。跟随丘处机一路西行的十八名弟子之一的李志常，根据一路上的西行见闻，后来写成《长春真人西游记》一书，具有重要的史料价值。正大元年春天，丘处机应燕京官员的邀请主持天长观。正大四年，成吉思汗下诏将天长观改名长春宫，并赠“金虎牌”，以“道家事一切仰‘神仙’处置”，即诏请丘处机掌管天下道教。正大四年七月初九日，丘处机在长春宫宝玄堂逝世，享龄80岁，瑞香氤氲整个北京城三日，世人称奇。逝世一周年，他的弟子将他安葬在长春宫内的处顺堂。元世祖时，追尊其为“长春演道主教真人”。