这个成语说的是，像泰山那样雄伟高大，像北斗星那样被人仰望景仰。用来比喻在某个领域道德崇高、成就卓越、为众人所尊崇敬仰的宗师级人物。
唐代中期，文坛上出现了一位伟大的文学家，他就是韩愈。韩愈从小刻苦读书，长大以后，不仅文章写得好，学问深厚，而且品格高洁，一生坚持正义。
当时的文坛流行一种华而不实的骈文，词藻漂亮但没有实际内容。韩愈对此非常不满，他大声疾呼，提倡“古文运动”，主张写文章要学习先秦两汉时的质朴风格，要言之有物，文以载道。他亲自写了许多气势磅礴、内容深刻的散文，影响了一代文风。在思想上，当时佛教盛行，耗费了大量国家钱财，连皇帝都痴迷于迎接佛骨。韩愈不顾个人安危，毅然上书皇帝，痛陈佛教的弊端，结果触怒了皇帝，被贬到遥远的潮州。但他始终没有后悔。
到了宋代，人们研究前代的文学，对韩愈的评价极高。大文豪欧阳修和苏轼等人，把韩愈的文章捧到很高的地位。在《新唐书·韩愈传》的结尾，史官写下了这样一句评价：“自愈没，其言大行，学者仰之如泰山北斗云。”意思是，自从韩愈去世以后，他的学说广为流传，求学的人仰慕他，就像仰慕高耸入云的泰山和指引方向的北斗星一样。
从此，“泰山北斗”就成了人们对一代宗师最高规格的赞誉。