春秋时期，孔子是当时的学问大家，孔子开创私人讲学之风，倡导仁义礼智信。孔子是儒家学派的创始人。相传孔子有三千多弟子，其中三千中有七十二个学问颇深，被尊称为七十二贤，七十二贤中有个叫端木赐的弟子，复姓端木，字子贡。他是儒商鼻祖，春秋末年卫国（今河南省鹤壁市浚县）人。子贡也是孔子的得意门生，孔门十哲之一，子贡在孔门十哲中以言语闻名，利口巧辞，善于雄辩，且有干济才，办事通达，曾任鲁国、卫国之相。还善于经商，为孔子弟子中首富。

    有一次，鲁国大夫在别人面前贬低孔子，抬高夸赞子贡。子贡听说后非常气愤，他当即以房子打比方，说老师的围墙高几丈，屋内富丽堂皇，不是一般人能看得到的；而自己不过是只有肩高的围墙，一眼就可望尽。他还把老师比做太阳和月亮，说老师光彩照人，不是常人所能超越的。

    在当时，鲁国的第一权臣是阳虎，他原是季孙氏（季平子、季桓子）的家臣，阳虎毫无背景。后来鲁国内乱，阳虎通过镇压叛乱很快获得了鲁国的军政大权。阳虎虽然暂时坐稳了鲁国执政的宝座，但是唯恐有一天三桓（三桓指鲁国卿大夫孟孙氏、叔孙氏和季孙氏。）会联手把他铲除，因为三桓势力还是十分强大的，后来双方最终还是发生矛盾，爆发了战争，阳虎最终失败，流亡到齐国，但是又受到齐景公的排斥，阳虎绕道宋国，辗转至晋国。

    阳虎在晋国遇到了晋国时任中军佐的赵简子赵鞅。赵鞅收留了阳虎，并委任阳虎为二把手。有一天两人喝酒：阳虎想起自己的逃亡生涯，非常感慨的对赵鞅说：“孔丘（孔子）有三千弟子，各个都成了可造之栋梁，我当年在鲁国执政时，手底下学生没有一万也有五千吧，在我落难时我的饿这些学生非但不帮我，而且还谋害我，我栽培的不是桃李，都是蒺藜呀！”

    门墙桃李的意思是：门墙：指师长之门；桃李：比喻后进者或学生。称他人的学生。