此语出自《论语·季氏》，原文是：“孔子曰∶‘天下有道，则礼乐征伐自天子出；天下无道，则礼乐征伐自诸侯出。自诸侯出，盖十世希不失矣；自大夫出，五世希不失矣；陪臣执国命，三世希不失矣。天下有道，则政不在大夫；天下有道，则庶人不议。’”意思是，孔子说：“天下的治理符合大道，那么，制礼作乐以及征兵伐罪的事情都是由天子主持进行；天下治理不符合大道，那么，制礼作乐以及征兵伐罪的事情就会由各诸侯主持进行。由各诸侯主持进行，大概过十代（三百年）就几乎没有不失去天下的；要是由诸侯国下面的大夫来主持进行，过五代（一百五十年）就几乎没有不失去天下的；大夫手下的家臣主持国家政令，三代（九十年）就几乎没有不失去天下的了。天下治理符合大道，那么政令就不能掌握在大夫手中；天下治理符合大道，那么平民百姓就不会议论朝政。”
有人说，有道的社会更应有舆论监督，因此就说孔子在这里的意思好象是不让百姓对政府施行舆论监督，因而是专制的体现。这种理解完全是歪曲。张养浩的散曲《山坡羊·潼关怀古》中说：“兴，百姓苦；亡，百姓苦”，这是大家都知道的，而且是评价很高，实际上，这里所说的兴亡也就是朝代的更替，任何朝代的更替，受害者首先是百姓！孔子在这里所讲的也就是一种减少朝代更替的原则，为什么却成了“维护封建统治秩序”了呢？假如每个地方官府都各自制订一套礼乐而自行其是，中央政府无法统一掌握；假如每个地方政府都根据个人的好恶和利益而去肆意征伐异己，那么，也就是天下大乱的时候，受害的难道不是百姓吗？天下安定的时候，也就是百姓“乐其乐而利其利”的时候，安居乐业的时候，他们各自按照自己的本性而生活，根本不需要对执政者感恩戴德，甚至不需要知道执政者是谁，当然也就不会议论朝政的得失，因为此时的朝政得失有官员负责，而且掌握得很好；但是，当天下大乱的时候，官员成了贪官污吏，最高执政者无法控制天下的局面了，百姓怎能不怨声载道？孔子所赞美的、为后世执政者树立的君王的楷模是尧舜，他们向打草的砍柴的去询问政治的得失，在路边设立“谏木”，使百姓自由议论朝政得失，而且有则改之，无则加勉，因此，孔子怎么会“防人之口”呢？

天下有道，无可非议，故庶人不议。