行政机关案件调查人员业务素质低，对新的法律法规不熟悉，法律意识淡薄，程序意识几近于无。大多数的行政案件调查人员，整天忙于日常的业务工作，很少有时间来进行业务知识和法律法规的学习，对于国家最近颁布的法律法规根本就不知道，即使知道了解也很少。对于和自己的业务工作联系不是很密切，不经常使用的就不关心，也不学习，有些甚至不知听证为何物。行政机关工作人员尚且如此，更不用说老百姓了。
（三）行政处罚听证程序的各项配套制度不健全
行政处罚听证程序的顺利进行，要依赖各项配套制度的相互作用才能完成。一个合理的听证程序，必须有完备的制度体系。它包括通知制度、公开制度、回避制度、代理制度、质证制度、主持人制度、物质保障制度、监督机制等内在的制度体系。而目前我国这些制度还很不健全，有些制度，如物质保障制度。虽然《行政处罚法》上明确规定：“听证程序所需经费由行政机关承担”，但在实践中常因行政机关经费不足而无法履行或大打折扣；有些制度，如主持人制度，由于法律规定过于简单笼统而在实践中难以把握；甚至有些制度，法律上根本未作出规定，如监督机制。这些都导致了听证程序无法进行。
（四）公民、法人等法律主体听证权利意识淡薄
听证程序是一项旨在保障公民、法人等法律主体合法权益的法律制度，它的正常运转，除执法人员的努力外，更需要公民、法人等法律主体积极主张权利。而我国目前的实际情况是公民、法人等法律主体意识极为淡薄。他们不想听证，不敢听证，不要听证，在有权听证时放弃听证，导致“立法上是先进的，但作为这一制度的直接受益者——将被处罚的公民、法人却不领情”的怪现象。这些观念的形成，一是由于我国是受官本位思想影响极深的国度，百姓不敢对他们的“父母官”进行直接的抗辩与责难。二是由于行政机关手中拥有着很大的行政权力，公民法人对其有畏惧感，不敢也不愿得罪行政机关，因而不愿诉诸于法律正当程序。
三、行政处罚听证制度的完善
（一）完善有关法律法规
我们要完善已有的法律法规，使之更具体更完备，更具可操作性。不仅要在《行政处罚法》中对听证的各项配套制度作明确具体的规定等，还要对有关行政处罚法规、地方性法规、规章等进行修改和完善，使之于行政处罚听证方面的规定相吻合。此外，还应在各地行政机关判定的行政处罚听证法规的基础上，总结使用中的经验和教训，逐渐形成一部统一的行政机关行政处罚听证法规，确保公民听证权的实现。
（二）加强学习，提高行政机关执法人员的素质
听证对行政执法人员的政治素质、业务素质等提出了更高的要求。要加强行政机关执法人员的政治理论学习和职业道德教育，提高行政执法人员的政治素质。要办好业务培训，提高行政执法人员的业务素质。加强行政执法人员对有关法律知识的学习，提高行政执法人员的法律素质。要求全体行政执法人员认真学习行政管理方面的法律法规，加强对《行政处罚法》的学习，可以专门就听证程序组织广大执法人员进行培训，使他们明确我国引入听证制度的重要理论和现实意义，弄清楚听证程序的具体操作步骤及注意事项，以承担日益提高的执法水准要求。
