克己奉公公元24年，刘秀攻打颍阳一带，祭遵去投奔他，被刘秀收为门下吏。后随军转战河北，当了军中的执法官，负责军营的法令。任职中，他执法严正，不循私情，为大家所称道。

　　有一次，刘秀身边的一个小侍从犯了罪，祭遵查明真情后，依法把这小侍从处以死刑。刘秀知道后，十分生气，想祭遵竟敢处罚他身边的人，欲降罪于祭遵。但马上有人来劝谏刘秀说：“严正军令，本来就是大王的要求。现在祭遵服从法令