Когда-то, во времена Второго Храма, занимавший эту должность являлся заместителем Наси, мудреца, возглавлявшего Верховный суд - Санхедрин гдола. Они работали вместе и их называли "Зугот".
Ав бейт дин возглавлял заседания Верховного суда в отсутствие Наси. Позднее, выражение "Ав бейт дин" стали понимать как "Председатель суда".
Так оно понимается и в настоящее время. Причём в каждом городе Израиля есть обычно бейт дин и главный раввин города является Ав бейт дин.