פעם, בתקופת בית שני, מי שמלא את התפקיד שימש כסגן הנשיא, החכם שעמד בראש בית המשפט העליון (סנהדרין גדול). הם עבדו יחד ונקראו "זוגות".
אב"ד ניהל את ישיבות בית המשפט העליון בהיעדרו של הנשיא. מאוחר יותר, המונח "אב"ד הפך להיות "יושב ראש בית הדין".
כך הוא מובן גם כיום. בכל עיר בישראל יש בדרך כלל בית דין, והרב הראשי של העיר הוא האב"ד.