初等部の校舎は、青山学院の渋谷キャンパスの南側に位置し、六本木通り､高速3号線を挟み常磐松の地にあります。この地には、1964年（昭和39年）に現在の女子短期大学の校舎がある旧校舎から移ってきました。

現在の地においては、現在の校舎が2代目ということになります。
この地は、初等部が移って来る前には、明治維新に活躍された小松宮邸の跡地でした。当時の庭の一部が残されていました。春日灯籠に菊の紋章が入っていたり、庭石が京都の産であったりということからよくわかります。

初等部校庭中央にそびえ立つ楠木やけやきも小松宮邸当時のものであると言われています。
初等部南側にある庭が、その小松宮邸オリジナルの日本庭園です。