藤田の絵画は、主に安東夫妻の東京小金井にある設計が気に入っているご自宅に飾られていたことから、美術館もご自宅と似た設計になっており、藤田との至福の時間をゆっくりと堪能できる空間になっている。

重厚感がある外観は本格的なイギリス製の赤レンガを使用。館内は、安東邸と同じ、その赤煉瓦とガラス貼りで囲まれた中庭を巡るように展示室がある。１階からゆっくりと順路を進むと２Fの大きな窓からは浅間山と離山を一望。ミュージアムショップも楽しい。