Der Beginn der Bauarbeiten konnte nicht vor 1946 beginnen, der Zweite Weltkrieg brachte es mit sich, dass die US-Regierung viele Baumaterialien für private Zwecke verboten hatte, um der Nachfrage der Rüstungsindustrie nachzukommen, doch Wright plante, das Gebäude aus Stahlbeton und aus einem einzigen Guss zu errichten. Im ersten Jahr nach dem Krieg wollte Wright beginnen, doch für Guggenheim waren die Materialien zu teuer und er wollte warten. Unglücklicherweise stiegen die Preise weiter an und Guggenheim starb 1949 ohne auch nur den Spatenstich seines Projektes miterlebt zu haben.

Damit kam das nächste Problem. Neffe Harry F. Guggenheim übernahm das Projekt, doch die beteiligten Komiteemitglieder, die Presse und auch Künstler, allesamt kritisch gegenüber den Plänen eingestellt, begannen einen wahren Kreuzzug gegen das Museum und Wright sah sich gezwungen Harry von seiner Vision zu überzeugen. In einem Brief holte er zu einem flammenden Plädoyer aus für die Harmonie zwischen Gebäude und der ausgestellten Malerei. Die Absicht sei doch «to make the building and the painting a beautiful symphony such as never existed in the world of Art before».

Natürlich gewann er den Kampf der Kulturen. Auch wenn die Kritiker weiterhin mit dem Gebäude haderten. Der Künstler Willem de Kooning meinte, hier liesse sich keine Kunst präsentieren, die Wände seien nicht gerade, es sei zu niedrig und das Gebäude selbst zu präsent. Ein Vorwurf der des öfteren wiederholt wurde: man beschuldigte den Bau als zu selbstgefällig, als ein Museum, das sich am liebsten selbst im Museum ausstellen wolle.