Als Bestandteil der Sammlung des Kurfürsten Johann Wilhelm von der Pfalz gelangte Die heilige Familie im frühen 19. Jahrhundert von Düsseldorf nach München. In der Düsseldorfer Galerie des Kurfürsten ist sie seit 1697 nachweisbar. Vor diesem Zeitpunkt befand sich das Werk vermutlich in den Florentiner Uffizien, wo es bereits in einem Inventar von 1598 verzeichnet ist.
Erstmals 1965 wurde das Gemälde mit einer Passage in der Vita Andrea del Sartos in Verbindung gebracht, die sein Schüler Giorgio Vasari 1568 verfaßte. Dort ist von einem Madonnenbild die Rede, das von dem Florentiner Kaufmann G. B. Puccini für den Verkauf nach Frankreich in Auftrag gegeben wurde. Nach Vasaris Schilderungen gefiel Puccini das Gemälde jedoch so gut, daß er es behielt.
