Selbst wenn man die Partitur als "Werk" betrachtet, welches mit dem letzten Ton "abgeschlossen" ist: Entscheidend ist in unserem Zusammenhang, dass sie (wie Du geschrieben hast) keine Musik ist.
dann ist es eben keine Musik, was der Komponist (und ein erfahrener und klangphantasiebegabter Partiturleser) in seinem inneren Ohr vernimmt. Vielleicht: "potentielle Musik"?
Zumindest hat es schon irgendwie mit Musik zu tun, also z.B. u.A. mit zeitlichen Verläufen akustischer Ereignisse, auch wenn die dann nur vorgestellt sind - es braucht dieselbe Zeit, sie innerlich "ablaufen" zu lassen, wie es halt lang ist. (u.A. deswegen ist eben auch Komposition eine recht zeitintensive Beschäftigung, auch wenn manches neben dem Alltag im Kopf passieren kann.)
Gerade hier gibt es den Punkt, den ich gerne einräume: der Komponist täuscht sich oft über im realen Aufführungsgeschehen funktionierende Tempi. Aber er kennt das Stück halt auch schon länger und vergisst u.U., in welchem Maße das, was er als "Gestalt" hört, zur Entfaltung Zeit braucht, um auch in anderen Ohren vernehmbare und deutliche Gestalt zu werden.