Im Jahr 1981 erwarb die Stadt Ingolstadt die Sammlung von Eugen Gomringer. Gomringer gilt als „Vater der Konkreten Poesie“, der über viele Jahrzehnte mit den wichtigsten Konkreten Künstlern freundschaftlich verbunden war. Der Ingolstädter Siebdrucker Herbert Geier vermittelte bei diesem Ankauf maßgeblich, da auch er für viele der bekannten Künstler arbeitete.

Ausgehend von diesem Kernbestand vergrößerte sich die Sammlung stetig. Der erste Museumsdirektor Peter Volkwein konnte wichtige Schenkungen und Ankäufe tätigen und dadurch der Sammlung über die Jahre hinweg wachsende Bedeutung geben. Sein Nachfolger Dr. Tobias Hoffmann erweiterte schließlich den Bestand um Design. 

Von Anfang an waren Dauerleihgaben ein wichtiger Bestandteil. Seit einigen Jahren besteht beispielsweise eine enge Zusammenarbeit mit dem Münchner Sammlerehepaar Maximilian und Agathe Weishaupt, die auch gezielt für das zukünftige Museum Werke ankaufen. Eine große Sammlungspräsentation fand im Sommer 2015 im Museum für Konkrete Kunst statt. 

In den letzten Jahren öffnete sich das Haus verstärkt für junge KünstlerInnen und beschränkte sich nicht länger auf die Gattungen Malerei und Plastik. Neue Medien, wie Film und Video, gehören mittlerweile ebenso zur Sammlung wie Installationen. Die Ausstellung „Einfach dreifach: Reto Boller, Martin Pfeifle und Eran Schaerf“ (Herbst 2013) zeigte exemplarisch, wie die „Idee Konkret“ in der zeitgenössischen Kunst ihre Fortsetzung findet. In regelmäßigen Abständen werden junge KünstlerInnen eingeladen, sich mit der Sammlung und der Kunstrichtung Konkrete Kunst auseinanderzusetzen (z.B. Stephanie Senge, Lars Breuer, Christoph Niemann).

Seit 2000 baut das Museum für Konkrete Kunst auch eine Designsammlung auf. Der Schwerpunkt liegt auf den Schnittstellen zwischen Konkreter Kunst und Design, wie beispielsweise Max Bill und die Hochschule für Gestaltung in Ulm, die maßgeblich ihre Konzepte aus der Konkreten Kunst entwickelt haben.

Von besonderer Bedeutung ist jedoch auch das Weimarer bzw. spätere Dessauer Bauhaus, von dem aus eine neue funktionale Ästhetik in Kunst, Design und Architektur ausging. Die industrielle Fertigung von Produkten und Möbeln mit hohem ästhetischem Anspruch ist ein wichtiges Kennzeichen für die Moderne seit den 1920er Jahren. Wichtig war dabei auch, dass Waren produziert wurden, die für die breite Masse bezahlbar waren. Dieses massentaugliche Design propagierte speziell der Werkbund. Auch das ist ein Bereich, den das Museum für Konkrete Kunst verstärkt sammelt.

Das Konvolut aus der Sammlung Wilfried und Inge Funke, das 2014 und 2015 ans Haus kam, ist im Bereich der Keramik eine herausragende Ergänzung.

Darüber hinaus ist die historische Fahrzeugsammlung der Stadt Ingolstadt an das Museum angegliedert.