Das Institut wurde von der Österreichischen Akademie der Wissenschaften (ÖAW) auf Initiative von Herwig Friesinger und Herwig Wolfram am 1. Januar 1998 (zunächst auf fünf Jahre als Forschungsstelle für Geschichte des Mittelalters) aus mehreren traditionsreichen Akademie-Kommissionen gegründet.
Per 1. Juli 2012 wurden zwei weitere ÖAW-Forschungseinheiten dem Institut angeschlossen: das Institut für Byzanzforschung und die Kommission für Schrift- und Buchwesen des Mittelalters. Im Zuge dieser Erweiterung wurden vier Abteilungen eingerichtet:
Damit wurde von der ÖAW ein großzügiger Rahmen geschaffen, um nachhaltige Quellenarbeit zu betreiben und nationale wie internationale Forschungsnetzwerke auszubauen.
1998 wurde das Institut aus vier Akademie-Kommissionen gebildet, die als Arbeitsgruppen eingerichtet wurden:
Im Mai 2011 kam als fünfte die Arbeitsgruppe Volkssprachliche Texte im Spätmittelalter dazu.
Die 2012 neu einbezogenen Teile sind ebenfalls aus traditionsreichen Akademiekommissionen hervorgegangen: Aus der Kommission für Byzanzforschung und der Kommission für die Tabula Imperii Byzantini, sowie aus der Kommission für das Schrift- und Buchwesen des Mittelalters. Über die Geschichte dieser Forschungsunternehmen führen die Links zu den Abteilungs-Webseiten zu weiteren Informationen.
Um adäquat mit mittelalterlichen Quellen, die größtenteils in lateinischer und griechischer Sprache erhalten sind, zu arbeiten, ist hohe technische Kompetenz nötig, wie sie in Wien seit Generationen weitergegeben und verfeinert wird. Zugleich bedarf es dazu großer Offenheit für neue Ansätze, aktuelle Fragen und internationale Entwicklungen in der Mittelalterforschung. Das Institut hat Anteil an einer großen Tradition der mediävistischen Quellenforschung in Wien und an der Akademie. Seit der Mitte des 19. Jahrhunderts verfügt Wien mit dem Institut für Österreichische Geschichtsforschung über eine führende Ausbildungs- und Forschungsstätte für die historischen Hilfswissenschaften.
