Название народа мордва, или мордвины, было дано им соседями. Среди самих мордвинов оно никогда не употреблялось. Мордва издревле делилась на две большие, близкие между собой, группы (некоторые считают их отдельными этносами) – мокша и эрзя. До конца XIX века этнографы выделяли в составе мордвы ещё два мелких субэтноса – терюхан и каратаи.
В письменных источниках мордва впервые упоминается в VI веке в «Происхождении и деяниях готов» Иордана. Рассказывая о готской «империи Германариха», якобы существовавшей в конце IV века, Иордан упоминает в числе покорённых ею народов «меренс» и «морденс». Большинство историков считают их известными позднее по древнерусским летописям мерей и мордвой. В то же время многие историки не признают реальность завоевания этих народов Германарихом. Обратив внимание на характер перечисления народов Иорданом, академик Б.А. Рыбаков убедительно показал, что Иордан пользовался каким-то итинерарием (путеводителем). Этот жанр географических сочинений был весьма распространён в конце античности и начале средневековья. И нет оснований считать, что этот итинерарий был написан существенно раньше, чем книга Иордана.
В VIII-IX вв. на земли нынешней Центральной России, по соседству с мордвой, проникают первые славянские поселенцы. Мордва в это время, как и славяне, переходила от первобытного общества к раннеклассовому государству. Однако этот процесс, в силу географических условий, у мордвы задержался. Её консолидация происходила медленнее, чем у славян. Вдобавок славяне обладали в то время более мощным демографическим потенциалом. Всё это и предопределило исход столкновения между славянами и мордвой. Мордва вынуждена была в итоге покориться.
Однако никакой народ не отдаёт свою свободу без борьбы. Войны между Русью и мордвой были долгими и кровавыми, продолжались не одно столетие. В 2012 году какие-то патриотические круги отметили «1000 лет добровольного вхождения Мордовии в состав Русского государства». Не говоря уже о том, что подчинение мордвы власти русских князей отнюдь не было добровольным, в 1012 году вообще не упоминается ни одно событие, связанное с этими краями. Русские источники знают мордву только с начала XII века. Перелом в борьбе Руси с мордвой в пользу Руси наметился только в конце XIV века. Да и после того большинство мордвы не были прямыми подданными, а только вассалами русских государей, окончательно войдя в состав России только в конце XVII столетия.
Первое упоминание мордвы в русских летописях относится к 1103 году. Что характерно, оно связано с войной между русами и мордвой, в которой русы потерпели поражение. В том году, 4 марта, основатель Муромо-Рязанского княжества Ярослав Святославович сразился с мордвой и, по словам летописца, «побежден бысть».
Спустя некоторое время колонизационное движение славян на земли мордвы возглавили владимиро-суздальские князья. Мордва тогда жила не только на своих нынешних землях, но и по Волге от устья Оки до устья Суры. В 1221 году в самом сердце мордовских земель князь Юрий Всеволодович основал город Нижний Новгород. Он должен был стать опорным пунктом для военных походов на Волжскую Болгарию и для покорения союзной болгарам мордвы.
Как пишет Карамзин, великий князь «от времени до времени посылал войско и сам ходил на мордву жечь сёла и хлеб, пленять людей и брать скот в добычу. Жители обыкновенно искали убежища в густых лесах, но и там редко спасались от россиян». Эти набеги, конечно, не всегда оставались безнаказанными. Мордовские князья при этом стремились ликвидировать Нижний Новгород – оплот русского господства в Поволжье. Борьбу за независимость возглавил князь Пургас. В 1229 году он подошёл с войском к Нижнему Новгороду, сжёг посад, но взять крепость не сумел. В ответ суздальская рать снова погромила землю мордвы. Пургас возглавлял раннее государственное образование эрзи, а в союзе с Русью воевали некоторые вожди мокшан. Таким образом, при покорении мордвы русы пользовались племенными раздорами среди самой мордвы.
Одновременно с походами суздальцев на мордву, монголо-татарское войско опустошало Волжскую Болгарию, на которую мордва ориентировалась в своём противодействии русской колонизации. Разгром Волжской Болгарии открыл Орде путь в Северо-Восточную Русь. При этом, согласно одной из летописных версий, проводниками монголо-татар в русские земли послужили мордвины. В то же время источники сообщают, что орды Батыя разорили и мордву, а князь Пургас погиб в битве с ордынцами зимой 1238/39 г.
В новой геополитической обстановке и Русь, и мордва стали данниками Золотой Орды. Но движение славян на восток продолжалось, и решающее столкновение было неизбежно. При этом русские и мордовские правители оказывались вовлечены в борьбу за власть придворных ордынских группировок и призывали к себе на помощь союзные татарские войска.
В 1377 году суздальско-нижегородский князь Дмитрий Константинович выступил с ратью против части Орды, но проявил в походе беспечность. Когда его войско отдыхало на днёвке возле реки Пьяны, на него внезапно напал татарский царевич Арапша и истребил большую его часть. Русские винили в поражении мордву, помогшую Арапше скрытно подойти, и не замедлили с местью.
Зимой 1377/78 г. брат суздальского князя Борис, удельный князь городецкий, возглавил карательный поход. Он «опустошил без битвы всю землю Мордовскую, истребляя жилища и жителей», – пишет Карамзин. Князь вернулся из мордвы с богатой добычей в виде рабов (женщин и детей), а также с несколькими пленными мордовскими старейшинами, которых затем казнили в Нижнем Новгороде. Толпа нижегородцев надругалась над их трупами, привязав их к собакам, проволочившим их по льду Волги.
Удар мордовской независимости был нанесён, но пока не смертельный. В начале XV века свергнутые потомки суздальско-нижегородских князей (их государство было присоединено к Московской державе) вступили в борьбу за возвращение своей отчины и нередко прибегали при этом к помощи мордвы. На время им даже удалось возвратить себе Нижний Новгород, но победа в итоге осталась за Москвой.
Окончательное подчинение мордвы Москве было задержано образованием Касимовского царства казанским царевичем Улу-Мухаммедом в 1445 году. Касимовское царство вступило в вассальные отношения к московским великим князьям и просуществовало в таком положении до 1681 года. В своей внутренней жизни Касимовское царство было совершенно автономно и управлялось по своим законам. Его правящий класс состоял из татар, но большинство его населения было мордвинами. Государственной религией в нём был ислам.
Мордва, часть которой раньше поверхностно приняла православие, теперь столь же поверхностно приняла ислам, а по большей части придерживалась своих традиционных «языческих» верований. Поэтому, когда в конце XVII века русский царь Фёдор Алексеевич упразднил Касимовское царство (не в последнюю очередь из-за того, что большая часть мордвы выступила вместе с повстанческой ратью Степана Разина против Москвы), интенсивно развернулась насильственная христианизация мордвы. Она завершилась в основном к середине XVIII века. С этого времени и можно считать «вхождение» мордвы в состав России.