Urodził się w 1824 roku w Przasnyszu jako syn Piotra i Marianny z Sypniewskich. W 1844 roku wstąpił do seminarium duchownego w Pułtusku, a w 1847 roku otrzymał święcenia kapłańskie. Jako neoprezbiter pracował w farze płockiej, a od 1850 roku w kolegiacie pułtuskiej. W 1854 roku zostaje mianowany członkiem kolegium księży wikariuszy płockiej katedry. Od 1859 roku był też administratorem domu księży emerytów w Płocku. W 1861 roku odznaczono go kanonikatem honorowym kapituły podlaskiej. Od 1863 roku opiekował się parafią w Bieżuniu, a wiosną 1865 roku został mianowany przez biskupa Wincentego Chościak- Popiela proboszczem i dziekanem mławskim. Przez kilka lat sprawował też opiekę duszpasterską nad kościołem w Szydłowie i Kuklinie. W latach 1876- 1885 dokonał przebudowy kościoła Świętej Trójcy w Mławie. Parafią żmijewską administrował bardzo krótko, tj. od stycznia do końca marca 1879 roku [zastępował złożonego chorobą Ks. Jana Dąbrowskiego].  W 1885 roku uczestniczył w konsekracji Kościoła w Żmijewie. Obok posługi duchowej- pełnił wiele funkcji społecznych, między innymi w 1880 roku zasiadał w Zarządzie Rady Generalnej Dobroczynności Publicznej Powiatu Mławskiego- był kuratorem Szpitala Św. Wojciecha w Mławie. Ponadto, w listopadzie 1882 roku został Członkiem Honorowym Komitetu Towarzystwa Straży Ogniowej Ochotniczej w Mławie. W 1884 roku m.in. za działalność społeczną (Kurator domu starców i kalek w Mławie), na wniosek ówczesnego Ministra Spraw Wewnętrznych - Ks. Mateuszowi nadany został przez Cara Aleksandra III Romanowa - order Św. Stanisława II klasy. Ks. Mateusz Świdwiński zmarł 24 kwietnia 1886 roku i został pochowany nieopodal kościoła Św. Wawrzyńca  w Mławie. *

*Na podstawie własnych danych oraz "Postacie wpisane w dzieje Mławy i regionu", Mława 2014 , a także "Korespondent Płocki" 1880/1882; Tygodnik Polityczno-Społeczny "Kraj" nr 16 z 1884.