Rozwój przemysłu w Królestwie Polskim przyczynił się znacznie do migracji ludności o podłożu ekonomicznym. Na ziemie polskie przybywali głównie mieszkańcy sąsiednich krajów: Prus, Austrii i Czech. Cudzoziemcy, którzy otrzymywali zatrudnienie w polskich ośrodkach przemysłowych, przeważnie stanowili wyspecjalizowaną i wysoko wykwalifikowaną kadrę zawodową. Pierwsze lata intensywnego osadnictwa imigrantów przypadają właśnie na czas początkowej działalności Zakładów Żyrardowskich (szczególnie na okres 1833–1840).

Z różnych stron schodzili się ludzie na robotę do fabryki żyrardowskiej, która ongi pracowała dniem i nocą na dwie zmiany, rozbudowywała się szybko i nie mogła wydołać zamówieniom nadchodzącym ze wszystkich stron. Gdyby fabrykanci mogli, to byliby kazali pracować na nawet w niedziele i święta. Było to niemożliwe, bo dawni robotnicy niedziele i święta tak dalece uważali za swój przywilej, że nawet wysokimi płacami nie dawali się skusić, aby przy pilnych robotach pracować czasem w święto. (Paweł Hulka-Lskowski, Mój Żyrardów, str.17)

Od czasu kiedy niemieccy przemysłowcy Karol Hielle i Karol Dittrich stali się właścicielami fabryki (1857 r.), wzrósł poziom mechanizacji produkcji i zwiększyła się znacznie liczba zatrudnionych osób. Stanowiska kierownicze oraz funkcje związane z nadzorem technicznym i inne wymagające wyższych kwalifikacji zadania przypadły w udziale cudzoziemcom wywodzącym się głównie z Saksonii i Prus. Zdarzało się, że sprowadzano również kadrę z innych krajów Europy: Anglii, Francji, Szwajcarii czy Włoch.

W większości zarząd fabryki wywodził się z Saksonii. Migranci pochodzenia niemieckiego, którzy pracowali na stanowiskach kierowniczych w fabryce, zwykle zamieszkiwali obszary znajdujące się w pobliżu zakładów. Przede wszystkim zajmowali dzielnicę willową usytuowaną przy ul. Armii Krajowej (dawniej ul. Parkowa). Wśród wyższej kadry pochodzenia niemieckiego byli kierownicy różnych działów pończoszarni, m.in. Ryszard Reichelt i Ryszard Kühn oraz dyrektor Wilhelm Haupt, który z czasem objął funkcję dyrektora całej fabryki. Dyrektorem oddziału wykańczalni był Karol Sprengel, a szwalni przewodził Ludwik Hoffman.

Jednak najzamożniejsi osadnicy niemieccy zamieszkiwali głównie Teklinów. Tam zajmowali się rolnictwem oraz prowadzili na niedużą skalę działalność przemysłową. Otwierali zakłady i budowali domy często przeznaczane na wynajem. Poprzez wykup ziem, uprawę i rozbudowę terenów ludność przybywająca z Prus czerpała znaczne zyski i zakładała kolonie niemieckie.

Wśród najuboższych osadników pochodzenia niemieckiego byli mieszkańcy Rudy. Przeważnie nie posiadali oni własnego kapitału. Zwykle szukali zatrudnienia w Zakładach Żyrardowskich na stanowiskach pomocniczych lub w mniejszych warsztatach rzemieślniczych.

Do napływu ludności czeskiej w głównej mierze przyczyniła się budowa oddziału tkalni, stanowiącego istotną część fabryki lniarskiej. Specjalnie dla tkaczy wywodzących się z Czech wybudowano wokół zakładów kilkanaście murowanych domów. Zanim proces tkania uległ zmechanizowaniu, popularnym i intratnym zajęciem było tkactwo ręczne. Osadnicy czescy specjalizujący się w tej dziedzinie nierzadko skupiali się wokół miejsca pracy wraz z wielopokoleniowymi rodzinami. Tworzyli zwarty system kształcenia kadr, polegający przeważnie na przyuczaniu do zawodu swoich rodaków.

Najliczniejszą grupę migrantów czeskich stanowiła ludność z Zelowa znajdującego się w pobliżu Łodzi. Konkurencja w sferze przemysłu, który rozwijał się w okręgu łódzkim bardzo dynamicznie, skłoniła Czechów do szukania miejsca stałego pobytu w większych ośrodkach, przede wszystkim w Łodzi i w Żyrardowie.

Czesi przybywali także z miejscowości związanych z życiem i działalnością właścicieli fabryki, zwłaszcza rodziny Dittrichów, m.in. z Krasnej Lipy i Rumburka. Z pośród nich wyłaniała się wyższa kadra urzędnicza. Robotnicy pochodzenia czeskiego stanowili stosunkowo nieliczną grupę i przybywali głównie z Wołynia. Wśród żyrardowskich osadników o czeskim rodowodzie często występują w źródłach nazwiska: Hetmanek, Wojtyszek, Doczkał, Howorek, Uhlenfeld, Hulka i inne.

Do Żyrardowa przybywali również Rosjanie, którzy poza działalnością gospodarczą, czy usługową, obejmowali stanowiska w urzędzie gminy, a także zasilali szeregi carskiej żandarmerii. Wśród wyznawców prawosławia istotną rolę odegrał Andrej Prijażdżew, który w latach 30. XX w. był zaangażowany w utworzenie kaplicy w domu przy ul. Działkowej. W budynku pełniącym funkcje cerkwi przynajmniej raz w miesiącu odbywały się nabożeństwa odprawiane przez popa przyjeżdżającego ze stolicy. Rosjanie osiedlali się przeważnie na obszarze Rudy i Podlesia.

Istotną rolę w rozwoju fabryki wyrobów lnianych pełnili przybysze z Wielkiej Brytanii, a szczególnie ze Szkocji. Stanowisko dyrektora przędzalni objął John Ogden, po nim funkcję tę przejął jego syn Edward. Dyrektorem zarządzającym fabryką został inżynier Peter Garvie. Jego syn Thomas (na zdjęciu obok) przez pewien czas pełnił funkcję dyrektora tkalni, a następnie po śmierci ojca wszedł w skład zarządu fabryki, gdzie działał aktywnie do roku 1915, czyli do momentu, kiedy zakłady zostały zniszczone przez wojska rosyjskie. W administracji fabrycznej wśród cudzoziemców wywodzących się z Anglii pracowali również m.in. Piotr Govenlock, Karol Shaw i Antoni Cody.

Anglicy odegrali także istotną rolę w żyrardowskim szpitalu, gdzie czołowym chirurgiem był lekarz fabryczny Wiliam Hay, a przełożoną pielęgniarek była Janet Dikson.

Do Żyrardowa w sprawach zawodowych przybywały także nieliczne grupy cudzoziemców ze Szwajcarii, Holandii i Włoch.

Rozwój fabryki był istotną przyczyną napływu ludności żydowskiej, której początki osadnictwa przypadają na lata 1840–1850. Z uwagi na potencjał gospodarczy ośrodka przemysłowego i ogólny wzrost populacji, Żyrardów był atrakcyjnym miejscem dla Żydów zajmujących się działalnością usługową. Najliczniej przybywali oni do Żyrardowa z okolicznych gmin: z Mszczonowa, Skierniewic, Grodziska Mazowieckiego i Wiskitek. Z reguły nie podejmowali pracy w fabryce, poza niewieloma zajęciami pomocniczymi, w charakterze szklarzy, stolarzy, blacharzy itp. Trudnili się także skupem lnu od pobliskiej ludności, który później dostarczali do zakładów. Jednak w zdecydowanej większości prowadzili własne warsztaty rzemieślnicze i zajmowali się handlem. Popularnym zajęciem wśród żyrardowskich Żydów było krawiectwo. W tym zawodzie wyróżniały się i dobrze prosperowały zakłady Szmula Indyka, Lojzera Jakubowicza i Mojsze Kaufmana. Żydzi zwykle mieszkali przy swoich sklepach i warsztatach, które rozciągały się wzdłuż ulic 1 Maja, Okrzei i Mireckiego, niedaleko placu rynkowego. Zamożniejsi zamieszkiwali obszar miasta przy stacji kolejowej. Avrom Zyskind, który uchodził za jednego z najbogatszych Żydów w okolicy, osiedlił się w "Czarnym Borku" (obecnie Międzyborów), gdzie wykupił część lasu i wybudował dacze. Najbiedniejsi gromadzili się wokół obszaru leżącego pomiędzy ulicami: Fabryczną (obecnie ul. Okrzei), Szeroką (obecnie ul. Łukasińskiego), Targową (obecnie ul. Narutowicza), Ogrodową (obecnie ul. Mielczarskiego) i Wąską (obecnie ul. Szulmana). W tej okolicy funkcjonowały najważniejsze dla gminy żydowskiej obiekty: synagoga (zburzona w 1960 r.), łaźnia rytualna (mykwa) i szkoły (Talmud Tora, chedery). Cmentarz (kirkut) utworzono na obrzeżach miasta u zbiegu ul. Mireckiego i ul. Konopnickiej.

Obok niedziel i świąt powszechnych były święta parafialne i święta fabryczne, w lecie podczas spisu inwentarza i oczyszczania stawów fabrycznych. Dość powiedzieć, że Wielkanoc trwała całe pięć dni: zaczynała się świętowaniem Wielkiego Piątku, bo w Żyrardowie jest wielu ewangelików, a po "lanym poniedziałku" był we wtorek "babski dyngus". Po wyjściu z fabryki w Wielki Czwartek po południu, robotnicy wracali do pracy dopiero w środę tygodnia przewodniego. Zielone Świątki z zapachem tataraku i Boże Narodzenie z piernikami i orzechami, a przede wszystkim z obfitą" wilią" i pasterka, to były także wydarzenia radosne. A tu jeszcze tyle różnych innych świąt, imienin, wesel, chrzcin , ostatków! Paweł Hulka-Lskowski, Mój Żyrardów, str.25

Plac targowy w Żyrardowie, 1925 r.