A svájci Unter-Embrach városkában született. Kitanulta az ácsmesterséget, majd öntőinas lett. Az iparosok akkoriban szokásos vándorútja során 1841-ben érkezett Pestre. A Széchenyi által kezdeményezett gőzmalom építésénél szerelőként dolgozott. 1844-ben már önálló öntödéje volt Budán, amely gyorsan jelentős üzemmé fejlődött. Kidolgozta a vasúti kocsik kerekeinek kéreg-öntésű gyártását, ennek tökéletesítésére több találmányt nyújtott be. Ebből az üzemből alakult az a vállalat-együttes, amely a gépipar, a járműipar, a villamosipar számos területén működve világhírű találmányokkal, műszaki megoldásokkal jelentkezett. Az 1848-as szabadságharc idején ágyúkat és golyókat öntött.
A szabadságharc bukása után az angol Burn kéregöntési találmányát próbálta a vagonkerék gyártására alkalmassá tenni. Kísérleteket folytatott, majd találmányát 1855-ben szabadalmaztatta. Sikereit ennek köszönhette. 1865-ben a császár személyesen fejezte ki legmagasabb elismerését. Két évvel később ünnepelték a százezredik kéregöntésű kerék gyártását, három héttel az ünnepség után Ganz tragikus körülmények között meghalt. Életében sokat fordított szociális célokra, üzemében Magyarországon akkor egyedülálló nyugdíjas és betegpénztárt létesített.
