Mafia 2, oyuncuları 1940’lar ve 1950’lerin Amerikan yeraltı dünyasına götüren etkileyici ve sinematik bir hikaye anlatımı sunar. Oyunun merkezinde Vito Scaletta adında genç ve hırslı bir adam yer alır; Vito, savaş sonrası New York’un karanlık sokaklarında daha iyi bir hayat arayışı içindedir. Ancak, sıradan bir vatandaş olmanın ötesinde, suç dünyasının içine çekilir ve mafyanın acımasız kurallarıyla tanışır. Hikaye boyunca Vito, çocukluk arkadaşı Joe Barbaro ile birlikte, organize suç dünyasında yükselmek için çeşitli riskli işlere bulaşır.