Mafia 2 — це пригодницький екшн, який переносить гравців у кримінальний світ Америки 40-50-х років минулого століття. Події гри стартують у лютому 1945 року, коли ще йде Друга Світова війна. Віто Скарлетта, головний герой гри, ще молодий і недосвідчений, він щойно повернувся з армії та прагне знайти себе в житті. Разом із Джо він намагається довести мафії свою спроможність, граючи роль рядового гангстера.

Вся сюжетна лінія другої Mafia побудована за мотивами подій, що відбулися в США наприкінці першої половини ХХ століття, коли в країні небачено розрослися мафіозні клани. Місцем розвитку захопливих подій стане місто Емпайр Бей, прототипом якого був Чикаго. Віто Скарлетте доводиться спочатку зігнути спину на мафію для того, щоб віддати довгість свого батька, проте в певний момент йому кортить більшого, і він із головою занурюється у світ криміналу, який звулить йому гроші, популярність і, одночасно з цим, величезний ризик.

Втім, у Mafia 2 є можливість не тільки виконувати завдання — гравець волан просто бродити містом, обноюючи свій гардероб, купуючи нові машини, або ж просто оглядаючи пам'ятки та слухаючи джазову музику.