Ông từng đảm nhận các vị trí Bí thư Đoàn Phường 10 - quận Phú Nhuận, Quận ủy viên - Bí thư Quận đoàn Phú Nhuận, Phó Bí thư Thành đoàn TP HCM.
Từ năm 2017 đến năm 2020, ông Phạm Hồng Sơn là Ủy viên Ban Thường vụ Trung ương Đoàn, Bí thư Thành đoàn TP HCM.
Từ ngày 28-3-2020, ông Phạm Hồng Sơn được điều động, chỉ định tham gia Ban Chấp hành Đảng bộ, Ban Thường vụ Quận ủy, giữ chức vụ Bí thư Quận ủy Phú Nhuận nhiệm kỳ 2015 - 2020.