拆迁工作由国务院建设行政主管部门及地方房屋拆迁管理部门负责。具体来说：
国务院建设行政主管部门
负责全国城市房屋拆迁工作的监督管理。
地方房屋拆迁管理部门
各省、自治区建委（或建设厅）和城市的房地产管理局（或人民政府授权的其他部门，如拆迁办公室）主管本行政区域内的城市房屋拆迁工作。
县级以上地方人民政府负责管理房屋拆迁工作的部门（简称房屋拆迁管理部门）负责本行政区域内的城市房屋拆迁工作的监督管理。
拆迁办公室
拆迁办公室（简称拆迁办）负责与拆迁有关的事务，是在城市改扩建过程中应运而生的办事机构和组织。
综上所述，拆迁工作由国务院建设行政主管部门负责全国范围内的监督管理，而地方层面则由各省、自治区、直辖市的建设行政主管部门或房地产管理部门负责本行政区域内的拆迁工作，具体执行和日常事务则由地方房屋拆迁管理部门和拆迁办公室负责。