招标保证金的退还时间主要依据《招标投标法实施条例》的相关规定，具体如下：
投标人撤回投标文件
如果投标人在投标截止时间前撤回已提交的投标文件，招标人应当自收到投标人书面撤回通知之日起5日内退还投标保证金。
招标人终止招标
如果招标人终止招标，应当及时发布公告或以书面形式通知潜在投标人，并退还所收取的投标保证金及银行同期存款利息。
确定中标人后
招标人最迟应当在书面合同签订后5日内向中标人和未中标的投标人退还投标保证金及银行同期存款利息。
合同签署完成
为确保公平竞争和诚信公开原则，投标保证金额度应当在合同签署完成后的五个营业日内如数退还给所有参与竞标的投标人，无论是成功中标者抑或未能入围的候选人均享受此项权利。
综上所述，招标保证金的退还时间主要取决于招标过程的具体情况，包括投标人是否撤回投标文件、招标人是否终止招标以及合同是否签署完成。在正常情况下，招标保证金应在合同签订后5个工作日内退还给所有相关投标人，如果招标人终止招标或投标人撤回投标文件，则应在收到撤回通知或终止招标通知后的5日内退还保证金。