根据最新的政策规定和公布的时间表，灵活就业者将于2024年开始交纳社会保险。虽然原定计划在2023年实施，但为了给雇主和雇员更多的时间来适应这一变化，政府已经决定将实施日期推迟一年。因此，灵活就业者需要在2024年开始按照规定交纳社会保险，这将为他们提供更多的社会保障和福利。