辣木籽含有丰富的营养物质，并没有五种人不能吃的说法。但是可能不适合一些特殊人群大量吃，比如对辣木籽过敏的人群、胃肠道功能不佳的人群，以及肾功能不全的人群等。
1、对辣木籽过敏人群：对辣木籽过敏的人群吃了辣木籽以后，可能会出现皮肤瘙痒、皮疹等过敏症状，严重时可能会出现呼吸困难、过敏性休克等；
2、胃肠道功能不佳人群：中医认为辣木籽性辛，胃肠道功能不佳的人群如果大量吃，可能会刺激胃肠道，容易出现腹泻等症状；
3、肾功能不全人群：由于辣木籽含有丰富的蛋白质，而蛋白质需要经过肾脏进行代谢，肾功能不全的人群大量吃，可能会加重肾脏负担，诱发或加重机体的不适症状；
4、其他人群：婴幼儿的肝脏、肾脏代谢功能较弱，食用较多辣木籽可能会增加中毒风险。由于辣木籽含有较多的草酸，对于容易发生结石的人群，或者已经出现肾结石等人群，大量吃可能会增加结石的发生几率。此外，孕妇大量吃辣木籽可能会引起低血压，对胎儿产生不利影响，故不建议食用。