Ca doit peut être provenir de ta carte mère. Et sous Windows, as tu essayé de voir ?
C'est d'ailleurs bizarre que macOS bloque comme ça a cause de RAM disposant de fréquence trop élevée. Sur mon PC j'ai 2 barettes de 4Go en PC12800 (DDR3 1600MHz) et une autre de 4Go en PC10600, alors évidemment ce n'est que de la DDR3, mais macOS (El Capitan) détectait de la RAM a 1333MHz et l'installation s'est déroulée sans encombre. Ca doit être aussi lié au fait qu'aucun Mac n'est vendu actuellement avec de la DDR4 (l'iMac Retina 5K est dotée de DDR3 a 1866MHz) et donc macOS n'y est donc pas optimisé pour cela.
Je ne sais pas si toi et les autres êtes au courant, mais il faut mettre "Profil 1" dans les options mémoire du BIOS pour que la RAM soit détectée en 1600Mhz au lieu de 1333Mhz sur macOS. C'est peut être pareil avec les autres types de RAM, à tester...
Mettez "profil 1" ou au pire "Profil 2" (mais le 1 est conseillé) et regardez si vos soucis de RAM sont résolu.