En novembre 1941, l'occupant créa l'Association des Juifs en Belgique (AJB). Divers responsables communautaires y furent nommés d'office, dont le grand-rabbin Salomon Ullmann. C'est ce dernier qui proposa à Perelman, en janvier 1942, d'intégrer le comité bruxellois de l'AJB. Prudent, il s'en tint à un rôle d'expert auprès des directeurs de l'institution : il s'occupa, au titre de conseiller technique, de la question de l'enseignement. Et il ne fit véritablement partie de l'AJB comme responsable à part entière qu'en novembre 1942, à l'instigation de la Résistance juive: il sera effectivement nommé membre de l'AJB le 2 décembre, proposé comme responsable de la section enseignement. Perelman prit en réalité à l'AJB la succession d'Eugène Hellendael, arrêté le 24 septembre. Il y fut chargé des mêmes responsabilités que dans l'activité clandestine, c'est-à-dire de l'aide aux adultes et du service social ; il prendra en fait la direction de ce service après l'arrestation de Maurice Heiber, qui survint en mai 1943. Hertz Jospa, qui avait eu en charge la section juive de la Main-d’œuvre immigrée du Parti communiste avant la guerre, était convaincu qu'il était nécessaire de créer des formes de défense propres aux Juifs, en raison de la persécution particulière qui les frappait. Ce n'est qu'en juin 1942 que Jospa obtint le feu vert du Front de l'Indépendance pour constituer une organisation de défense spécifique aux Juifs.