À l’opposé, d’autres acteurs questionnent et remettent en cause la notion d’universalité des biens culturels. Morgan Jouvenet, chercheur au CNRS, analyse par exemple l’argumentation de l’historien de l’art américain James Cuno en faveur du “musée encyclopédique” et s’interroge sur la légitimité de grands musées du monde occidental à posséder et exposer des oeuvres et objets hérités de civilisations anciennes. Pour Jouvenet, exposer des oeuvres et des objets d’art dans une institution muséale n’est en aucun cas “politiquement innocent”. La question de la restitution n’est selon lui pas un problème simplement juridique résultant d’un pillage ou d’une spoliation. La décision de restitution est souvent prise pour des raisons symboliques ou politiques. Il évoque les différentes restitutions ayant eu lieu comme celle de l’un des cinq fragments de peintures murales exposé au musée du Louvre et restitué à l’Egypte en 2009 par le président français Nicolas Sarkozy. Les revendications d’un pays désirant récupérer un bien culturel s’appuient selon Jouvenet sur “un idiome identitaire construisant la propriété et la jouissance de ces oeuvres comme une nécessité symbolique réparant la perte d’une partie de soi héritée du passé”. Ainsi, la non-restitution des frises du Parthénon par le Royaume-Uni à la Grèce parasite les relations officielles entre les deux pays.  

De même, Marie-Cécile Zinsou, présidente de la fondation Zinsou, une fondation privée dédiée à l’art africain critique cette notion d’oeuvres universelles défendue par Cuno : “En Afrique, nous sommes les seuls à ne pas avoir droit à ces oeuvres. On dit qu’elles sont universelles, mais cette universalité est uniquement destinée à l’Europe et aux États-Unis”.

Une dernière partie des acteurs de ce nœud problématise la question de la conservation sous l’angle de l’intégrité de l’œuvre. Jean Loup Amselle, anthropologue et ethnologue français questionne notamment la notion même d’oeuvre d’art construite par les institutions muséales occidentales. Pour lui, exiger que les biens qui appartenaient aux anciennes colonies soient ré-exposés dans des musées une fois retournés à leur “pays d’origine” reviendrait à leur exiger de se calquer sur un ancien modèle qui leur a été imposé par ailleurs. La légitimité considérée comme universaliste est en fait une condition sine qua non à l’extension de la culture occidentale dans les anciens pays colonisés. En effet, considérer de tels objets comme une oeuvre d’art alors que la fonction première de nombre de ces biens était rituelle correspond à ce qu’il appelle un processus de ré-ethnicisation. Pour lui, avec la colonisation et l’exposition de ces biens, ils sont passés de la catégorie d'”oeuvre de l’art” (au sens de Nelson Goodman et Gérard Genette) à oeuvre d’art. Cette position est défendue en partie également par le Conseil international des musées (ICOM). L’ICOM s’intéresse au rôle et statut des musées dans la conservation et surtout la valorisation des biens culturels et lui défend une mission essentielle, celle de « sensibiliser le public à l’ensemble de l’héritage culturel mondial », en s’appuyant pour cela sur la Charte constitutive de l’UNESCO. Dans une étude « relative aux principes, conditions et moyens de la restitution ou du retour des biens culturels en vue de la reconstitution des patrimoines dispersés », il se penche ainsi sur les problèmes posés aux pays détenteurs par la restitution en donnant « priorité » à l’objet : la question de la restitution n’est envisagée que du point de vue scientifique et culturel. Il estime donc, en s’appuyant sur les travaux du Comité d’experts de l’UNESCO de 1976, qu’il est impossible de fixer aux restitutions des limites dans l’espace ou le temps car « la communauté des nations considère désormais le droit des peuples à récupérer des biens culturels, parties intégrantes de leur identité culturelle, comme élément du ‘jus cogens’ » (c’est-à-dire du droit universel et supérieur).