Dynamic Normativity

Abstract

The critical inquiry pervading the realm of Philosophy, and perhaps extending its influence across all Humanities disciplines, revolves around the intricacies of morality and normativity. Surprisingly, in recent years, this thematic thread has woven its way into an unexpected domain, one not conventionally associated with pondering "what ought to be": the field of artificial intelligence (AI) research. Central to morality and AI, we find "alignment", a problem related to the challenges of expressing human goals and values in a manner that artificial systems can follow without leading to unwanted adversarial effects. More explicitly and with our current paradigm of AI development in mind, we can think of alignment as teaching human values to non-anthropomorphic entities trained through opaque, gradient-based learning techniques. This work addresses alignment as a technical-philosophical problem that requires solid philosophical foundations and practical implementations that bring normative theory to AI system development. To accomplish this, we propose two sets of necessary and sufficient conditions that, we argue, should be considered in any alignment process. While necessary conditions serve as metaphysical and metaethical roots that pertain to the permissibility of alignment, sufficient conditions establish a blueprint for aligning AI systems under a learning-based paradigm. After laying such foundations, we present implementations of this approach by using state-of-the-art techniques and methods for aligning general-purpose language systems. We call this framework Dynamic Normativity. Its central thesis is that any alignment process under a learning paradigm that cannot fulfill its necessary and sufficient conditions will fail in producing aligned systems.

A investigação crítica que permeia o campo da filosofia, e talvez estenda sua influência a todas as disciplinas de ciências humanas, gira em torno dos meandros da moralidade e da normatividade. Surpreendentemente, nos últimos anos, esse fio temático foi inserido em um domínio inesperado, que não é convencionalmente associado à reflexão sobre "o que deve ser": o campo de pesquisa da inteligência artificial (IA). No centro da moralidade e da IA, encontramos o "alinhamento", um problema relacionado aos desafios de expressar metas e valores humanos de uma forma que os sistemas artificiais possam seguir sem causar efeitos adversos indesejados. De forma mais explícita e com nosso paradigma atual de desenvolvimento de IA em mente, podemos pensar no alinhamento como o ensino de valores humanos a entidades não antropomórficas treinadas por meio de técnicas de aprendizado opacas e baseadas em gradiente. Este trabalho aborda o alinhamento como um problema técnico-filosófico que requer fundamentos filosóficos sólidos e implementações práticas que tragam a teoria normativa para o desenvolvimento do sistema de IA. Para isso, propomos dois conjuntos de condições necessárias e suficientes que, segundo nosso argumento, devem ser consideradas em qualquer processo de alinhamento. Enquanto as condições necessárias servem como raízes metafísicas e metaéticas relacionadas à permissibilidade do alinhamento, as condições suficientes estabelecem um plano para alinhar os sistemas de IA sob um paradigma baseado em aprendizado. Depois de estabelecer essas bases, apresentamos implementações dessa abordagem usando técnicas e métodos de última geração para alinhar sistemas de linguagem de uso geral. Chamamos essa estrutura de Dinâmica Normativa. Sua tese central é que qualquer processo de alinhamento sob um paradigma de aprendizagem que não possa cumprir suas condições necessárias e suficientes falhará na produção de sistemas alinhados.