Nota técnica ao projeto de lei originário
Contexto
A popularização da inteligência artificial (IA) deu origem a imaginários que convidam à alienação e à mistificação. Em um momento em que essas tecnologias parecem estar se consolidando, é pertinente mapear suas conexões com atividades humanas e territórios mais do que humanos.
Assim, a regulação da IA tem sido um tema de crescente relevância no cenário brasileiro, refletindo a importância global do assunto e a necessidade de estabelecer diretrizes claras para seu desenvolvimento e aplicação em nosso país. Fenômenos globais, como a pandemia da Covid-19, a popularização de aplicações de IA generativa como o Chat GPT, e esforços nacionais e internacionais para compreender os riscos e estruturas de governança para a IA puseram novos desafios que fizeram o debate a se expandir.
O debate sobre essa regulação ganhou contornos mais definidos com a proposição do PL nº 21/2020. Desde então, a discussão tem evoluído de maneira significativa, culminando na formação da Comissão de Juristas no Senado Federal em 2022 (CJUSBIA). Esta Comissão foi instituída com o objetivo de aprofundar o estudo e a análise sobre a temática, buscando subsídios para a elaboração de um marco regulatório robusto e adequado à realidade brasileira.
De acordo com Hoffmann-Riem, “ao se lidar com a IA no direito, é preciso superar reduções até agora costumeiras no modo de abordar a questão” em razão de “suas múltiplas possibilidades de utilização”1. Isto posto, “a forma de lidar com as oportunidades e os riscos ligados à IA e a seus empregos precisa ter um enfoque amplo. Ao se fazer isso, o olhar tampouco deve ser limitado aos resultados produzidos diretamente – como output – com tecnologia digital mediante utilização da IA”2. O relatório final da Comissão deu origem ao Projeto de Lei nº 2338/20233, apresentado pelo Senador Rodrigo Pacheco, que surgiu como uma proposta de marco significativo na trajetória de regulação da IA no Brasil.
1 Fundamentos
No rol do art. 2º está elencado os fundamentos do desenvolvimento, implementação e uso da inteligência artificial, considera-se necessária a retificação do inciso IX, para incluir “da ciência, da inovação”. O termo "ciência", enquanto atividade individual, faz parte do catálogo dos direitos fundamentais da pessoa humana (inciso IX do art. 5º da CF), como
1 HOFFMANN-RIEM, W. Inteligência Artificial como oportunidade para a regulação jurídica. Direito Público, [S. l.], v. 16, n.90,2019.Disponívelem:https://www.portaldeperiodicos.idp.edu.br/direitopublico/article/view/3756.Acessoem:26 maio2023.p.13.
2 Ibidem.p.14.
3 BRASIL. ProjetodeLein.2338,de2023.Dispõesobreo usodaInteligênciaArtificial.RelatorSenadorRodrigoPacheco. Brasília, DF: Senado Federal, 2023. Disponível em: https://legis.senado.leg.br/sdleggetter/documento?dm=9347622&ts=1709906186049&disposition=inline.Acessoem:02abr.2024.
4
também o art. 218, caput da CF4 que compatibiliza a liberdade de expressão científica com os deveres estatais de propulsão das ciências - para que sirvam à melhoria das condições de vida
Além disso, é preciso a inclusão de alguns incisos, dentre eles: (i) “a proteção de crianças, adolescentes, pessoas idosas, pessoas com deficiência, povos indígenas e demais grupos vulnerabilizados”, (ii) “a proteção de dados pessoais e privacidade” e (iii) “a proteção dos consumidores”.
A tutela a esses grupos está em consonância ao direito à isonomia material (art. 5º, caput da Constituição Federal), além das legislações infraconstitucionais e convenções internacionais, como o Estatuto da Criança e do Adolescente, Convenção sobre os Direitos da Criança, Estatuto do Idoso, Estatuto do Índio, Estatuto da Pessoa com Deficiência e Convenção sobre os Direitos da Pessoa com Deficiência e seu Protocolo Facultativo5 .
Ressalta-se que a categoria “vulnerabilidade” emergiu em diferentes campos disciplinares, passando a ser amplamente utilizada por órgãos internacionais e governamentais para a análise do processo saúde-doença e sua relação com as condições de vida das populações. Ademais, tem sido comumente instrumentalizada junto a outros conceitos, tal qual os de precariedade6, dependência, cuidado e dano.
No campo jurídico, a ideia de vulnerabilidade surgiu como modo de reconhecer situações de fragilidade que atingem certas populações, essencialmente no que diz respeito à não garantia de seus direitos civis, políticos e sociais7. Por outro lado, a categoria da vulnerabilidade surgiu em um contexto de esgotamento da matriz analítica da pobreza enquanto restrita às questões econômicas e de renda8. Sendo assim, compete aos novos marcos regulatórios observar ao máximo os mandamentos de proteção constitucional desses grupos historicamente marginalizados. Como também, é importante mencionar a preocupação com o uso do termo “vulnerabilizado” (verbo), em razão de indicar uma ação causada por algo, e não a condição inata do ser humano - como denota o termo “vulnerável” (adjetivo).
Diante da possibilidade de aprendizagem e criação da IA, surge os desafios no âmbito da Propriedade Intelectual, sobretudo com relação à titularidade do direito sobre a criação e a legalidade do uso de obras protegidas na aprendizagem de máquinas. No Brasil, o art. 11 da Lei de Direitos Autorais define o autor como a pessoa física criadora de obra literária,
4 BRASIL. Constituição Federal (1988). Constituição da República Federativa do Brasil de 1988. DiárioOficialdaUnião, Brasília, DF, 1988. Disponível em: https://www.planalto.gov.br/ccivil_03/constituicao/constituicao.htm. Acesso em: 20 mar.2024.
5A Convenção sobre os Direitos da Pessoa com Deficiência e seu Protocolo Facultativo são tratados internacionais internalizadosnoBrasilcomcaráterde emendaconstitucional.
6 BUTLER, J. Repensarlavulnerabilidadylaresistência. In: Simposio de la Asociación Internacional de Filósofas – IAPH. Anais doSimposiodelaAsociaciónInternacionalde Filósofas – IAPH.Madrid:IAPH,p.24-27,2014.
7 FIGUEIREDO,G.deO.,WEIHMÜLLER,V.C.,VERMELHO,S.C.;ARAYA,J.B.Discusiónyconstruccióndelacategoríateórica de vulnerabilidad social. Cadernos de Pesquisa, v. 47, n. 165, p. 796-818, 2017. Acesso em: https://dx.doi.org/10.1590/198053144312.Acessoem:20nov.2023.
8 MONTEIRO,S.R.R.P.Omarcoconceitualdavulnerabilidadesocial. SociedadeemDebate,v.17,n.2,p.29-40,2011.
5
artística ou científica9. Além disso, o artigo 7º da lei traz um rol exemplificativo das obras intelectuais passíveis de proteção, definindo-as como criações do espírito. No entanto, isso não significa que obras criadas com a ajuda de IA são necessariamente excluídas do objeto de proteção do Direito Autoral.
Para além da questão sobre a autoria de obras geradas a partir de IA, a própria utilização de obras autorais no processo de machine learning – aprendizado de máquina – traz questionamentos. Afinal, os textos, sons, imagens e vídeos que alimentam os sistemas são possivelmente protegidos por direitos autorais. Ressalta-se que, a Lei de Direitos Autorais é restritiva quanto ao uso não autorizado de obras por qualquer modalidade, valendo destacar aqui o seu artigo 29, IX, que proíbe a utilização de obra de terceiro para “a inclusão em base de dados, o armazenamento em computador, a microfilmagem e as demais formas de arquivamento do gênero”. Além disso, o Código Penal tipifica como crime a violação de direitos do autor. Nesse sentido, é intrínseco incluir no rol a proteção da propriedade intelectual.
Por fim, entende-se a proteção aos consumidores, em razão de estarem adquirindo ou utilizando desses sistemas de inteligência artificial, em consonância com a Lei nº 8.078 de 11 de setembro de 199010 .
Redação original
Redação proposta Art.2ºOdesenvolvimento,aimplementaçãoeousode sistemas de inteligência artificial no Brasil têm como fundamentos:
I – a centralidade da pessoa humana;
II – o respeito aos direitos humanos e aos valores democráticos;
III – o livre desenvolvimento da personalidade;
IV – aproteção ao meio ambiente e o desenvolvimento sustentável;
V – a igualdade, a não discriminação, a pluralidade e o respeito aos direitos trabalhistas;
VI – o desenvolvimento tecnológico e a inovação;
VII – a livre iniciativa, a livre concorrência e a defesa do consumidor;
VIII – a privacidade, a proteção de dados e a autodeterminação informativa;
IX – apromoçãodapesquisaedodesenvolvimentocom a finalidade de estimular a inovação nos setores produtivos e no poder público; e
X – o acesso à informação e à educação, e a conscientização sobre os sistemas de inteligência artificial e suas aplicações.
Art. 2º O desenvolvimento, a implementação e o uso desistemasdeinteligênciaartificialnoBrasiltêmcomo fundamentos:
I – a centralidade da pessoa humana;
II – o respeito aos direitos humanos e aos valores democráticos;
III – o livre desenvolvimento da personalidade;
IV – aproteção ao meioambienteeo desenvolvimento sustentável;
V – a igualdade, a não discriminação, a pluralidade e o respeito aos direitos trabalhistas;
VI – o desenvolvimento tecnológico e a inovação;
VII – a livre iniciativa, a livre concorrência e a defesa do consumidor;
VIII – a privacidade, a proteção de dados e a autodeterminação informativa;
IX – a promoção da pesquisa e do desenvolvimento com a finalidade de estimular a inovação nos setores produtivos e no poder público; e
IX – a promoção da pesquisa, da ciência, da inovação e do desenvolvimento com a finalidade de estimular a inovação nos setores produtivos e no poder público; e X – o acesso à informação e à educação, e a conscientização sobre o ciclo de vida e os sistemas de inteligência artificial e suas aplicações.
9 BRASIL. Lei n. 9.610, de 19 de fevereiro de 1998. Altera, atualiza e consolida a legislação sobre direitos autorais e dá outras providências. Diário Oficial da República do Brasil, Brasília, 19 fev. 1998. Disponível em: http://www.planalto.gov.br/ccivil_03/leis/l9610.htm. Acessoem: 15abr.2024.
10 BRASIL. Lei n. 8.078, de 11 de setembro de 1990. Dispõe sobre a proteção do consumidor e dá outras providências. Diário Oficial da República do Brasil, Brasília, 11 set. 1990. Disponível em: https://www.planalto.gov.br/ccivil_03/leis/l8078compilado.htm. Acessoem:15abr.2024.
6
XI – a proteção de crianças, adolescentes, pessoas idosas, pessoas com deficiência, povos indígenas e grupos vulnerabilizados;
XII – proteção à propriedade intelectual;
XIII – a proteção aos consumidores
2 Princípios
O PL 2338/23 faz menção em todo o texto normativo ao “ciclo de vida”, mas no inciso III do art. 3º consta somente “ciclo”. Para evitar qualquer tipo de confusão interpretativa, entende-se a necessidade de substituir para “ciclo de vida”.
No que tange ao respeito, a proteção e a promoção da dignidade e dos direitos humanos, conforme estabelecido pelo direito internacional, incluindo as leis internacionais relativas aos direitos humanos, deve ser essencial ao longo do ciclo de vida dos sistemas de IA11 Ademais, a dignidade humana (art. 2º, I) se relaciona com o reconhecimento do valor intrínseco e igual de cada ser humano, independentemente de raça, cor, ascendência, gênero, idade, língua, religião, opinião política, nacionalidade, origem étnica, social, econômica ou social, condição de nascimento, deficiência ou quaisquer outros motivos12 .
Sendo assim, o princípio da não discriminação não é suficiente. Entende-se que, diante do aprendizado dos algoritmos, a IA possui vieses em razão do seu treinamento ser humano, logo, é necessário conceber que algoritmos que sejam eximidos do legado da discriminação. Nessa fase atual da IA, registra-se uma fragilização da posição do ser humano em face do processo de aprendizagem de máquinas13
Não obstante, outro assunto sensível quanto a inteligência artificial se refere a difusão de informações falsas e, por vezes, enganosas, que será melhor explorado posteriormente (item 6). Assim, justifica-se a substituição do inciso IV do art. 3º, que consta apenas “não discriminação”, para “a vedação à discriminação ilícita, direta e indireta, e a contrainformação de caráter enganoso”.
Redação original
Art.3ºOdesenvolvimento,aimplementaçãoeousode sistemas de inteligência artificial observarão a boa-fé e os seguintes princípios:
I – crescimento inclusivo, desenvolvimento sustentável e bem estar;
II – autodeterminação e liberdade de decisão e de escolha;
III – participação humana no ciclo da inteligência artificial e supervisão humana efetiva;
IV – não discriminação;
V – justiça, equidade e inclusão;
Redação proposta
Art. 3º O desenvolvimento, a implementação e o uso de sistemas de inteligência artificial observarão a boafé e os seguintes princípios:
I – crescimento inclusivo, desenvolvimento sustentável e bem estar;
II – autodeterminação e liberdade de decisão e de escolha;
II - a autodeterminação, a liberdade de decisão e de escolha, a liberdade de expressão, o acesso à informação, o fomento à diversidade de informações
11 UNESCO. Organização das Nações Unidas para a Educação, a Ciência e a Cultura. Recomendação sobre a Ética da Inteligência Artificial. UNESCO, 2022. Disponível em: https://unesdoc.unesco.org/ark:/48223/pf0000381137_por.locale=en.Acessoem:26maio2023.
12 Ibidem.
13 BITTAR,E.C.B.;SARLET,G.B.S.;SARLET,I.W. InteligênciaArtificial,ProteçãodeDadosPessoaiseResponsabilidadena EraDigital. SãoPaulo:ExpressaJur,2022.
7
VI – transparência, explicabilidade, inteligibilidade e auditabilidade;
VII – confiabilidade e robustez dos sistemas de inteligência artificial e segurança da informação;
VIII – devido processo legal, contestabilidade e contraditório;
IX – rastreabilidadedasdecisõesduranteociclodevida de sistemas de inteligência artificial como meio de prestação de contas e atribuição de responsabilidades a uma pessoa natural ou jurídica;
X – prestação de contas, responsabilização e reparação integral de danos;
XI – prevenção, precaução e mitigação de riscos sistêmicos derivados de usos intencionais ou não intencionais e de efeitos não previstos de sistemas de inteligência artificial; e
XII – não maleficência e proporcionalidade entre os métodos empregados e as finalidades determinadas e legítimas dos sistemas de inteligência artificial.
no Brasil e o impedimento da censura no ambiente online;
III – participação humana no ciclo da inteligência artificial e supervisão humana efetiva;
III - a participação humana no ciclo de vida da inteligência artificial e supervisão humana efetiva;
IV – não discriminação;
IV - a vedação à discriminação ilícita, direta e indireta, e a contrainformação de caráter enganoso;
V – justiça, equidade e inclusão;
VI – transparência, explicabilidade, inteligibilidade e auditabilidade;
VII – confiabilidade e robustez dos sistemas de inteligência artificial e segurança da informação;
VIII – devido processo legal, contestabilidade e contraditório;
IX – rastreabilidadedasdecisõesduranteociclodevida de sistemas de inteligência artificial como meio de prestação de contas e atribuição de responsabilidades a uma pessoa natural ou jurídica;
X – prestação decontas,responsabilização e reparação integral de danos;
XI – prevenção, precaução e mitigação de riscos sistêmicos derivados de usos intencionais ou não intencionais e de efeitos não previstos de sistemas de inteligência artificial; e
XII – não maleficência e proporcionalidade entre os métodos empregados e as finalidades determinadas e legítimas dos sistemas de inteligência artificial.
3 Definições
O art. 4º do PL n. 2.338/2023 traz um rol de definições, assim sugere-se a inclusão de “sujeito ou coletivo afetado” enquanto a “pessoa física ou grupo de pessoas que sejam direta ou indiretamente impactados pela decisão de um sistema de inteligência artificial”14 . Ressalta-se, a necessidade desta inclusão em razão do art. 5º do projeto fazer menção a “pessoas afetadas” e não trazer uma clara definição anteriormente.
Além da inclusão do conceito de “ciclo de vida” dos sistemas de IA, tendo em vista que o termo é usado diversas vezes no projeto de lei. Sendo assim, o ciclo de vida é caracterizado por “um processo iterativo que envolve vários estágios, desde a concepção, o planejamento, o desenvolvimento, o treinamento, a testagem, o fornecimento, a aplicação e eventuais modificações e as adaptações de um sistema de inteligência artificial até a descontinuação de sua aplicação ou o seu descarte”.
Ademais, no inciso IV do mesmo artigo, estabelece como agentes de inteligência artificial: os fornecedores e os operadores de sistemas de inteligência artificial. É necessário
14 Ocaráterdeproteçãocoletivaatravésdaextensãodedireitosindividuaisaumgrupoestápresentenoparágrafoúnico do art. 2º Código de Defesa do Consumidor, em que estabelece a equiparação à coletividade de pessoas, mesmo que indetermináveis. BRASIL. Lei n. 8.078, de 11 de setembro de 1990. Dispõe sobre a proteção do consumidor e dá outras providências. Diário Oficial da União, Brasília, DF: Presidência da República, 11 set. 1990. Disponível em: https://www.planalto.gov.br/ccivil_03/leis/l8078compilado.htm. Acessoem:02abr.2024.
8
diferenciar as seguintes categorias: o desenvolvedor é o responsável por criar a codificação do algoritmo e treinar o modelo, o fornecedor irá disponibilizar no mercado para terceiros, por sua vez o aplicador implementará o sistema de inteligência artificial.
Redação original
Art. 4º Para as finalidades desta Lei, adotam-se as seguintes definições:
I – sistema de inteligência artificial: sistema computacional, com graus diferentes de autonomia, desenhado para inferir como atingir um dado conjunto de objetivos, utilizando abordagens baseadas em aprendizagem de máquina e/ou lógica e representação do conhecimento, por meio de dados de entrada provenientesdemáquinasouhumanos,comoobjetivo deproduzir previsões, recomendaçõesou decisõesque possam influenciar o ambiente virtual ou real;
II – fornecedor de sistema de inteligência artificial: pessoa natural ou jurídica, de natureza pública ou privada, que desenvolva um sistema de inteligência artificial, diretamente ou por encomenda, com vistas a sua colocação no mercado ou a sua aplicação em serviço por ela fornecido, sob seu próprio nome ou marca, a título oneroso ou gratuito;
III – operador de sistema de inteligência artificial: pessoa natural ou jurídica, de natureza pública ou privada, que empregue ou utilize, em seu nome ou benefício, sistema de inteligência artificial, salvo se o referido sistema for utilizado no âmbito de uma atividade pessoal de caráter não profissional;
IV – agentes de inteligência artificial: fornecedores e operadores de sistemas de inteligência artificial;
V – autoridade competente: órgão ou entidade da Administração Pública Federal responsável por zelar, implementar e fiscalizar o cumprimento desta Lei em todo o território nacional;
VI – discriminação: qualquer distinção, exclusão, restrição ou preferência, em qualquer área da vida pública ou privada, cujo propósito ou efeito seja anular ou restringir o reconhecimento, gozo ou exercício, em condições de igualdade, de um ou mais direitos ou liberdades previstos no ordenamento jurídico, em razão de características pessoais como origem geográfica, raça, cor ou etnia, gênero, orientação sexual, classe socioeconômica, idade, deficiência, religião ou opiniões políticas;
VII – discriminação indireta: discriminação que ocorre quando normativa, prática ou critério aparentemente neutro tem a capacidade de acarretar desvantagem para pessoas pertencentes a grupo específico, ou as coloquem em desvantagem, a menos que essa normativa, prática ou critério tenha algum objetivo ou justificativa razoável e legítima à luz do direito à igualdade e dos demais direitos fundamentais; VIII – mineração de textos e dados: processo de extração eanálisede grandesquantidadesdedadosou de trechos parciais ou integrais de conteúdo textual, a
Redação proposta
Art. 4º Para as finalidades desta Lei, adotam-se as seguintes definições:
I – sistema de inteligência artificial: sistema computacional, com graus diferentes de autonomia, desenhado para inferir como atingir um dado conjunto de objetivos, utilizando abordagens baseadas em aprendizagemdemáquinae/oulógicaerepresentação do conhecimento, por meio de dados de entrada provenientesdemáquinasouhumanos,comoobjetivo deproduzirprevisões,recomendaçõesoudecisõesque possam influenciar o ambiente virtual ou real;
II – fornecedor de sistema de inteligência artificial: pessoa natural ou jurídica, de natureza pública ou privada, que desenvolva um sistema de inteligência artificial, diretamente ou por encomenda, com vistas a sua colocação no mercado ou a sua aplicação em serviço por ela fornecido, sob seu próprio nome ou marca, a título oneroso ou gratuito;
II - desenvolvedor de sistema de inteligência artificial: pessoa física ou jurídica responsável pela criação e desenvolvimento do sistema de inteligência artificial;
III – operador de sistema de inteligência artificial: pessoa natural ou jurídica, de natureza pública ou privada, que empregue ou utilize, em seu nome ou benefício, sistema de inteligência artificial, salvo se o referido sistema for utilizado no âmbito de uma atividade pessoal de caráter não profissional;
III - fornecedor de sistema de inteligência artificial: pessoa física ou jurídica responsável por disponibilizar o sistema de inteligência artificial à terceiros para que operem a título oneroso ou gratuito;
IV – agentes de inteligência artificial: fornecedores e operadores de sistemas de inteligência artificial;
IV - aplicador de sistema de inteligência artificial: pessoa física ou jurídica responsável pela implementação e operação de um sistema de inteligência artificial;
V – autoridade competente: órgão ou entidade da Administração Pública Federal responsável por zelar, implementar e fiscalizar o cumprimento desta Lei em todo o território nacional;
VI – discriminação: qualquer distinção, exclusão, restrição ou preferência, em qualquer área da vida pública ou privada, cujo propósito ou efeito sejaanular ou restringir o reconhecimento, gozo ou exercício, em condições de igualdade, de um ou mais direitos ou liberdades previstos no ordenamento jurídico, em razão de características pessoais como origem geográfica, raça, cor ou etnia, gênero, orientação sexual, classe socioeconômica, idade, deficiência, religião ou opiniões políticas;
9
partir dos quais são extraídos padrões e correlações que gerarão informações relevantes para o desenvolvimento ou utilização de sistemas de inteligência artificial.
VII – discriminação indireta: discriminação que ocorre quando normativa, prática ou critério aparentemente neutro tem a capacidade de acarretar desvantagem para pessoas pertencentes a um grupo específico, ou as coloquem em desvantagem, a menos que essa normativa, prática ou critério tenha algum objetivo ou justificativa razoável e legítima à luz do direito à igualdade e dos demais direitos fundamentais; VIII – mineração de textos e dados: processo de extração eanálisedegrandesquantidadesdedadosou de trechos parciais ou integrais de conteúdo textual, a partir dos quais são extraídos padrões e correlações que gerarão informações relevantes para o desenvolvimento ou utilização de sistemas de inteligência artificial.
IX - sujeito ou coletivo afetado: pessoa física ou grupo de pessoas que sejam direta ou indiretamente impactados pela decisão de um sistema de inteligência artificial.
X - ciclo de vida da inteligência artificial: um processo iterativo que envolve vários estágios, desde a concepção, o planejamento, o desenvolvimento, o treinamento, a testagem, o fornecimento, a aplicação e eventuais modificações e as adaptações de um sistema de inteligência artificial até a descontinuação de sua aplicação ou o seu descarte.
4 Revisão e informação
No rol dos direitos das pessoas afetadas, entende-se a importância de incluir a expressão “revisão” no inciso IV. Assim pretende-se dialogar com o art. 20 da Lei Geral de Proteção de Dados Pessoais (LGPD)15, além de assegurar a autonomia humana na condução dos sistemas de IA.
Por sua vez, reiterar o direito à informação do usuário é de extrema necessidade para qualquer tratativa do direito de revisão e do direito de resposta.
Redação original
Art. 5º Pessoas afetadas por sistemas de inteligência artificialtêmosseguintesdireitos,aseremexercidosna forma e nas condições descritas neste Capítulo:
I – direito à informação prévia quanto às suas interações com sistemas de inteligência artificial; II – direito à explicação sobre a decisão, recomendação ou previsão tomada por sistemas de inteligência artificial; III – direito de contestar decisões ou previsões de sistemas de inteligência artificial que produzam efeitos jurídicos ou que impactem de maneira significativa os interesses do afetado;
Redação proposta
Art. 5º Pessoas afetadas por sistemas de inteligência artificial têm os seguintes direitos, a serem exercidos na forma e nas condições descritas neste Capítulo: I – direito à informação prévia quanto às suas interações com sistemas de inteligência artificial;
I – direito à informação prévia quanto às interações com sistemas de inteligência artificial;
II – direito à explicação sobre adecisão, recomendação ou previsão tomada por sistemas de inteligência artificial;
III – direito de contestar decisões ou previsões de sistemas de inteligência artificial que produzam efeitos
15 BRASIL.Lein.13.709,de14deagostode2018.LeiGeraldeProteçãodeDadosPessoais(LGPD). DiárioOficialdaUnião, Brasília, DF, 14 ago. 2018. Disponível em: https://www.planalto.gov.br/ccivil_03/_ato2015-2018/2018/lei/l13709.htm. Acessoem:05abr.2024.
10
IV – direitoàdeterminaçãoeàparticipaçãohumanaem decisões de sistemas de inteligência artificial, levandose em conta o contexto e o estado da arte do desenvolvimento tecnológico;
V – direito à não-discriminação e à correção de vieses discriminatórios diretos, indiretos, ilegais ou abusivos; e
VI – direito à privacidade e à proteção de dados pessoais, nos termos da legislação pertinente. Parágrafo único. Os agentes de inteligência artificial informarão, de forma clara e facilmente acessível, os procedimentos necessários para o exercício dos direitos descritos no caput.
jurídicos ou que impactem de maneira significativa os interesses do afetado;
IV – direito à determinação e à participação humana em decisões de sistemas de inteligência artificial, levando-se em conta o contexto e o estado da arte do desenvolvimento tecnológico;
IV – direito à determinação, à revisão e à participação humana em decisões de sistemas de inteligência artificial,levando-seemcontaocontextoeo estadoda arte do desenvolvimento tecnológico;
V – direito à não-discriminação e à correção de vieses discriminatórios diretos, indiretos, ilegais ou abusivos; e
VI – o direito à privacidade e à proteção de dados pessoais, nos termos da Lei nº 13.709 de 14 de agosto de 2018.
VII – direito à disposição de informações claras, suficientes e de fácil compreensão sobre potenciais riscos e danos aos quais a pessoa pode estar sujeita através da interação com o sistema;
VIII – direito à informação sobre o sistema de inteligência artificial, de maneira clara, suficiente e proporcional para garantir a compreensão do funcionamento do sistema e de suas decisões ou previsões;
IX – direito de resposta a qualquer ação tomada pelo sistema, com ou sem intervenção humana, que possa violar osinteressesdapessoaou direitosindividuaisou coletivos.
Parágrafo único. Os agentes de inteligência artificial informarão, de maneira clara e acessível, todos os procedimentos necessários para o exercício desses direitos.
5 Riscos
Todas as pessoas são vulneráveis à luz de tecnologias como a IA porque, à medida que sua agência aumenta e delegam-se mais tarefas a elas, todos se tornam mais dependentes. Assim, as novas vulnerabilidades tecnológicas não são meramente tecnológicas, se tornam vulnerabilidades humanas, existenciais16
A estratégia de regulação e designação macro de faixas de risco foi adotada por diversas normativas regulando sistemas de inteligência artificial: o EU AI Act, o Proyecto de ley 15869/19 do Chile17 e a ferramenta de avaliação de impacto do Canadá18 .
16 COECKELBERGH,M. Éticanainteligênciaartificial.São Paulo/RiodeJaneiro:Ubu Editora/EditoraPUC-Rio,2023.
17 CHILE. Proyectodeleyqueregulalossistemasdeinteligenciaartificial,larobóticaylastecnologíasconexasensus distintos ámbitos de aplicación. Camara de Diputadas y Diputados, 2023. Disponível em: https://www.camara.cl/verDOC.aspx?prmID=72777&prmTipo=FICHAPARLAMENTARIA&prmFICHATIPO=DIP&prmLOCAL =0.Acessoem:11abr.2024.
18 CANADA. Algorithmic Impact Assessment tool. Government of Canada, 2023. Disponível em: https://www.canada.ca/en/government/system/digital-government/digital-government-innovations/responsible-useai/algorithmic-impact-assessment.html Acessoem:11abr.2024.
11
As avaliações de impacto, já conhecidas da seara ambiental e de proteção de dados pessoais em suas espécies de relatórios de impacto ao meio ambiente e relatório de impacto à proteção de dados pessoais, são instrumentos de governança surgidos para analisar as possíveis consequências de uma iniciativa sobre interesses sociais relevantes. E, a partir dessa análise, apoiar um processo decisório informado sobre se deve se realizar a iniciativa e, caso afirmativo, sob quais condições. São aplicadas em situações nas quais há uma incerteza sobre eventos futuros, como na emergência de novas tecnologias. Por isso, as avaliações de impacto são mecanismos para gerar evidências sobre a tomada de decisões e para proteção de certas preocupações da sociedade
A categorização dos riscos da inteligência artificial no PL 2338/23 em excessivo e alto se dá a partir das finalidades e contexto de aplicação.
Tabela 2 - Faixas de risco dos sistemas de inteligência artificial
Níveis de risco Nomenclatura
Excessivo Proibição (art. 14) Alto
Obrigações relacionadas
Três
Moderado/baixo
Documentação, realização de testes de confiabilidade, adoção de medidas técnicas para viabilizar a explicabilidade dosresultados,entreoutras(art.20)+obrigaçõesgerais(art. 19) + obrigação de elaboração de uma avaliação de impacto algorítmico (art. 22)
Medidas de transparência, medidas de gestão de dados adequadas para mitigar e prevenir vieses discriminatórios, medidas de segurança da informação desde a concepção, dentre outras (artigo 19).
A inversão do ônus da prova está disposta apenas no § 2º do art. 27, contudo o ônus deve ser invertido, não apenas quando não se tratar de sistema de inteligência artificial de alto risco, mas sempre que o sistema de inteligência artificial for utilizado, tendo em vista a vulnerabilidade da vítima.
Redação original
Art. 27. O fornecedor ou operador de sistema de inteligência artificial que cause dano patrimonial, moral, individual ou coletivo é obrigado a repará-lo integralmente, independentemente do grau de autonomia do sistema.
§ 1º Quando se tratar de sistema de inteligência artificial de alto risco ou de risco excessivo, o fornecedor ou operador respondem objetivamente pelos danos causados, na medida de sua participação no dano.
§ 2º Quando não se tratar de sistema de inteligência artificial de alto risco, a culpa do agente causador do dano será presumida, aplicando-se a inversão do ônus da prova em favor da vítima.
Redação proposta
Art. 27. O fornecedor ou operador de sistema de inteligência artificial que cause dano patrimonial, moral, individual ou coletivo é obrigado a repará-lo integralmente, independentemente do grau de autonomia do sistema.
§ 1º Quando se tratar de sistema de inteligência artificial de alto risco ou de risco excessivo, o fornecedor ou operador respondem objetivamente pelos danos causados, na medida de sua participação no dano.
§ 2º Quando não se tratar de sistema de inteligência artificial de alto risco, a culpa do agente causador do dano será presumida, aplicando-se a inversão do ônus da prova em favor da vítima.
§ 2º Quando se tratar de qualquer sistema de inteligência artificial, a culpa do agente causador do dano será presumida, aplicando-se a inversão do ônus da prova em favor da vítima, devido a sua vulnerabilidade.
12
5.1 Proteção a crianças e adolescentes
Os dados pessoais de crianças são considerados dados especiais, pois exigem um tratamento diferenciado em termos de cuidados. Sobre a implementação e uso de sistema de inteligência artificial enquanto categoria de risco excessivo, ao explorar a vulnerabilidade de grupos específicos devido a idade (art. 14º, inciso II), é importante destacar que o contato desses indivíduos com sistemas de IA não ocorre apenas em produtos e serviços digitais desenvolvidos para o público infantil.
É necessário que qualquer sistema de IA com que crianças possam interagir, direta ou indiretamente, ou que possam de alguma maneira impactá-las, respeite os direitos infantis com absoluta prioridade. Entre as ações que devem ser tomadas, mas não limitando-se a elas, estão: proteger a privacidade dos menores, promover sua saúde física e mental e evitar riscos potenciais.
Redação original
Art. 14. São vedadas a implementação e o uso de sistemas de inteligência artificial: I – que empreguem técnicas subliminares que tenham por objetivo ou por efeito induzir a pessoa natural a se comportardeformaprejudicialouperigosaàsuasaúde ou segurança ou contra os fundamentos desta Lei; II – queexploremquaisquervulnerabilidadesdegrupos específicosdepessoasnaturais,taiscomoasassociadas a sua idade ou deficiência física ou mental, de modo a induzi-las a se comportar de forma prejudicial a sua saúde ou segurança ou contra os fundamentos desta Lei;
III – pelo poder público, para avaliar, classificar ou ranquear as pessoas naturais, com base no seu comportamento social ou em atributos da sua personalidade, por meio de pontuação universal, para o acesso abenseserviçosepolíticaspúblicas,deforma ilegítima ou desproporcional.
Redação proposta
Art. 14. São vedadas a implementação e o uso de sistemas de inteligência artificial: I – que empreguem técnicas subliminares que tenham por objetivo ou por efeito induzir a pessoa natural a se comportardeformaprejudicialouperigosaàsuasaúde ou segurança ou contra os fundamentos desta Lei; II – queexploremquaisquervulnerabilidadesdegrupos específicos de pessoas naturais, tais como as associadas a sua idade ou deficiência física ou mental, de modo a induzi-las a se comportar de forma prejudicial a sua saúde ou segurança ou contra os fundamentos desta Lei; Parágrafo único. Todo e qualquer sistema de inteligência artificial que interaja com crianças e adolescentes, direta ou indiretamente, deve resguardar com absoluta prioridade os direitos previstos na Lei nº 8.609, de 13 de julho de 1990. III – pelo poder público, para avaliar, classificar ou ranquear as pessoas naturais, com base no seu comportamento social ou em atributos da sua personalidade, por meio de pontuação universal, para oacessoabenseserviçosepolíticaspúblicas,deforma ilegítima ou desproporcional.
5.2 Vigilância, investigação criminal e segurança pública
Os incisos XI e XII do art. 17, devem ser considerados riscos inaceitáveis, e não altos – como está previsto –, de modo a efetivamente banir a possibilidade de policiamento preditivo no Brasil, na mesma linha de diversas experiências internacionais.
Esses dispositivos promovem a vigilância massiva, pois abrem espaço para o armazenamento indiscriminado de imagens, considerando que poderão não ser deletadas de forma indeterminada pela mera expectativa de um dia poderem ser utilizadas. Afeta, portanto, o direito à privacidade e à proteção de dados pessoais, além do direito à livre associação, a poder criar um efeito inibitório que tornará as pessoas sempre temerosas de
13
promover sua cidadania em espaços públicos por meio de manifestações, por exemplo, pelo fato de se sentirem vigiadas. Trata-se, portanto, de medida desproporcional, que privilegia um ambiente de constante e excessivo monitoramento, além de estar em dissonância com a axiologia protetiva da LGPD (art. 2º, inciso I e IV).
Compreende-se, então, que o uso dessas tecnologias de reconhecimento facial e de policiamento preditivo deve ser banido, pois, caso contrário, possibilitará ferramentas que fomentam a vigilância, a cultura do encarceramento de populações vulnerabilizadas e do punitivismo do sistema penal. À exemplo recente, o estado de Sergipe suspendeu o uso de reconhecimento facial, tendo em vista o grave erro após a polícia civil abordar incorretamente um rapaz durante a final do Campeonato Sergipano19
Vale ressaltar a necessidade de o projeto de lei prever a possibilidade de adição de novos casos pela autoridade competente. Posto que novos casos os quais o uso deva ser banido podem surgir com o tempo.
Redação original
Art. 14. São vedadas a implementação e o uso de sistemas de inteligência artificial:
I – que empreguem técnicas subliminares que tenham por objetivo ou por efeito induzir a pessoa natural a se comportardeformaprejudicialouperigosaàsuasaúde ou segurança ou contra os fundamentos desta Lei;
II – queexploremquaisquervulnerabilidadesdegrupos específicosdepessoasnaturais,taiscomoasassociadas a sua idade ou deficiência física ou mental, de modo a induzi-las a se comportar de forma prejudicial a sua saúde ou segurança ou contra os fundamentos desta Lei;
III – pelo poder público, para avaliar, classificar ou ranquear as pessoas naturais, com base no seu comportamento social ou em atributos da sua personalidade, por meio de pontuação universal, para o acesso abenseserviçosepolíticaspúblicas,deforma ilegítima ou desproporcional.
Art. 15. No âmbito de atividades de segurança pública, somenteépermitidoousodesistemasdeidentificação biométrica à distância, de forma contínua em espaços acessíveis ao público, quando houver previsão em lei federal específica e autorização judicial em conexão com a atividade de persecução penal individualizada, nos seguintes casos:
I – persecução de crimes passíveis de pena máxima de reclusão superior a dois anos;
II – busca de vítimas de crimes ou pessoas desaparecidas; ou III – crime em flagrante. Parágrafo único. A lei a que se refere o caput preverá medidas proporcionais e estritamente necessárias ao atendimentodointeressepúblico,observadosodevido
Redação proposta
Art. 14. São vedadas a implementação e o uso de sistemas de inteligência artificial:
I – que empreguem técnicas subliminares que tenham por objetivo ou por efeito induzir a pessoa natural a se comportardeformaprejudicialouperigosaàsuasaúde ou segurança ou contra os fundamentos desta Lei;
II – queexploremquaisquervulnerabilidadesdegrupos específicos de pessoas naturais, tais como as associadas a sua idade ou deficiência física ou mental, de modo a induzi-las a se comportar de forma prejudicial a sua saúde ou segurança ou contra os fundamentos desta Lei;
III – pelo poder público, para avaliar, classificar ou ranquear as pessoas naturais, com base no seu comportamento social ou em atributos da sua personalidade, por meio de pontuação universal, para oacessoabenseserviçosepolíticaspúblicas,deforma ilegítima ou desproporcional;
IV – para reconhecimento de emoções;
V – para o uso de sistemas autônomos letais;
VI – para fins de investigação criminal e segurança pública que façam avaliações individuais de risco de uma pessoa cometer infrações ou de reincidir, ou para avaliar os traços de personalidade e características ou comportamento criminal passado de pessoas ou grupos;
Art. 15. No âmbito de atividades de segurança pública, somenteépermitidoousodesistemasdeidentificação biométrica à distância, de forma contínua em espaços acessíveis ao público, quando houver previsão em lei federal específica e autorização judicial em conexão com a atividade de persecução penal individualizada, nos seguintes casos:
19 NEXO JORNAL. Sergipe suspende reconhecimento facial após falha em estádio. Nexo Jornal, 16 abr. 2024. Disponível em: https://www.nexojornal.com.br/extra/2024/04/16/sergipe-suspende-reconhecimento-facial-apos-falha-empartida Acessoem:17abr.2024.
14
processo legal e o controle judicial, bem como os princípios e direitos previstos nesta Lei, especialmente a garantia contra a discriminação e a necessidade de revisão da inferência algorítmica pelo agente público responsável, antes da tomada de qualquer ação em face da pessoa identificada.
Art. 17. São considerados sistemas de inteligência artificial de alto risco aqueles utilizados para as seguintes finalidades:
I – aplicação como dispositivos de segurança na gestão e no funcionamento de infraestruturas críticas, tais comocontroledetrânsitoeredesde abastecimentode água e de eletricidade;
II – educação e formação profissional, incluindo sistemas de determinação de acesso a instituições de ensino ou de formação profissional ou para avaliação e monitoramento de estudantes;
III – recrutamento, triagem, filtragem, avaliação de candidatos, tomada de decisões sobre promoções ou cessações de relações contratuais de trabalho, repartição de tarefas e controle e avaliação do desempenho e do comportamento das pessoas afetadaspor taisaplicaçõesdeinteligênciaartificialnas áreasdeemprego,gestãodetrabalhadoreseacessoao emprego por conta própria;
IV – avaliação de critérios de acesso, elegibilidade, concessão, revisão, redução ou revogação de serviços privados e públicos que sejam considerados essenciais, incluindosistemasutilizadosparaavaliaraelegibilidade de pessoas naturais quanto a prestações de serviços públicos de assistência e de seguridade;
V – avaliação da capacidade de endividamento das pessoas naturais ou estabelecimento de sua classificação de crédito;
VI – envio ou estabelecimento de prioridades para serviços de resposta a emergências, incluindo bombeiros e assistência médica;
VII – administração da justiça, incluindo sistemas que auxiliem autoridades judiciárias na investigação dos fatos e na aplicação da lei;
VIII – veículos autônomos, quando seu uso puder gerar riscos à integridade física de pessoas;
IX – aplicaçõesnaáreadasaúde,inclusiveasdestinadas a auxiliar diagnósticos e procedimentos médicos;
X – sistemas biométricos de identificação;
XI – investigação criminal e segurança pública, em especial para avaliações individuais de riscos pelas autoridades competentes, a fim de determinar o risco de uma pessoa cometer infrações ou de reincidir, ou o risco para potenciais vítimas de infrações penais ou para avaliar os traços de personalidade e as características ou o comportamento criminal passado de pessoas singulares ou grupos;
XII – estudo analítico de crimes relativos a pessoas naturais, permitindo às autoridades policiais pesquisar grandes conjuntos de dados complexos, relacionados ou não relacionados, disponíveis em diferentes fontes de dados ou em diferentes formatos de dados, no
I – persecução de crimes passíveis de pena máxima de reclusão superior a dois anos; II – busca de vítimas de crimes ou pessoas desaparecidas; ou III – crime em flagrante. Parágrafo único. A lei a que se refere o caput preverá medidas proporcionais e estritamente necessárias ao atendimento do interesse público, observados o devido processo legal e o controle judicial, bem como os princípios e direitos previstos nesta Lei, especialmente a garantia contra a discriminação e a necessidade de revisão da inferência algorítmica pelo agente público responsável, antes da tomada de qualquer ação em face da pessoa identificada.
[...]
Art. 17. São considerados sistemas de inteligência artificial de alto risco aqueles utilizados para as seguintes finalidades:
I – aplicação como dispositivos de segurança na gestão e no funcionamento de infraestruturas críticas, tais comocontroledetrânsitoeredesdeabastecimentode água e de eletricidade;
II – educação e formação profissional, incluindo sistemas de determinação de acesso a instituições de ensino ou de formação profissional ou paraavaliação e monitoramento de estudantes;
III – recrutamento, triagem, filtragem, avaliação de candidatos, tomada de decisões sobre promoções ou cessações de relações contratuais de trabalho, repartição de tarefas e controle e avaliação do desempenho e do comportamento das pessoas afetadasportaisaplicaçõesdeinteligênciaartificialnas áreasdeemprego,gestãodetrabalhadoreseacessoao emprego por conta própria;
IV – avaliação de critérios de acesso, elegibilidade, concessão, revisão, redução ou revogação de serviços privadosepúblicosquesejamconsiderados essenciais, incluindo sistemas utilizados para avaliar a elegibilidade de pessoas naturais quanto a prestações de serviços públicos de assistência e de seguridade;
V – avaliação da capacidade de endividamento das pessoas naturais ou estabelecimento de sua classificação de crédito;
VI – envio ou estabelecimento de prioridades para serviços de resposta a emergências, incluindo bombeiros e assistência médica;
VII – administração da justiça, incluindo sistemas que auxiliem autoridades judiciárias na investigação dos fatos e na aplicação da lei;
VIII – veículos autônomos, quando seu uso puder gerar riscos à integridade física de pessoas;
IX – aplicaçõesnaáreadasaúde,inclusiveasdestinadas a auxiliar diagnósticos e procedimentos médicos;
X – sistemas biométricos de identificação;
XI – investigação criminal e segurança pública, em especial para avaliações individuais de riscos pelas autoridades competentes, a fim de determinar o risco de uma pessoa cometer infrações ou de reincidir, ou o risco para potenciais vítimas de infrações penais ou
15
intuito de identificar padrões desconhecidos ou descobrir relações escondidas nos dados; XIII – investigação porautoridadesadministrativas para avaliar a credibilidade dos elementos de prova no decurso da investigação ou repressão de infrações, para prever a ocorrência ou a recorrência de uma infração real ou potencial com base na definição de perfis de pessoas singulares; ou XIV – gestão da migração e controle de fronteiras
para avaliar os traços de personalidade e as características ou o comportamento criminal passado de pessoas singulares ou grupos;
XII – estudo analítico de crimes relativos a pessoas naturais, permitindo às autoridades policiais pesquisar grandes conjuntos de dados complexos, relacionados ou não relacionados, disponíveis em diferentes fontes de dados ou em diferentes formatos de dados, no intuito de identificar padrões desconhecidos ou descobrir relações escondidas nos dados;
XIII – investigaçãoporautoridadesadministrativaspara avaliar a credibilidade dos elementos de prova no decurso da investigação ou repressão de infrações, para prever a ocorrência ou a recorrência de uma infração real ou potencial com base na definição de perfis de pessoas singulares; ou
XIV – gestão da migração e controle de fronteiras.
XV – Inteligência Artificial Generativa ou de uso geral.
16
Nota técnica ao projeto de lei substitutivo
Contexto
Em 24 de abril, a Comissão Temporária sobre Inteligência Artificial (CTIA) do Senado divulgou sua proposta de revisão do PL nº 2 338/2023, visando constituir o “Marco Regulatório da IA no Brasil”. Pela complexidade inerente, nunca é trivial analisar projetos de lei. Logo, o propósito é compartilhar ponderações preliminares como contribuição ao debate.
A nova proposta pontos fortes para proteger direitos humanos fundamentais e fomentar a inovação. Contudo, há retrocessos significativos, como em relação às reservas sobre reconhecimento facial, que impõem à sociedade civil a urgência de posicionamentos contundentes e articulados.
1 Princípios
No que tange ao respeito, a proteção e a promoção da dignidade e dos direitos humanos, conforme estabelecido pelo direito internacional, incluindo as leis internacionais relativas aos direitos humanos, deve ser essencial ao longo do ciclo de vida dos sistemas de IA20 . Ademais, a dignidade humana (art. 2º, I) se relaciona com o reconhecimento do valor intrínseco e igual de cada ser humano, independentemente de raça, cor, ascendência, gênero, idade, língua, religião, opinião política, nacionalidade, origem étnica, social, econômica ou social, condição de nascimento, deficiência ou quaisquer outros motivos21 .
Sendo assim, o princípio da não discriminação não é suficiente. Entende-se que, diante do aprendizado dos algoritmos, a IA possui vieses em razão do seu treinamento ser humano, logo, é necessário conceber que algoritmos que sejam eximidos do legado da discriminação. Nessa fase atual da IA, registra-se uma fragilização da posição do ser humano em face do processo de aprendizagem de máquinas22
Não obstante, outro assunto sensível quanto a inteligência artificial se refere a difusão de informações falsas e, por vezes, enganosas, que será melhor explorado posteriormente (item 7). Assim, justifica-se a substituição do inciso IV do art. 3º, que consta apenas “não discriminação”, para “vedação à discriminação ilícita, direta e indireta, e a contrainformação de caráter enganoso”
Redação original
Redação proposta
20 UNESCO. Organização das Nações Unidas para a Educação, a Ciência e a Cultura. Recomendação sobre a Ética da Inteligência Artificial. UNESCO, 2022. Disponível em: https://unesdoc.unesco.org/ark:/48223/pf0000381137_por.locale=en.Acessoem:26maio2023.
21 Ibidem.
22 BITTAR,E.C.B.;SARLET,G.B.S.;SARLET,I.W. InteligênciaArtificial,ProteçãodeDadosPessoaiseResponsabilidadena EraDigital. SãoPaulo:ExpressaJur,2022.
17
Art.3°Odesenvolvimento,aimplementaçãoeousode sistemas de inteligência artificial observarão a boa-fé e os seguintes princípios:
I - crescimento inclusivo, desenvolvimento sustentável e bem-estar, incluindo a proteção do trabalho e do trabalhador;
II - autodeterminação e liberdade de decisão e de escolha;
III - supervisão humana efetiva no ciclo de vida da inteligência artificial, considerando o grau de risco envolvido;
IV - não discriminação ilícita e abusiva;
V - justiça, equidade e inclusão;
VI - transparência e explicabilidade, observado o segredo comercial e industrial;
VII-devidadiligência eauditabilidadeao longodetodo o ciclo de vida do sistema de inteligência artificial, de acordo com risco envolvido;
VII - confiabilidade e robustez do sistema de inteligência artificial;
IX - proteção dos direitos e garantias fundamentais, incluindo o devido processo legal, contestabilidade e contraditório;
X - prestação de contas, responsabilização e reparação integral de danos;
XI - prevenção, precaução e mitigação de riscos e danos;
2 Definições
Art.3°Odesenvolvimento,aimplementaçãoeousode sistemas de inteligência artificial observarão a boa-fé e os seguintes princípios:
I - crescimento inclusivo, desenvolvimento sustentável e bem-estar, incluindo a proteção do trabalho e do trabalhador;
II - autodeterminação e liberdade de decisão e de escolha;
III - supervisão humana efetiva no ciclo de vida da inteligência artificial, considerando o grau de risco envolvido;
IV - não discriminação ilícita e abusiva;
IV - vedação à discriminação ilícita, direta e indireta, e a contrainformação de caráter enganoso;
V - justiça, equidade e inclusão;
VI - transparência e explicabilidade, observado o segredo comercial e industrial;
VII-devidadiligênciaeauditabilidadeao longodetodo o ciclo de vida do sistema de inteligência artificial, de acordo com risco envolvido;
VIII - confiabilidade e robustez do sistema de inteligência artificial;
IX - proteção dos direitos e garantias fundamentais, incluindo o devido processo legal, contestabilidade e contraditório;
X - prestação de contas, responsabilização e reparação integral de danos;
XI - prevenção, precaução e mitigação de riscos e danos;
A definição da categoria “vulnerabilidade” precisa ser melhorada, tendo em vista que ela emergiu em diferentes campos disciplinares, passando a ser amplamente utilizada por órgãos internacionais e governamentais para a análise do processo saúde-doença e sua relação com as condições de vida das populações. Conforme o texto normativo, a categoria foi usada como sinônimo de “desigualdade”, no entanto ela tem sido comumente instrumentalizada junto a outros conceitos, tal qual os de precariedade23, dependência, cuidado e dano.
Assim, a ideia de vulnerabilidade surgiu como modo de reconhecer situações de fragilidade que atingem certas populações, essencialmente no que diz respeito à não garantia de seus direitos civis, políticos e sociais24. Sendo assim, compete aos novos marcos regulatórios observar ao máximo os mandamentos de proteção constitucional desses grupos historicamente marginalizados. Como também, é importante mencionar a preocupação com o uso do termo “vulnerabilizado” (verbo), em razão de indicar uma ação causada por algo, e não a condição inata do ser humano - como denota o termo “vulnerável” (adjetivo).
23 BUTLER, J. Repensarlavulnerabilidadylaresistência. In: Simposio de la Asociación Internacional de Filósofas – IAPH. Anais doSimposiodelaAsociaciónInternacionalde Filósofas – IAPH.Madrid:IAPH,p.24-27,2014.
24 FIGUEIREDO, G. de O., WEIHMÜLLER, V. C., VERMELHO, S. C.; ARAYA, J. B. Discusión y construcción de la categoría teórica de vulnerabilidad social. Cadernos de Pesquisa, v. 47, n. 165, p. 796-818, 2017. Acesso em: https://dx.doi.org/10.1590/198053144312.Acessoem:20nov.2023.
18
Redação original
Art. 4º Para as finalidades desta Lei, adotam-se as seguintes definições: [...]
XVIII - vulnerabilidade: reconhecimento da assimetria agravada de informação ou de poder de pessoas naturais devido às suas condições cognitivas, sociais, étnica, econômicas e de idade, a exemplo de crianças, idosos e pessoas com deficiência;
4 Categorização de riscos
Redação proposta
No capítulo de categorização de riscos, o relator manteve a metodologia de gradação de riscos proposta no PL 2338, preservando, a vedação de aplicações de “risco excessivo” (art. 13).
[...] quando algum dano foi causado, a questão da negligência diz respeito a se uma pessoa tinha o dever de cuidar para prevenir esse dano, mesmo que não tenha sido intencional. Isso poderia ser aplicado a quem projetou ou treinou a IA. Mas quão fácil é antever as consequências da IA? Comparativamente, o direito penal requer uma intenção de causar prejuízo. Mas esse frequentemente não é o caso com a IA. A responsabilidade pelo produto, por outro lado, não diz respeito à culpa dos indivíduos, mas obriga a empresa que produziu o item a pagar pelos danos, independentemente de culpa. Isso pode ser uma possível solução para a responsabilidade jurídica pela IA.25
O inciso XI do art. 15, deve ser considerado inaceitável, e não alto – como está previsto –, de modo a efetivamente banir a possibilidade de policiamento preditivo no Brasil, na mesma linha de diversas experiências internacionais.
Como já foi mencionado anteriormente, esses dispositivos promovem a vigilância massiva, pois abrem espaço para o armazenamento indiscriminado de imagens, considerando que poderão não ser deletadas de forma indeterminada pela mera expectativa de um dia poderem ser utilizadas. As tecnologias de vigilância trazem insegurança em razão da violação aos direitos individuais, sem que sejam dadas chances de evitar ou mesmo consentir com sua implementação e com o fato de todos se tornarem alvos. Destacam-se as violações:
▪ da integridade, pela coleta e pelo processamento de dados pessoais biométricos;
▪ da liberdade de ir e vir e de autodeterminação, pois é uma vigilância durante todo o tempo;
▪ do devido processo legal, pois a vigilância em massa considera todas as pessoas culpadas por princípio, minando a garantia constitucional da presunção de inocência como um pressuposto jurídico básico;
▪ do direito à privacidade e à proteção de dados pessoais, pois se trata de medida desproporcional, que privilegia um ambiente de constante e excessivo
25 COECKELBERGH,M. Éticanainteligênciaartificial.São Paulo/RiodeJaneiro:UbuEditora/EditoraPUC-Rio,2023.
19
monitoramento, além de estar em dissonância com a axiologia protetiva da LGPD (art. 2º, inciso I e IV); ▪ do direito à livre associação, a poder criar um efeito inibitório que tornará as pessoas sempre temerosas de promover sua cidadania em espaços públicos por meio de manifestações, por exemplo, pelo fato de se sentirem vigiadas.
Independentemente das salvaguardas e correções que poderiam ser propostas para a criação de uma tecnologia alegada e supostamente “livre de erros”, essa vigilância constante, massiva e indiscriminada é – em si mesma – uma violação dos direitos e das liberdades individuais. Por tratar de mecanismos aplicados de forma incompatível com os direitos humanos, pede-se o banimento, e não apenas por uma moratória, do reconhecimento facial no contexto da segurança pública.
Além disso, o PL traz uma previsão de proibição de armas letais mas junto a exceção pela defesa nacional. No entanto, o uso se dá, em âmbito internacional, massivamente sob contexto de defesa nacional, assim essa previsão é vazia para um dispositivo de tamanha complexidade.
Redação original
Redação proposta Art. 13. São vedadas a implementação e o uso de sistemas de inteligência artificial:
I - que empreguem técnicas subliminares que tenham por objetivo ou por efeito induzir a pessoa natural a se comportar de forma prejudicial ou perigosa à saúde ou segurança própria ou de terceiros;
II-queexploremquaisquer vulnerabilidades,taiscomo as associadas a sua idade, situação socioeconômica ou deficiência física ou mental, de modo a induzi-las a se comportar de forma prejudicial à saúde ou segurança própria ou de terceiros;
III - pelo poder público, para avaliar, classificar ou ranquear as pessoas naturais, com base no seu comportamento social ou em atributos da sua personalidade, por meio de pontuação universal, para o acesso abenseserviçosepolíticas públicas,deforma ilegítima ou desproporcional;
IV - que possibilitem a produção, disseminação ou facilitem a criação de material que caracterize ou represente abuso ou exploração sexual infantil;
V - que avaliem os traços de personalidade, as características ou o comportamento passado, criminal ounão,depessoassingularesougrupos,paraavaliação de risco de cometimento de crime, infrações ou de reincidência;
VI - sistemas de armas autônomas (SAA) que não permitam controle humano significativo, cujos efeitos sejam imprevisíveis ou indiscriminados ou cujo uso implique violações do Direito Internacional Humanitário.
§ 1° Para os propósitos da presente Lei, sistemas de armas autônomas são aqueles que, uma vez ativados, podem selecionar e atacar alvos sem intervenção humana adicional.
Art. 13. São vedadas a implementação e o uso de sistemas de inteligência artificial: [...]
VI - sistemas de armas autônomas (SAA) que não permitam controle humano significativo, cujos efeitos sejam imprevisíveis ou indiscriminados ou cujo uso implique violações do Direito Internacional Humanitário.
VI - para o uso de sistemas autônomos letais;
VII - para reconhecimento de emoções;
VIII - para o uso de sistemas autônomos letais;
IX - para fins de investigação criminal e segurança pública que façam avaliações individuais de risco de uma pessoa cometer infrações ou de reincidir, ou para avaliar os traços de personalidade e características ou comportamento criminal passado de pessoas ou grupos;
X - sistemas de identificação biométrica, excluindo os de autenticação biométrica.
20
5 Governança
O substitutivo é síntese dos modelos regulatórios do PL 21/20 e PL 2338/23. Uma estrutura híbrida que propõe regulação e fomento já realizado por agências reguladoras setoriais, unido a cooperação com uma autoridade que seja coordenadora deste sistema. Assim, a nova proposta conjuga as abordagens estadunidenses e britânica à europeia. O relator inovou definindo medidas de governança para sistemas de IA estabelecendo requisitos para antes de o modelo poder ser disponibilizado no mercado, entre os quais destacam-se:
▪ demonstração de mitigação de riscos e documentação de riscos não mitigáveis remanescentes;
▪ redução da utilização de energia;
▪ registro de modelo na base de dados a ser regulamentada pela autoridade competente;
No capítulo de fiscalização (Art. 40), Gomes propõe instituir um Sistema Nacional de Regulação e Governança da IA (SIA), a ser integrado pelos seguintes membros:
▪ autoridade competente;
▪ órgãos e entidades estatais reguladores (setorial, geral e Cade);
▪ entidades de autorregulação; e
▪ entidades acreditadas na certificação (selos a agentes de IA).
O relator sinalizou que a ANPD pode assumir o papel, como o governo federal já sinalizou que também defende, ressaltando que ela é adequada, mas precisará ter a estrutura adaptada para receber as funções de regulação de IA. No entanto, entende-se a necessidade da criação uma autoridade específica para a governança da inteligência artificial, tal qual a competência ada ANPD para a proteção de dados.
Considerando que a inteligência artificial atinge diversos setores, considera-se que a atribuição de uma autoridade competente para fiscalizar o uso e desenvolvimento da inteligência artificial no Brasil exige um olhar interdisciplinar, que permita a identificação dos riscos comuns e divergentes que esse sistema provoca em diferentes áreas e que seja capaz de fornecer soluções adequadas a esses riscos, por meio do reforço de suas estruturas e atribuições internas e da constante cooperação dos órgãos relacionados.
Na atividade regulamentar da autoridade competente, diversas de suas competências fiscalizatórias podem se beneficiar de uma postura cooperativa e com outras agências setoriais. Uma regulação eficiente, do ponto de vista dos agentes de tratamento e da Administração Pública Federal, demandará tal postura e novas formas capazes de melhorar um setor transversal em constante transformação.
Redação original
Art. 23. A avaliação de impacto algorítmico será realizadaporprofissionalouequipedeprofissionaiscm independência funcional, bem como com conhecimentos técnicos científicos, regulatórios e jurídicos necessários e considerando as boas práticas setoriais e internacionais.
Redação proposta
Art. 23. A avaliação de impacto algorítmico será realizadaporprofissionalouequipedeprofissionaiscm independência funcional, bem como com conhecimentos técnicos científicos, regulatórios e jurídicos necessários e considerando as boas práticas setoriais e internacionais.
21
§ 1º Caberá à autoridade competente regulamentar:
a) os critérios quanto à independência funcional referida no caput;
b) os casos em que a realização ou auditoria da avaliação de impacto será necessariamente conduzida por profissional ou equipe de profissionais externos ao fornecedor.
I – zelar pela proteção a direitos fundamentais e a demais direitos afetados pela utilização de sistemas de inteligência artificial;
II – promover a elaboração, atualização e implementação da Estratégia Brasileira de Inteligência Artificial junto aos órgãos de competência correlata;
III – promover e elaborar estudos sobre boas práticas no desenvolvimento e utilização de sistemas de inteligência artificial;
IV – estimular a adoção de boas práticas, inclusive códigos de conduta, no desenvolvimento e utilização de sistemas de inteligência artificial;
V – promoveraçõesdecooperaçãocomautoridadesde proteção e de fomento ao desenvolvimento e à utilização dos sistemas de inteligência artificial de outros países, de natureza internacional ou transnacional;
VI – expedir normas para a regulamentação desta Lei, inclusive sobre:
a) procedimentos associados ao exercício dos direitos previstos nesta Lei;
b) procedimentos e requisitos para elaboração da avaliação de impacto algorítmico;
c) forma e requisitos das informações a serem publicizadas sobre a utilização de sistemas de inteligência artificial; e d) procedimentos para certificação do desenvolvimento e utilização de sistemas de alto risco.
VII – articular-se com as autoridades reguladoras públicas para exercer suas competências em setores específicos de atividades econômicas e governamentais sujeitas à regulação;
VIII – fiscalizar,demodo independenteou emconjunto com outros órgãos públicos competentes, a divulgação das informações previstas nos arts. 7º e 43;
IX – fiscalizar e aplicar sanções, em caso de desenvolvimento ou utilização de sistemas de inteligência artificial realizado em descumprimento à legislação, mediante processo administrativo que assegure o contraditório, a ampla defesa e o direito de recurso;
X – solicitar, a qualquer momento, às entidades do poder público que desenvolvam ou utilizem sistemas de inteligência artificial, informe específico sobre o âmbito, a natureza dos dados e os demais detalhes do tratamento realizado, com a possibilidade de emitir parecer técnico complementar para garantir o cumprimento desta Lei;
XI – celebrar, a qualquer momento, compromisso com agentes de inteligência artificial para eliminar irregularidade, incerteza jurídica ou situação
§ 1º Caberá à autoridade competente regulamentar:
a) os critérios quanto à independência funcional referida no caput;
b) os casos em que a realização ou auditoria da avaliação de impacto será necessariamente conduzida por profissional ou equipe de profissionais externos ao fornecedor;
c) promover a elaboração, atualização e implementação da Estratégia Brasileira de Inteligência Artificialjuntoaosórgãosdecompetênciacorrelata,de maneira a normatizar o uso da inteligência artificial em diversos setores dentro de suas especificidades;
d) fiscalizar e aplicar sanções, em caso de desenvolvimento ou utilização de sistemas de inteligência artificial realizado em descumprimento à legislação, mediante processo administrativo que assegure o contraditório, a ampla defesa, o direito de recurso, e definir quais os tipos de auditorias podem ser realizadas;
e) regular e fiscalizar as avaliações de impacto algorítmico;
§ 2º A autoridade competente será o órgão central de aplicação desta Lei e do estabelecimento de normas e diretrizes para a sua implementação.
§ 3º A autoridade competente será um órgão independente para analisar as normas, processos e procedimentos de forma colegiada, formado por:
a) integrantes da sociedade civil,
b) 1 (um) membro do Ministério Público;
c) 1 (um) membro do Supremo Tribunal Federal;
d) 1 (um) membro do Conselho Federal da Ordem dos Advogados do Brasil;
e) 1 (um) membro do Comitê Gestor da Internet no Brasil;
f) 1 (um) membro da Autoridade Nacional de Proteção de Dados;
g) 1 (um) membro da Agência Nacional de Telecomunicações;
h) 1 (um) membro do Conselho Administrativo de Defesa Econômica
i) 1 (um) membro do Ministério do Desenvolvimento e da Indústria;
j) 1 (um) membro de cada plataforma digital em atuação no país;
k) outras indicações facultativas.
22
contenciosa no âmbito de processos administrativos, de acordo com o previsto no Decreto-Lei nº 4.657, de 4 de setembro de 1942;
XII – apreciar petições em face do operador de sistema de inteligência artificial, após comprovada apresentação de reclamação não solucionada no prazo estabelecido em regulamentação; e XIII – elaborar relatórios anuais acerca de suas atividades.
Parágrafo único. Ao exercer as atribuições do caput, o órgão competente poderá estabelecer condições, requisitos, canais de comunicação e divulgação diferenciados para fornecedores e operadores de sistemas de inteligência artificial qualificados como micro ou pequenas empresas, nos termos da Lei Complementar nº 123, de 14 de dezembro de 2006, e startups, nos termos da Lei Complementar nº 182, de 1º de junho de 2021.
Art. 33. A autoridade competente será o órgão central de aplicação desta Lei e do estabelecimento de normas e diretrizes para a sua implementação.
6 Desinformação
A sugestão para inserção do termo “a contrainformação de caráter enganoso” no art. 3º, se dá em razão de que a expressão “fatos comprovadamente inverídicos” coloca nas mãos do intérprete da lei a possibilidade de definir o que “verdade”, como se fosse legítimo à um órgão público arbitrar o que é verdadeiro ou falso no debate público, enquanto a exigência de risco à vida, à integridade física ou mental, à segurança das pessoas e à higidez do processo eleitoral trazem elementos subjetivos que concedem grande carga valorativa subjetiva nas mãos do intérprete, o que também pode abrir espaço para insegurança jurídica e censura. Logo, é difícil definir o que é verdade, pois provar um fato significa convencer alguém, por meio de meios legítimos, sobre a veracidade de um fato, fenômeno ou alegação, mas não que esse fato seja realmente verdadeiro.
TABELA 1 - CATEGORIZAÇÃO DA DESORDEM INFORMACIONAL26
Informação falsa
Informação nociva
Informação não-falsa
Disinformation Malinformation
Informação não-nociva Misinformation -
Em ciência do uso de sistemas automatizados em plataformas de serviços de mensageria, é necessário estabelecer um dever de cuidado para a segurança do ambiente específico com a obrigação de impedir a distribuição massiva de conteúdos e mídias. Além de criminalizar a ação coordenada para disparos em massa de mensagens ilícitas ou comprovadamente inverídicas mediante o uso de contas automatizadas e outros expedientes, capazes de expor a risco determinados bens jurídicos: vida, integridade física e mental, segurança e higidez do processo eleitoral.
26 WARDLE, C.; DERAKHSHAN, H. Informationdisorder: Toward an interdisciplinary framework for research and policy making.CouncilofEuropereport,v.27,2017.
23
Redação original
Não há previsão.
Redação proposta
Art. 37. Os agentes de inteligência artificial podem associar-se voluntariamente sob a forma de pessoa jurídica de direito privado sem fins lucrativos para promover a autorregulação com o objetivo de incentivar e assegurar melhores práticas de governança ao longo de todo o ciclo de vida de sistemas de inteligência artificial.
I - Com o objetivo de proteger a liberdade de expressão, o acesso à informação e fomentar o livre fluxo de ideias e resguardar os usuários de práticas fraudulentas,ossistemas, no âmbito dosseusserviços, devem adotar medidas para:
II - vedar o funcionamento de contas automatizadas não identificadas como tal ao usuário ou aos provedores de redes sociais e serviços de mensageria instantânea;
III - identificar todos os conteúdos impulsionados em publicitários cuja distribuição tenha sido realizada mediante pagamento ao provedor, bem como os conteúdos referentes às contas automatizadas; e
IV - disponibilizar mecanismo acessível e destacado para qualquer usuário reportar desinformação.
Parágrafo único. Por desinformação compreende-se toda a contrainformação de caráter enganoso, seja ela nociva ou não-nociva.
Parágrafo únic. Promover ou financiar, pessoalmente ou por meio de terceiros, mediante uso de contas automatizadas e outros meios ou expedientes não fornecidosdiretamentepeloprovedordeaplicaçõesde internet, disseminação em massa de mensagens que contenha fato que sabe inverídico que seja capaz de comprometer a higidez do processo eleitoral ou que possacausardanoàintegridadefísicaesejapassívelde sanção criminal.
Pena: reclusão, de 1(um) a 3 (três) anos e multa. [...]
7 Inteligência Artificial Generativa
A consultoria geopolítica Eurasia Group publicou, em janeiro de 2023, o relatório anual “Top risks” (principais riscos) internacionais do ano de 202327, em que apontou a tecnologia de inteligência artificial (IA) generativa baseada em algoritmos como o terceiro maior risco global. A IA generativa ficou em terceiro lugar devido a sua capacidade potencial de aumentar a desinformação, corroer a confiança social, capacitar e empoderar líderes demagogos e autoritários, bem como prejudicar negócios e mercados.
Em 14 de março de 2023, a OpenAI divulgou a atualização do ChatGPT com nova versão do seu algoritmo de inteligência artificial generativa – o GPT-4. No documento técnico oficial, a empresa revelou diversos malefícios e riscos da tecnologia: (i) que esse novo algoritmo não é totalmente confiável, pois sofre de “alucinações digitais”; (ii) gerar conteúdo
27 TOP RISKS 2023. Eurasia Group. Disponível em: https://www.eurasiagroup.net/issues/top-risks-2023. Acesso em 20 mar.2024.
24
potencialmente prejudicial; (iii) reproduzir vários preconceitos e visões de mundo discriminatórias; iv) fornecer informações detalhadas sobre como conduzir atividades ilegais, incluindo o desenvolvimento de armas biológicas. Um trecho crucial deste documento técnico da OpenAI diz que o GPT-4 e sistemas de IA semelhantes terão um potencial ainda maior para reforçar ideologias, visões de mundo, verdades e inverdades, e para bloqueá-las, impedindo futuras contestações, reflexões e melhorias28
Essas “alucinações digitais” decorrem muitas vezes da falta de conhecimento da inteligência artificial sobre os fatos e havendo a necessidade de dar uma resposta ao usuário, a ferramenta pode criar respostas, ou seja, inventar respostas de acordo com sua base de dados29. A desinformação gerada pela IA tornou-se cada vez mais preocupante à medida que as ferramentas de IA se tornam mais acessíveis. Em maio de 2023, uma imagem gerada por IA de uma explosão perto do Pentágono se tornou viral e, em março de 2023, imagens de Donald Trump tentando escapar da prisão se espalharam rapidamente no X30 .
A Meta anunciou que começaria a rotular o conteúdo gerado por IA do Google, OpenAI, Microsoft, Adobe, Midjourney e Shutterstock antes das eleições. Enquanto isso, a OpenAI disse que adicionaria marcas d'água às imagens geradas por suas plataformas, a fim de combater deepfakes políticos. Midjourney anunciou recentemente que estava considerando proibir os usuários de criar imagens políticas de Donald Trump e Joe Biden pelos próximos doze meses antes das eleições. Isso ainda não foi confirmado.
Limitar a criação de imagens falsas é crucial para conter a propagação da desinformação. As imagens geram mais cliques e maior fluência de processamento, o que significa que as pessoas têm maior probabilidade de ver e lembrar de afirmações falsas quando associadas a uma imagem. Essas imagens são as deepfakes criadas com deep learning (aprendizagem profunda por meio de uso maciço de dados), em que se aplica uma técnica de síntese de imagem humana baseada na inteligência artificial. É usada para combinar e sobrepor imagens e vídeos preexistentes e transformá-los em imagens ou vídeos “originais”, utilizando a tecnologia de GAN (Generative Adversarial Network, ou redes generativas adversariais)31 .
O que inicialmente beira o humor viral, logo se torna um mecanismo criminoso, de modo que a tecnologia deepfake pode gerar, por exemplo, um vídeo pornográfico ou político de alguém dizendo qualquer coisa, sem o consentimento da pessoa cuja imagem e voz estão envolvidas32 .
28 OpenAI. GPT-4TechnicalReport. [S.l.], 27 mar. 2023, p. 49. Disponível em: https://cdn.openai.com/papers/gpt-4.pdf Acessoem:27mar.2024.
29 BARRETO,A.M.P.;ÁVILA,F.DE.Ainteligênciaartificialdiantedaintegridadecientífica:umestudosobreousoindevido do ChatGPT. Revista Direitos Culturais, v. 18, n. 45, p. 91-106, 7 set. 2023. Disponível em: https://san.uri.br/revistas/index.php/direitosculturais/article/view/1373.Acessoem:11abr.2024.
30 DOMINGOS, R. É #FAKE imagem de explosão perto do Pentágono, nos EUA. G1, 2023. Disponível em: https://g1.globo.com/fato-ou-fake/noticia/2023/05/23/e-fake-imagem-de-explosao-perto-do-pentagono-noseua.ghtml.Acessoem:10abr.2024.
31 PRADO, M. Fakenewseinteligênciaartificial: o poder dos algoritmos na guerra da desinformação. São Paulo: Edições 70,2022.
32 BARRETO,A. M. P.; JABORANDY,C. C.M. Paraalém das fake news: breves apontamentos sobre a inteligência artificial imitativa. The International Review of Information Ethics, v. 33, 2024. Disponível em: https://informationethics.ca/index.php/irie/article/view/503 Acessoem:13abr.2024.
25
TABELA 2 - DISPOSITIVOS SOBRE INTELIGÊNCIA ARTIFICIAL GENERATIVA
Parâmetros
Definição
Cadeia de agentes envolvidos
Previsão de riscos razoáveis por parte da cadeia de agentes
Obrigações
Gerar ou modificar multimídias no geral
Desenvolvedor, fornecedor e aplicador (agentes de IA)
Sim
Obrigações específicas para IA generativa
Menção na normativa
Art. 4º, inciso V
Art. 4º, incisos VI, VII, VIII e IX Art. 12
Arts 13 a 20
Capítulo IV (Governança de Sistemas de IA)
Seção IV, art. 22 (avaliação de impacto)
Seção V, art. 29 (medidas de governança)
O substitutivo do PL 2338/23 traz uma definição para as IAs generativas, mas é necessário estabelecer às seguintes condicionantes: (i) informar que o conteúdo foi gerado por IA; (ii) projetar o modelo para evitar que ele gere conteúdo ilegal e (iii) informar a publicação de eventuais dados protegidos por direitos autorais usados para treinamento.
Os modelos de IA de uso geral de alto impacto (ou generativas) que podem representar risco sistêmico, como o modelo de IA mais avançado GPT-4, devem passar por avaliações completas e quaisquer incidentes graves teriam que ser relatados à autoridade competente (item 10). Esses impactos incluem: (i) a capacidade dos sistemas serem usados para desinformação; (ii) as violações de proteção de dados pessoais; (iii) as violações da propriedade intelectual; (iv) a geração de conteúdo discriminatório ou de discurso de ódio; (v) o gasto energético e o consumo de recursos naturais como minério e água para treinamento dessas tecnologias e para a construção e manutenção do equipamento; (vi) a capacidade de facilitar a codificação de ferramentas para ataques cibernéticos; (vii) as falhas de cibersegurança; (viii) a capacidade de aprofundar o epistemicídio do conhecimento produzido por populações não brancas, devido à ausência de diversidade; e (ix) a exploração de trabalhadores pessimamente remunerados em países do ‘Sul Global’ para fins de moderação de conteúdo nesses sistema. Esses são alguns dos riscos apresentados por sistemas generativos, que não podem deixar de ser endereçados por uma regulação efetiva de IA.
Muito embora existam obrigações no PL que indicam essas questões, outras salvaguardas devem ser incorporadas. A primeira deve referir-se à concessão, a reguladores e centros de pesquisa, de acesso às bases de dados de treinamento utilizadas por esses sistemas. Ao tratar dos sistemas de IA generativa, essa concessão é fundamental para identificar de que modo atuam, seja para reforçar a discriminação de populações historicamente vulnerabilizadas ou para tirar lucros de trabalhos protegidos por propriedade intelectual.
A preocupação com essa transparência serve para possibilitar a identificação da maneira como os desenvolvedores se beneficiam do conhecimento de determinados grupos sem o devido reconhecimento ou compensação. Além de incluir a previsão do uso de sistemas de
26
IA para fins de pesquisa, não havendo finalidade lucrativa, não estejam sujeitos ao pagamento de direitos de propriedade intelectual.
Lembrando que sistemas generativos são conhecidos justamente por serem responsáveis por imensos gastos energéticos, é essencial o fornecimento de informações no que diz respeito aos impactos ambientais.
Sobre as marcas d’água, apesar de não serem suficientes – por serem passíveis de burla –, devem ser tratadas como obrigação para os desenvolvedores de sistemas generativos no conteúdo gerado por essas aplicações. Posto que podem auxiliar na informação sobre a automatização de conteúdos desinformativos.
Redação original
Seção V
Medidas de Governança para Sistemas de Inteligência
Artificial Fundacional, de Propósito Geral e Generativa
Art. 29. O desenvolvedor de um modelo de IA fundacional e de propósito geral deve, antes de o disponibilizar no mercado ou de o colocar em serviço, garantir que o cumprimento dos seguintes requisitos: I-demonstrarpormeiodetesteseanálisesadequados, a identificação, a redução e a mitigação de riscos razoavelmente previsíveis para os direitos fundamentais, o meio ambiente, o processo democrático e a disseminação de desinformação e de discursosquepromovamo ódioou aviolênciaantesao longo de seu desenvolvimento, com envolvimento de especialistas independentes;
II - documentação dos riscos não mitigáveis remanescentes após o desenvolvimento, bem como sobre os impactos ambientais e sociais;
III - apenas processar incorporar conjuntos de dados coletados e tratados em e conformidade com as exigências legais, sujeitos a uma adequada governança de dados, em especial de acordo com a Lei n° 13.709, de 14 de agosto de 2018;
IV - conceber e desenvolver o modelo fundacional de modo a permitir que alcance, ao IV - conceber e desenvolver o modelo fundacional de modo a permitir que alcance, ao longo do seu ciclo de vida, níveis apropriados de desempenho, previsibilidade, interpretabilidade, corrigibilidade, segurança e a cibersegurança avaliadas por meio de métodos apropriados, tais como a avaliação de modelos com o envolvimento de especialistas independentes, análise documentada testes extensivos durante a concepção, design e desenvolvimento;
V - conceber e desenvolver recorrendo às normas aplicáveis para reduzir a utilização de energia, a utilização de recursos os resíduos, bem como para aumentaraeficiênciaenergéticaeaeficiênciaglobaldo sistema;
VI - elaborar documentação técnica e instruções de utilização inteligíveis, a fim de permitir que os
Redação proposta
Art. 29. O desenvolvedor de um modelo de IA fundacional e de propósito geral deve, antes de o disponibilizar no mercado ou de o colocar em serviço, garantir que o cumprimento dos seguintes requisitos: [...]
IX - A Inteligência Artificial Generativa ou de uso geral representa um sistema de alto impacto e representa altos riscos.
§ 1º Em virtude do seu alto impacto, esses sistemas precisam passar por avaliações completas e periodicamente,acada3(três)meses,sendo relatados à autoridade competente:
a) a capacidade dos sistemas serem usados para desinformação;
b) as violações de privacidade e proteção de dados pessoais;
c) as violações à propriedade intelectual;
d) a geração de conteúdos discriminatórios ou de discursos de ódio;
e) – o impacto ambiental, o gasto energético e o consumo de recursos naturais;
f) – a codificação de ferramentas para ataques cibernéticos;
g) – as falhas de cibersegurança;
§ 2º A equipe humana de treinamento dos sistemas de inteligência artificial e de moderação de conteúdo deverá ser informada à autoridade competente para garantir a diversidade.
§ 3º Todos os conteúdos criados ou manipulados por inteligência artificial generativa ou de uso geral deverá indicar de forma clara, acessível e identificável em marca d’água; também se aplica à reconstrução de conteúdo inédito gerado a partir de imagem ou voz cuja captura ou divulgação fora previamente autorizada.
§ 4º Salvo disposição testamentária em sentido contrário, é expressamente proibido o uso da tecnologia parareconstruir conteúdo inédito devozou imagem de pessoa já falecida.
§ 5º O conteúdo reconstruído digitalmente post mortem deve guardar coerência com a identidade construída em vida pela pessoa.
27
fornecedores posteriores cumpram as suas obrigações previstas neste capitulo;
VII - estabelecer um sistema de gestão da qualidade para garantir e documentar a conformidade com o presente artigo, com apossibilidade deexperimentar o cumprimento deste requisito em ambientes de testagem;
VIII - registrar o modelo fundacional na base de dados a ser regulamentada pela autoridade competente, considerando oestadodaarteno momento do registro § 1º O cumprimento dosrequisitos estabelecidos neste artigo independe de o modelo fundacional ser fornecido como modelo autônomo ou incorporado a outro sistema de IA ou em produto, ou fornecido sob licenças gratuitas e de código aberto como um serviço, assim como outros canais de distribuição.
§ 2º Os desenvolvedores e fornecedores de modelos fundacionais, de propósito geral e generativa devem, por um período de 10 anos, contados da colocação no mercado ou da entrada em serviço dos seus modelos, manter a documentação técnica referida nos incisos V e VI disposição da autoridade competente;
8 Moderação de conteúdo
§ 6º Os herdeiros não podem autorizar a reconstrução digital post mortem §7ºÉ proibidaapublicação de imagem, áudioou vídeo de pessoa, viva ou falecida, seja manipulada mediante o emprego de sistemas de inteligência artificial para o processamento, análise e geração de imagens e áudio com o intuito de influenciar a percepção de consumidor quanto ao produto ou serviço e promover sua comercialização, salvo na hipótese de:
I – consentimento prévio expresso do titular do direito de imagem, obtido de forma clara, inequívoca e documentada; e
II – informação ao consumidor, de forma ostensiva, sempre que a imagem ou áudio for exibido, de que se trata de publicidade elaborada mediante uso de inteligência artificial.
§ 8º Uma vez notificado a plataforma, deverá interromper a divulgação, publicação ou transmissão da publicidade em até três dias úteis, independente de prévia comunicação ao anunciante, sob pena de responder solidariamente pela infração nos termos destaLei,semprejuízodasdemaissançõescivis,penais e administrativas cabíveis Art. 30 [...]
Considerando a relevância da moderação de conteúdo para garantia da liberdade de expressão e do acesso à informação dos usuários, é desejável que os critérios utilizados para moderação de certos conteúdos, ou impulsionamento de outros, levem em consideração o interesse público, e não somente os interesses privados das plataformas. Contudo, já foi possível reconhecer diversos casos de erros nessa atividade, que pode ser exercida por humanos, mas é majoritariamente exercida por sistemas automatizados de inteligência artificial33 .
Ademais, a organização do feed realizada pelos sistemas automatizados destaca conteúdos com maiores chances de manter o engajamento dos usuários na plataforma, personalizando a experiência em plataformas digitais de acordo com os dados comportamentais coletados e analisados de cada usuário.
Nesse sentido, entende-se que a remoção de conteúdo lícito do ar por sistemas automatizados representa um desrespeito à liberdade de expressão dos usuários, igualmente ao direcionamento de conteúdo, que afeta o acesso à informação e o direito à privacidade dos usuários. Cientes desse cenário, observa-se a necessidade da criação de exigências de maior transparência, prestação de contas e responsabilidade (accountability) na moderação de conteúdo realizada por esses sistemas.
As informações exigidas sobre sistemas automatizados são interessantes porque estes são referidos como black boxes (caixas pretas), uma vez que a tomada de decisão de sistemas
33 COBBE, J. Algorithmic Censorship by Social Platforms: Power and Resistance. Philosophy&Technology, v. 34, p. 739766,2021.Disponível em:https://doi.org/10.1007/s13347-020-00429-0.Acessoem:11abr.2024.
28
algorítmicos dotados de machine learning – como é o caso dos sistemas responsáveis pela moderação de conteúdo nas plataformas digitais – não é inteligível nem mesmo pelos próprios criadores dos códigos. O sistema automatizado passará a tomar decisões sozinho, de acordo com os dados coletados e analisados por ele.
As exigências de transparência sobre a tomada de decisão desses sistemas não são adequadas para a forma como a moderação é realizada. Sugestiona-se a divulgação dos critérios que foram utilizados para treinar os algoritmos, buscando mitigar possíveis consequências de comportamentos indesejados dos sistemas34. Como também é necessário informar sobre a equipe humana responsável pela moderação de conteúdo com indicações sobre o nível de diversidade da equipe, em ciência da reprodução dos vieses algorítmicos por seus treinadores.
[Não há previsão]
Art. 38. Os agentes de IA comunicarão à autoridade competente a ocorrência de graves incidentes de segurança, incluindo quando houver risco à vida e integridade física de pessoas, a interrupção de funcionamento de operações críticas de infraestrutura, gravesdanosàpropriedadeou ao meioambiente,bem como graves violações aos direitos fundamentais, ao processo democrático e a disseminação de desinformação edediscursosquepromovamo ódioou a violência, nos termos do regulamento.
§ 1º A comunicação será feita em prazo razoável, conforme definido pela autoridade competente e observadas as características dos sistemas de inteligência artificial de acordo com o estado da arte e desenvolvimento tecnológico.
§ 2º A autoridade competente verificará a gravidade do incidente e poderá, caso Inecessário, determinar ao agente a adoção de providências e medidas para reverter Ou mitigar os efeitos do incidente.
Art. 38. Os agentes de IA comunicarão à autoridade competente a ocorrência de graves incidentes de segurança, incluindo quando houver risco à vida e integridade física de pessoas, a interrupção de funcionamentodeoperaçõescríticasdeinfraestrutura, gravesdanosàpropriedadeouao meioambiente,bem como graves violações aos direitos fundamentais, ao processo democrático e a disseminação de desinformaçãoedediscursosquepromovamoódioou a violência, nos termos do regulamento, na mesma medida em que deverão:
I - fornecer informações sobre o emprego de sistemas automatizados na aplicação de termos e políticas de uso próprios dos provedores e dos buscadores, incluindo:
§ 1º taxa de detecção ativa de conteúdos identificados para remoção por sistemas automatizados, por tipo de conteúdo;
§ 2º descrição dos tipos de ferramentas de detecção automatizadas envolvidas na garantia da aplicação adequada das políticas de conteúdo
§ 3º informações sobre a equipe humana de treinamento dos sistemas de inteligência artificial e de moderação de conteúdo.
II - fornecer informações agregadas sobre o alcance comparado de conteúdos identificados como irregulares pelo provedor em relação aos demais conteúdos em veiculação no período.
III - informar sobre as atualizações das políticas próprias e termos de uso feitas no semestre, a data da modificação e a justificativa para a sua adoção.
§ 1º Os dados e os relatórios publicados devem ser disponibilizadoscompadrõestecnológicosabertosque permitam a comunicação, a acessibilidade e a interoperabilidade entre aplicações e bases de dados.
§ 2º Os relatórios de transparência devem ser disponibilizados ao público em até 60 (sessenta) dias
34 ANANNY, M.; CRAWFORD, K. Seeing without knowing: Limitations of the transparency ideal and its application to algorithmic accountability. New Media & Society, 2016. Disponível em: https://journals.sagepub.com/doi/10.1177/1461444816676645 Acesso 15abr.2024
29
Redação original
Redação proposta
após o término do semestre em questão, e 11 elaborados em linguagem clara, quando possível fazendo uso de recursos de acessibilidade.
§ 3º Resguardado o respeito à proteção de dados pessoais e à propriedade intelectual, os provedores devem facilitar o acesso de instituições de pesquisa acadêmica a dados desagregados, para finalidade de pesquisa acadêmica, observada a Lei no 13.709, de 14 de agosto de 2018.
§ 4º O uso de sistemas de IA para pesquisa científica, semfinslucrativos,nãoestarásujeitoaopagamentode direitos de propriedade intelectual.
§ 5º A comunicação será feita em prazo razoável, conforme definido pela autoridade competente e observadas as características dos sistemas de inteligência artificial de acordo com o estado da arte e desenvolvimento tecnológico.
§ 6º A autoridade competente verificará a gravidade do incidente e poderá, caso Inecessário, determinar ao agente a adoção de providências e medidas para reverter Ou mitigar os efeitos do incidente.
9 Eleições
O aperfeiçoamento das ferramentas de inteligência artificial levou ao surgimento do fenômeno dos deepfakes, quando a imagem e a voz de uma pessoa são manipuladas para a produção de informações falsas, tornando praticamente impossível distinguir entre uma mensagem manipulada digitalmente de uma mensagem gravada na realidade. Enquanto na seara política, as preocupações estão relacionadas à manipulação de mensagens com intuito de alterar o resultado das eleições, colocando em risco a lisura do processo eleitoral, na seara do direito privado crescem as denúncias de personalidades que têm seu nome, voz e imagem vinculados a produtos e serviços, muitos dos quais de qualidade e segurança duvidosas.
A manipulação não consentida de sons e imagens através o uso de ferramentas de inteligência artificial deve ser entendido como propaganda enganosa, e até mesmo ferir a honra e a imagem da pessoa. Além disso, comumente esses anúncios são veiculados em plataformas digitais, que auferem grande receita com esses anúncios, é indispensável a criação de regras para responsabilizar estes veículos caso, uma vez notificados, não procedam à retirada do conteúdo.
Embora estas ferramentas façam algum esforço na moderação de conteúdo, as proteções existentes são inadequadas. Com a facilidade de acesso e as barreiras mínimas à entrada proporcionadas por estas plataformas, praticamente qualquer pessoa pode gerar e disseminar desinformação eleitoral.
Uma nova pesquisa do Center for Countering Digital Hate (CCDH) descobriu que os principais geradores de imagens de IA criaram desinformação eleitoral em 41% dos casos,
30
incluindo imagens que poderiam apoiar falsas alegações sobre candidatos ou fraude eleitoral35 .
Os pesquisadores do CCDH criaram uma lista de 40 solicitações de texto sobre o tema da eleição presidencial dos Estados Unidos de 2024, que foram testadas em quatro geradores de imagens de IA populares - Midjourney, ChatGPT Plus, DreamStudio e Image Creator da Microsoft - para um total de 160 testes. Foi descoberto que as ferramentas geram imagens que constituem desinformação eleitoral em 41% destes 160 testes36
Metade dos testes foram sobre candidatos, com pesquisadores tentando gerar imagens de Trump ou Biden em situações comprometedoras e a outra metade era sobre votação, com investigadores tentando gerar imagens de fraude eleitoral ou intimidação de eleitores. Os testes revelaram que todas as ferramentas eram particularmente vulneráveis a avisos relativos à desinformação sobre o voto, enquanto apenas algumas das ferramentas eram vulneráveis a avisos sobre candidatos37 .
O Midjourney teve o pior desempenho de qualquer ferramenta, falhando em 65% dos testes, mas os pesquisadores descobriram que todas as ferramentas não conseguem aplicar suficientemente as políticas existentes contra a criação de conteúdo enganoso. Muito embora o Midjourney, o Image Creator e o ChatGPT Plus tenham políticas específicas sobre desinformação eleitoral e, ainda assim, não conseguiram impedir a criação de imagens enganosas de eleitores e cédulas38 .
Estas plataformas declaram em suas políticas que não permitem que os usuários gerem conteúdo que possa ser usado para enganar. As diretrizes do DreamStudio não abordam diretamente a desinformação eleitoral nas suas políticas, mas as plataformas proíbem os utilizadores de utilizarem as ferramentas para produzir conteúdo “enganoso”. O Image Creator afirma que os usuários estão proibidos de criar conteúdo enganoso relacionado à “integridade eleitoral ou participação cívica”. A OpenAI proíbe os usuários de produzir conteúdo contendo “políticos, urnas, protestos ou outro conteúdo que possa ser usado para influenciar o processo político ou para fazer campanha”. As Diretrizes da Comunidade do Midjourney também afirmam que os usuários não podem usar os Serviços para gerar imagens para campanhas políticas ou para tentar influenciar o resultado de uma eleição.
Diante do que fora exposto, observa-se, portanto, a importância e o dever dos desenvolvedores de sistema de inteligência artificial em fornecer salvaguardas responsáveis para evitar que os usuários gerem imagens, áudio ou vídeo que sejam enganosos, falsos ou enganosos sobre eventos geopolíticos, candidatos a cargos públicos, eleições ou figuras públicas. Além de fornecer meios práticos e com clareza para denunciar aqueles que abusam de ferramentas de IA para gerar conteúdo enganoso e fraudulento, e a devida responsabilidade dos usuários que utilizaram desses sistemas de IA para
35 CCDH. Center for Countering Digital Hate. Fakeimagefactories: how AI image generators threaten election integrity and democracy. Center for Countering Digital Hate Inc. 06 mar. 2024. Disponível em: https://counterhate.com/wpcontent/uploads/2024/03/240304-Election-Disinfo-AI-REPORT.pdf.Acessoem:10abr.2024.
36 Ibidem.
37 Ibidem.
38 Ibidem.
31
conteúdos criação, publicação e compartilhamento sobre eventos que impactem eleições, candidatos a cargos públicos e figuras públicas.
Por fim, entende-se como essencial o investimento em equipes de monitoramento dedicadas à salvaguarda contra a utilização de IA generativa para produzir desinformação e ataques à integridade eleitoral
Redação original
[Não há previsão]
Art.69.EstaLeientraemvigor730(setecentosetrinta) dias após a sua publicação § 1º As práticas vedadas pelos artigos 13 e 14, bem como as regras previstas na Seção V do Capítulo IVMedidas de Governança para Sistemas de Inteligência Artificial Fundacionais, de Propósito Geral e Generativasentramemvigorapós180(centoeoitenta) dias da publicação desta Lei; § 2º O capítulo VIII desta Lei entra em vigor na data de publicação desta Lei, cabendo ao Poder Executivo: I - designar a autoridade competente no prazo;
II - fornecer os recursos necessários à autoridade competente para assegurar segurança jurídica e eficiência na supervisão e fiscalização desta Lei; III - realizar as despesas e os investimentos necessários à estruturação da autoridade competente para a plena regulação da inteligência artificial e coordenação do SIA, podendo remanejar, transferir ou utilizar saldos orçamentários.
Redação proposta
CAPÍTULO XIII DA PROPAGANDA ELEITORAL
Art. 69. A utilização de conteúdo multimídia criado ou manipulado por inteligência artificial na propaganda eleitoral, em qualquer modalidade, para criar, substituir, omitir, mesclar ou alterar a velocidade ou sobrepor imagens ou sons impõe ao responsável pela propaganda o dever de informar, de modo explícito, destacado e acessível que o conteúdo foi fabricado ou manipulado e a tecnologia utilizada.
Art. 70. É vedada a utilização, na propaganda eleitoral, qualquer que seja sua forma ou modalidade, de conteúdo fabricado ou manipulado para difundir fatos notoriamente inverídicos ou descontextualizados com potencial para causar danos ao equilíbrio do pleito ou à integridade do processo eleitoral.
§ 1º Toda e qualquer propaganda eleitoral criada ou manipulada por inteligência artificial está sujeita a análise e aprovação por competência exclusiva e taxativa do Tribunal Superior Eleitoral (TSE) para aprovação antes de veiculação.
§2ºÉproibidoouso,paraprejudicarouparafavorecer candidatura, de conteúdo sintético em formato de imagem, áudio, vídeo ou combinação de ambos, que tenha sido gerado ou manipulado através de inteligência artificial ou digitalmente de forma semelhante, ainda que mediante autorização, para criar, substituir ou alterar imagem e/ou voz de pessoa viva, falecida ou fictícia (deepfake).
§ 3º O descumprimento do previsto no caput e no § 1º deste artigo configura abuso do poder político e uso indevido dos meios de comunicação social, acarretando a cassação do registro ou do mandato, e impõe apuração das responsabilidades nos termos do § 1º do art. 323 do Código Eleitoral, sem prejuízo de aplicação de outras medidas cabíveis quanto à irregularidadedapropagandaeàilicitudedoconteúdo. Art.71.EstaLeientraemvigor730(setecentosetrinta) dias após a sua publicação.
§ 1º As práticas vedadas pelos artigos 13 e 14, bem como as regras previstas na Seção V do Capítulo IVMedidas de Governança para Sistemas de Inteligência Artificial Fundacionais, de Propósito Geral e Generativas entram em vigor após 180 (cento e oitenta) dias da publicação desta Lei;
32
§ 2º O capítulo VIII desta Lei entra em vigor na data de publicação desta Lei, cabendo ao Poder Executivo: I - designar a autoridade competente no prazo; II - fornecer os recursos necessários à autoridade competente para assegurar segurança jurídica e eficiência na supervisão e fiscalização desta Lei; III - realizar as despesas e os investimentos necessários à estruturação da autoridade competente para a plena regulação da inteligência artificial e coordenação do SIA, podendo remanejar, transferir ou utilizar saldos orçamentários
33
