Issuu

OSCAR GABRIEL FILHO

INTELIGÊNCIA ARTIFICIAL NEURAL E GENERATIVA

Inteligência Artificial neural e generativa

Observações importantes: 1) O desenvolvimento de algumas partes das técnicas apresentadas neste livro, quando sobre elas não foi fornecida uma descrição completa de seu funcionamento pelos seus autores originais citados, é fruto exclusivo da interpretação deste autor, sem a pretensão de assegurar que sejam iguais. 2) Os algoritmos apresentados neste livro são sugestões para implementação computacional, sendo de total responsabilidade do desenvolvedor a adequação correta aos requisitos da linguagem de programação escolhida, como a sintaxe, semântica e estrutura de dados. Aconselha-se também que o programador consulte a dedução matemática do algoritmo, para verificar a consistência e aprovação prévia dos resultados obtidos, sem garantias adicionais de qualquer tipo.

Oscar Gabriel Filho

Inteligência Artificial neural e generativa

Inteligência Artificial neural e generativa © 2026 Oscar Gabriel Filho Editora Edgard Blücher Ltda. Publisher Edgard Blücher Editor Eduardo Blücher Coordenador editorial Rafael Fulanetti Coordenadora de produção Ana Cristina Garcia Preparação de texto Maurício Katayama Diagramação Muiraquitã Editoração Gráfica Revisão de texto Equipe editorial Capa Juliana Midori Horie Imagem da capa iStockphoto

Dados Internacionais de Catalogação na Publicação (CIP) Heytor Diniz Teixeira, CRB-8/10570 Rua Pedroso Alvarenga, 1245, 4 o andar 04531-934 – São Paulo – SP – Brasil Tel.: 55 11 3078-5366 contato@blucher.com.br www.blucher.com.br Segundo o Novo Acordo Ortográfico, conforme 6. ed. do Vocabulário Ortográfico da Língua Portuguesa, Academia Brasileira de Letras, julho de 2021. É proibida a reprodução total ou parcial por quaisquer meios sem autorização escrita da editora.

Gabriel Filho, Oscar Inteligência artificial neural e generativa / Oscar Gabriel Filho. – São Paulo : Blucher, 2026. 292 p.: il Bibliografia ISBN 978-85-212-2974-2 (Impresso) ISBN 978-85-212-3053-3 (Eletrônico – Epub) ISBN 978-85-212-2973-5 (Eletrônico – PDF) 1. Inteligência artificial. 2. Redes neurais artificiais. 3. Inteligência artificial neural. 5. Inteligência artificial generativa. I. Título. CDU 004.8 Índice para catálogo sistemático: 1. Inteligência artificial CDU 004.8

“Qualquer tecnologia suficientemente avançada é indistinguível da magia.” Arthur Charles Clarke (1917-2008), autor do livro de ficção científica A sentinela (1951), que deu origem ao filme 2001: uma odisseia no espaço.

Agradecimentos

A Deus, criador de todas as coisas. A minha querida esposa, grande incentivadora de tudo que faço. A minha família: Djosete e Caroline, Júlia Hermínia e Luiz Eduardo; André e Gabriela, João Paulo, Ana Beatriz e Ana Catarina; Ricardo e Tatiana, Maria Fernanda, Mateus e Luiza; Carlos e Bruna, Nair e Bento; Roberto e Danuta, que muito amo. Obrigado, Senhor!

Prefácio

Este é um compilado atualizado e ampliado de publicações feitas por este autor nos últimos anos, procurando difundir diversos temas da área da inteligência artificial (IA), neste livro delimitada às áreas conexionista (redes neurais artificiais) e generativa, com o objetivo de proporcionar ao leitor um entendimento amplo sobre alguns aspectos fundamentais dessas instigantes áreas do conhecimento, para permitir o acompanhamento do estágio de desenvolvimento em que se encontram na atualidade. Em algumas pesquisas de ponta promovidas pelas grandes empresas de tecnologia no mundo, notadamente nas áreas de IA, existem passagens no desenvolvimento teórico e/ou prático que não são devidamente esclarecidas, supostamente motivadas por interesses envolvendo a confidenciabilidade do assunto, o que só faz despertar a curiosidade científica dos estudiosos no preenchimento dessas lacunas, visando a compreensão completa, passo a passo, de maneira a propiciar um melhor aproveitamento e o desenvolvimento de novas aplicações nessas áreas do conhecimento. É o que ocorreu no famoso artigo “Attention is all you need”, publicado em 2017, por um grupo de cientistas do Google Brain, ao não descrever como realmente são obtidas as matrizes de consulta Wq, de chave Wk e de valor Wv , fundamentais para a implementação computacional da revolucio-

Inteligência Artificial neural e generativa

nária técnica de Atenção, desenvolvida por aqueles cientistas. Aqui você conhecerá uma maneira de calcular essas matrizes, sem que se possa afirmar categoricamente que são iguais às matrizes do trabalho original, a não ser pela coerência e consistência matemática dos resultados obtidos, mesmo porque não foi divulgado o método original de como essas matrizes foram obtidas. Esta é a proposta principal deste livro – suprir lacunas com informações técnicas, objetivando fornecer uma compreensão completa do método aplicado, isto é, como se desencadeia passo a passo, sempre fundamentado na matemática, como garantidora dos resultados obtidos nas aplicações das ferramentas de IA. Entretanto, faz-se imprescindível incentivar o leitor a adotar uma postura de verificação diante das propostas inovadoras contidas neste livro, com a recomendação de testá-las antes num ambiente de aplicação, para somente depois aplicá-las ao problema real de interesse. A intenção é que o seu conhecimento seja enriquecido com a leitura deste livro, com informações minuciosas sobre alguns aspectos teóricos e práticos relevantes, que aqui se encontram selecionados. Tenho a convicção de que alguma parte deste livro vai contribuir para enriquecer o seu conhecimento sobre a IA neural e generativa. Sugestões e comentários enviados à editora Blucher serão bem-vindos. O Autor Natal (RN), julho de 2026

Lista de símbolos e abreviaturas

AG Algoritmo genético AI Inteligência artificial (artificial intelligence) AGI Inteligência artificial geral (artificial general intelligence) API Interface de Programas de Aplicação (Application Programming Interface) dk Saída desejada para a saída de ordem k; dimensão da camada k Dimensão das camadas q e v dq, dv DP Aprendizagem profunda (deep learning) ELU Unidade Linear Exponencial (Exponential Linear Unit) FAN Função de ativação do neurônio f(NET) Sinal de saída da função de ativação do neurônio Sinal de saída do neurônio f’(NET) Derivada de f(NET) em relação a NET IA Inteligência artificial LLM Modelo grande de linguagem (large language model) MCP Neurônio de McCulloch e Pitts ou Modelo de Protocolo de Contexto (Model Context Protocol) ML Aprendizagem de máquina (machine learning)

Inteligência Artificial neural e generativa

MLP Rede neural multicamadas (multilayer neural network) NC Número de camadas de neurônios NN Número de neurônios por camada NET Sinal de entrada da função de ativação do neurônio NPTR Número de pontos de treinamento PRE Método da Propagação Retroativa do Erro (Error Backpropagation) RAG Geração aumentada por recuperação (retrieval-augmented generation) ReLU Unidade Linear Retificada (Rectified Linear Unit) RNA Rede neural artificial RNR Rede neural recorrente SeLU c/ Vazamento Unidade Linear Segmentada com Vazamento (Leaky Segmented Linear Unit – Leaky SeLU) SeLU Paramétrica Unidade Linear Segmentada Paramétrica (Parametric Segmeted Linear Unit – Parametric SeLU) Softmax Função matemática de probabilidades normalizadas T Transposta de uma matriz Threshold Limiar de operação do neurônio Tol Tolerância (critério de parada do treinamento de uma rede neural artificial) X, Y, Z Vetor coluna das saídas das camadas de uma rede neural W Matriz de pesos sinápticos o Matriz de transformação linear das saídas multicabeças W Matriz de consulta (query) Wq, WQ Matriz de chave (key) Wk, WK Matriz de valor (value) Wv, WV Entrada x de ordem i xi Saída y de ordem j yj Saída real ou corrente de ordem k zk Wj,i Peso sináptico que conecta o neurônio de origem i com o neurônio de destino j α β

Coeficiente do momento Declividade ou coeficiente angular (beta)

Lista de símbolos e abreviaturas

δ Sinal de erro retropropagado (propagado para trás) (delta minúsculo) Δ Variação (delta maiúsculo) S Somatório (sigma maiúsculo) η Constante ou taxa de aprendizagem (eta minúsculo) ∂(.) Derivada parcial em relação a w ∂w η-adaptativo Método automático de otimização da taxa de aprendizagem (lê-se: ETA-adaptativo)

Sumário

CAPÍTULO 1 Inteligência artificial.............................................................................................................

CAPÍTULO 2 Redes neurais artificiais......................................................................................................

CAPÍTULO 3 O algoritmo Backpropagation..........................................................................................

CAPÍTULO 4 RNA: assegurando a qualidade da aprendizagem......................................................

CAPÍTULO 5 RNA: acelerando a convergência da rede neural........................................................

CAPÍTULO 6 RNA: fugindo dos mínimos locais.....................................................................................

CAPÍTULO 7 IA generativa............................................................................................................................

CAPÍTULO 8 Similaridade e/ou autorregressividade..........................................................................

109

Inteligência Artificial neural e generativa

CAPÍTULO 9 Transformer: (uma) descrição do funcionamento.....................................................

117

CAPÍTULO 10 Interpretabilidade, explicabilidade e aplicabilidade..................................................

149

CAPÍTULO 11 Identificação dos erros na aprendizagem de máquina............................................

153

CAPÍTULO 12 IA generativa: uma percepção sobre alucinação........................................................

181

CAPÍTULO 13 Aprendizagem de máquina: refinamento e retreinamento.....................................

185

CAPÍTULO 14 Agentes inteligentes..............................................................................................................

189

CAPÍTULO 15 Aleatoriedade é tudo que a criatividade precisa........................................................

197

APÊNDICE A A matemática do Backpropagation...............................................................................

207

APÊNDICE B O algoritmo Backpropagation..........................................................................................

219

APÊNDICE C Redes neurais em sistemas generativos........................................................................

233

APÊNDICE D Implementação de atenção multicabeças...................................................................

251

Referências.............................................................................................................................. Glossário................................................................................................................................... Índice remissivo.....................................................................................................................

277 279 287

CAPÍTULO 1

Inteligência artificial

1.1 INTRODUÇÃO É bastante notória a importância que a inteligência artificial (IA) tem adquirido nos últimos anos, notadamente a partir de 2017, com a publicação do artigo “Attention is all you need”, por Vaswani e outros cientistas do Google Brain, revolucionando, a partir de então, a maneira de capturar e processar as similaridades e as relações de proximidade dos objetos dentro de um determinado contexto, visando principalmente dar soluções para problemas de interesse envolvendo a comunicação através da linguagem natural, considerada uma das manifestações mais inteligentes do ser humano. Neste ponto inicial, surge a seguinte questão: o que significa a palavra “inteligente”. Ela serve para designar um pensamento ou ação resultante do uso da inteligência, cujo significado pode ser compreendido analisando a sua origem, que vem do latim, escrita como intelligere, a qual é formada por dois termos: inter, que significa entre, e legere, que significa capacidade de fazer escolhas, portanto, podemos concluir que “inteligência” é a capacidade de fazer boas escolhas, isto é, de tomar decisões acertadas. Pois bem, foi exatamente nessa linha de raciocínio que o cientista britânico Allan Turing propôs, em 1950, um teste de inteligência, para identificar se

Inteligência Artificial neural e generativa

uma determinada máquina consegue imitar o ser humano, a ponto de enganá-lo como se também fosse uma pessoa, em uma conversação cega, onde o avaliador humano tenta distinguir se está se comunicando com outro ser humano ou com uma máquina, por meio de conversas em linguagem natural, na qual os dois falam entre si, porém não se veem. É exatamente nessa perspectiva de discussão que acho razoável manter este livro, quando a questão é definir se algo tem comportamento inteligente ou não, ou seja, se a máquina consegue apresentar um desempenho similar ou mesmo melhor do que o ser humano em tarefas úteis, tornando a sua utilização atrativa em certas áreas de atuação no mundo real. Consequentemente, torna-se árido discutir o que venha a ser a inteligência da máquina, notadamente quando se usam para comparação certas habilidades manifestadas pelos seres humanos, sob as quais se processa a inteligência humana, embora reconheça serem de grande valia como fonte de inspiração para a evolução da IA, como tem ocorrido desde o início do conexionismo, em 1943, com a criação do neurônio artificial por McCulloch e Pitts, mas sem o futurismo de virem a se igualar em algum dia vindouro. Até porque é temerário fazer predições nessa área do conhecimento sem possuir evidências concretas, considerando que, na história da evolução da ciência e tecnologia, alguns cientistas, mesmo as tendo, foram inicialmente contestados nas suas descobertas e, não raras vezes, desacreditados perante a sociedade, somente sendo reconhecidos tempos depois. Foi o caso de Lofti A. Zadeh, professor premiado da Universidade da Califórnia, Estados Unidos, nascido no Azerbaijão, que teve a sua reputação contestada quando propôs a teoria dos sistemas e conjuntos fuzzy, ferramenta da abordagem simbólica da IA, publicada em 1965, hoje muito importante para a comunicação do ser humano com a máquina, feita através da modelagem matemática de variáveis linguísticas ditas nebulosas (fuzzy) ou imprecisas, antes inimaginável acreditar que poderia acontecer. O que reforça a ciência da IA é que, além de seus resultados parecerem uma magia, eles têm seu respaldo na matemática, que possibilita demonstrar antecipadamente as regras básicas que asseguram o seu desempenho, na solução de um determinado problema de interesse, o que não impede de cometer erros. Se, por um lado, a matemática é exata e possibilita o desenho de boas soluções, por outro lado, a máquina digital não é, pois essa estará sempre sujeita a cometer erros provenientes de sua finitude e dos arredonda-

CAPÍTULO 2

Redes neurais artificiais

2.1 INTRODUÇÃO As redes neurais artificiais (RNAs) atualmente são a ferramenta de aprendizagem mais importante da inteligência artificial (IA). Pensadas originalmente para imitar o comportamento do cérebro humano, como uma estratégia para emular a nossa maneira de aprender e armazenar o conhecimento, as RNAs são usadas em tarefas que exigem a predição de eventos futuros. No cérebro humano, essas redes são compostas por muitos neurônios conectados entre si, disparando impulsos elétricos através das ramificações de saída chamadas de axônio, fazendo com que os disparos se repitam neurônio após neurônio localizados à frente, até produzirem um efeito resultante, por exemplo, recuperar uma informação armazenada na memória e transformá-la numa manifestação sonora (voz), num processo de comunicação entre seres humanos.

2.2 O NEURÔNIO ARTIFICIAL DE McCULLOCH E PITTS Pensando numa forma de reproduzir matematicamente o processo de aprendizagem humano, em 1943, o médico neurofisiologista Warren McCulloch e o estatístico Walter Pitts propuseram o primeiro modelo matemático para o

Inteligência Artificial neural e generativa

funcionamento do neurônio biológico (Kovács, 1996), que resultou no neurônio artificial de McCulloch e Pitts (MCP), mostrado na Figura 2.1, composto de: 1) ‘n’ entradas, 2) a soma das ‘n’ entradas menos uma entrada especial chamada de threshold ou limiar de operação, cujo resultado final é chamado de NET, 3) uma função matemática que modela o comportamento do neurônio, chamada de Função de Ativação do Neurônio (FAN), e, finalmente, 4) a saída do neurônio artificial, dada pelo valor da função calculado para cada valor de NET, simbolicamente calculado por f(NET). Entrada 1

Pesos Sinápticos FAN

Entrada 2

+ –

Entrada ´n´

NET

f(NET)

Saída

Neurônio Artificial

threshold

Figura 2.1 – Neurônio artificial de McCulloch e Pitts (MCP).

Importante ressaltar que a estrutura do neurônio artificial é formada basicamente pela operação de soma (+) e pela Função de Ativação do Neurônio (FAN), lembrando que o sinal interno chamado de NET é a soma de todas as entradas do neurônio artificial, após passarem pelos pesos sinápticos externos de ligação do neurônio com os neurônios anteriores. A Figura 2.1 mostra o neurônio original de McCulloch e Pitts, em que consta a subtração do threshold, indicando que o neurônio somente se torna ativo após ultrapassar este patamar, ou seja, após exceder numericamente o valor do limiar de operação, em cada neurônio – claro que isto ocorre somente nos neurônios do tipo “tudo ou nada”. Para facilitar o cálculo do limiar de operação para cada neurônio artificial, utiliza-se o artificio matemático que consiste em transferir o valor do threshold para dentro da estrutura matricial dos pesos sinápticos que alimentam o referido neurônio, ou seja, acrescentar um peso sináptico extra à matriz dos pesos posicionados antes do neurônio. Este peso extra recebe o nome de bias (Figura 2.2), em português viés ou desvio, sendo atribuído a sua entrada o valor constante igual a -1, apenas com o objetivo de torná-los numericamente iguais entre si (Gabriel Filho, 2023), isto é, forçar que o bias seja igual ao threshold.

CAPÍTULO 3

O algoritmo Backpropagation

3.1 INTRODUÇÃO A inteligência artificial (IA) é um conjunto de algoritmos que descrevem computacionalmente o formalismo matemático por trás do raciocínio lógico causal. Dentre os algoritmos de IA, um deles se sobressai pela sua brilhante engenhosidade matemática: o método da Propagação Retroativa do Erro, cujo nome original em inglês é Error Backpropagation, porém mais conhecido na literatura atual simplesmente por Backpropagation. O leitor sabe realmente de onde vem todo o sucesso que a IA tem obtido na atualidade? Poder-se-ia afirmar que vem da invenção das redes neurais profundas divulgada no início deste século, ou, quem sabe, da invenção do Transformer, em 2017, impulsionador dos modelos grandes de linguagem (lar ge language models – LLMs), usados no processamento da linguagem natural. Mas não foi devido a essas razões mencionadas! A origem da explosão da IA neural e generativa nos tempos atuais reside principalmente no algoritmo Backpropagation, divulgado por Rumelhart e McClelland em 1986, no livro intitulado Parallel Distributed Processing. Pois é, se não fosse esse método de aprendizagem das redes neurais artificiais (RNAs), nada do que está ocorrendo

Inteligência Artificial neural e generativa

hoje seria possível. O fato é que as redes neurais multicamadas, aquelas que são compostas por várias camadas, só passaram a ter aceitação na comunidade cientifica após a publicação do algoritmo Backpropagation. Isso posto, entender completamente o seu funcionamento é primordial para dominar a IA neural e, por extensão, a IA generativa, possibilitando o desenvolvimento eficiente de aplicativos nessas áreas do conhecimento. Seguindo a tendência atual do desenvolvimento tecnológico, muito se tem divulgado sobre produtos inteligentes, na maioria das vezes somente como um apelo comercial, entretanto, sem que seja fornecida uma razão para serem considerados inteligentes. Além da disseminação falsa de produtos ditos inteligentes, também se tem disseminado a ameaça da IA para a continuidade de algumas atividades profissionais, ampliando a insegurança no futuro, além de aterrorizar pela possibilidade de vir a ser utilizada em prejuízo do desenvolvimento humano. Mas, acredite, apesar do uso indevido da IA, a recomendação é tê-la como uma aliada, e não como uma inimiga, mesmo que seja impulsionada pela curiosidade de conhecer os seus fundamentos teóricos e práticos do dia a dia, além de servir para uma possível utilização profissional, de forma a tornar os processos do dia a dia mais eficientes, principalmente aqueles passíveis de serem automatizados. Este é o objetivo deste capítulo, isto é, desvendar a principal técnica que faz funcionar as RNAs – o algoritmo Backpropagation.

3.2 CONHECENDO O ALGORITMO BACKPROPAGATION O Backpropagation, como será chamado daqui para frente, por ser mais conhecido por esse nome, é um método eficiente que permite a aprendizagem por parte do computador, por meio de ajustes sucessivos dos parâmetros internos de uma rede neural, conhecidos como pesos sinápticos, por ter a sua inspiração no cérebro humano. Pois é, procurando imitar o processo de aprendizagem humano, uma determinada tarefa é aprendida após várias tentativas e erros, iniciando por cometer um erro grosseiro na primeira vez, em seguida retroagindo da saída para a entrada para minimizar esse erro progressivamente, o que deve acontecer a cada repetição completa de um ciclo ou época do processo de aprendizagem. O algoritmo do Backpropagation pode variar dependendo do nível de exigência requerida pela aplicação, por exemplo, usar técnicas auxiliares para

CAPÍTULO 4

RNA: assegurando a qualidade da aprendizagem

4.1 INTRODUÇÃO Como assegurar que uma rede neural artificial (RNA) foi treinada com sucesso? Diz-se que uma RNA foi treinada com sucesso se ela consegue produzir um resultado muito próximo do que é desejado quando lhe for aplicada uma determinada entrada. Então, essa proximidade da saída real em relação à saída desejada é definida ao estabelecer uma tolerância para convergência do processo de aprendizagem, isto é, o treinamento é bem-sucedido se o erro total, sempre positivo, pelo fato de ser definido como sendo proporcional ao quadrado da diferença entre o valor da saída real e o valor da saída desejada, for menor ou igual a uma tolerância previamente escolhida. Na sua trajetória decrescente de aproximação, quando o erro total se tornar menor ou igual ao valor escolhido para a tolerância (tol), o processo de treinamento é interrompido, significando que o erro total de treinamento satisfez o máximo erro total que pode ser cometido pelo modelo neural; outra maneira de forçar a parada do treinamento seria estabelecer, alternativamente, um valor máximo para a quantidade de ciclos (ou épocas), normalmente usado para evitar uma duração excessiva do treinamento.

Inteligência Artificial neural e generativa

Preferencialmente, o processo de treinamento deve ser interrompido pelo critério da tolerância previamente escolhido, e não pela quantidade máxima de ciclos ou épocas, sendo que o valor da tolerância é um dos hiperparâmetros da rede neural que deve ser fixado antes da execução do referido algoritmo.

4.2 DEFININDO O VALOR DA TOLERÂNCIA Uma questão interessante a responder é se é possível definir um valor para a tolerância, ao invés de arbitrá-la, de modo a limitar o valor do erro total máximo na saída da rede neural. A resposta é sim, sendo que para o cumprimento desse propósito primeiro é necessário especificar qual o valor do maior erro total que pode ser cometido nos pontos usados no treinamento. Essa definição certamente passa por uma análise do problema a ser resolvido, ou seja, em determinar qual o valor do erro total permitido. Neste ponto, é importante registrar que o erro total é um valor acumulativo dos erros individuais cometidos por todas as saídas correntes da rede, cujo total é comparado com a tolerância, ao final de cada ciclo do processo de aprendizagem, como uma condição para continuidade ou interrupção definitiva do treinamento. Também é importante ressaltar que não se pode aplicar o resultado desse trabalho para inferir sobre a qualidade do erro de predição (generalização), servindo somente para avaliar a qualidade do treinamento relacionada com a exatidão atingida nos pares entrada/saída (dados ou exemplos), usados no treinamento supervisionado de uma rede neural do tipo multicamadas. Definição: Define-se valor absoluto de um número real a como sendo |a| = a2 . A definição acima será usada na prova do teorema a seguir, cujo objetivo final é avaliar a qualidade do processo de treinamento supervisionado das redes neurais multicamadas. Teorema: O erro máximo cometido nos pontos de treinamento usando o algoritmo Backpropagation é calculado por ± 2tol , em que tol é o valor da tolerância previamente estabelecida para a parada do treinamento. Prova: No paradigma da aprendizagem supervisionada, os dados ou exemplos de treinamento são fornecidos pelo par de valores na forma (entrada, saída desejada). A expressão frequentemente usada para o cálculo do erro total de treinamento, Etotal, cuja evolução durante o processo de aprendizagem

CAPÍTULO 5

RNA: acelerando a convergência da rede neural

5.1 INTRODUÇÃO Na área da inteligência artificial (IA), nada mais engenhoso do que o treinamento de uma rede neural artificial (RNA). Por que motivo? Acredito que seja porque é a única abordagem da IA que realmente exibe a capacidade de aprender. Procurando agir como o cérebro humano, a rede vai se ajustando, passo a passo, a partir de estímulos externos provenientes das informações obtidas de um experimento, de maneira repetitiva, até finalmente conseguir atingir o resultado desejado, o qual certamente será aplicado para resolver um problema do mundo real. Aparentemente, seguindo esse mesmo procedimento, o cérebro humano constrói soluções mentais, também recebendo estímulos externos e se ajustando após repetidas tentativas e erros, agindo persistentemente até se dar por satisfeito. Por fim, cada cérebro humano terá construído um modelo do mundo!!! Num processo de imitação, uma RNA sai em busca de aprender, com os estímulos recebidos do meio ambiente, como atingir um determinado objetivo. Dessa maneira ocorre o processo de aprendizagem usando uma técnica inteligente inspirada no comportamento eletroquímico (impulso elétrico + química) exibido pelo cérebro humano. Os pesos sinápticos da rede artificial,

Inteligência Artificial neural e generativa

que simulam a sinapse biológica, são normalmente inicializados com pequenos valores atribuídos randomicamente (ao acaso), normalmente entre 0 e 1, e, por meio de várias repetições durante o processo de treinamento, vão se ajustando internamente, até finalmente construir um modelo matemático da tarefa que se pretende executar independentemente, sem a participação humana. É exatamente assim como se comporta o coração dos modelos grandes de linguagem (em inglês, large language models – LLMs), e os fazem funcionar as RNAs, como o GPT, DeepSeek, Gemini etc. Mas as RNAs já não são novidade para muitas pessoas interessadas, devido à enorme repercussão que esse assunto vem despertando na atualidade. Entretanto, existe um parâmetro importante que não vem sendo muito difundido, mas que efetivamente garante a estabilidade e a eficiência do seu funcionamento, sendo algumas vezes apenas citado superficialmente: é a taxa de aprendizagem, η (letra grega minúscula, lê-se: eta), escolhida para executar o programa da rede neural.

5.2 O PAPEL DA TAXA DE APRENDIZAGEM DURANTE O TREINAMENTO Neste ponto entra a matemática para explicar o que é e para que serve a taxa de aprendizagem η, que tem a finalidade de regular a velocidade de convergência da RNA, sendo que o seu valor ótimo é aquele que possibilita a maior velocidade sem comprometer a estabilidade do processo de aprendizagem. A fórmula básica para a correção dos pesos sinápticos é dada por: w[c + 1} = w[c] + ∆w[c]

(5.1)

em que a parcela de ajuste do peso na época c é calculada por: ∆w[c] = – η∇E[c] = –η

dE[c] dw

(5.2)

sendo que η (eta) é a taxa ou constante de aprendizagem e ∇E é o gradiente da função erro total E, calculada em cada época c, para cada peso sináptico w que participa da arquitetura da rede neural. O valor negativo da derivada dE[c] e é conhecido como o método da descida do gradiente é dado por – dw (gradient descent), muito utilizado na solução de problemas de otimização irrestrita. O sinal negativo que antecede a derivada indica que o sentido do

CAPÍTULO 6

RNA: fugindo dos mínimos locais

6.1 INTRODUÇÃO Agora, o problema a ser enfrentado no treinamento de uma rede neural artificial (RNA) é outro, diferente do tema anterior, que diz respeito à velocidade de convergência. Pois bem, durante o treinamento de uma RNA, podem surgir pontos de mínimo local, verdadeiras armadilhas que dificultam a convergência do processo de aprendizagem. A título de ilustração, imagine que um usuário esteja observando atentamente a evolução de um processo de minimização do erro de treinamento na tela do computador e, a partir de um determinado instante, o valor do erro deixa de diminuir e começa a oscilar, ora aumentando ora diminuindo, interrompendo a sequência de redução do erro em direção à tolerância ou à quantidade máxima de etapas (ciclos) preestabelecida, para a parada do treinamento da rede neural.

Inteligência Artificial neural e generativa

0 Início

Espaço de busca

1 11

10: Mínimo local (armadilha)

15: Mínimo global (alvo)

10 9

8 Regiões de atração

Figura 6.1 – Espaço de busca e as regiões de atração.

Observe que o caminho 0→1→2 conduz a um mínimo local, o que fatalmente levará a um comportamento oscilatório a partir do ponto 2, isto é, o caminho formado pelos pontos 3→4→5→6→ ..., sem conseguir convergir para o ponto 10 de mínimo local. Caso isso venha a ocorrer, certamente o processo de aprendizagem está retido na região de atração do ponto de mínimo local, existente na trajetória de treinamento. Por outro lado, o caminho 0→1→11→12... conduz ao mínimo global, representado pelo ponto 15, o que garante a desejada convergência do processo de aprendizagem. A questão que surge é: o que fazer para escapar da região de atração indesejável de um ponto de mínimo local, porventura existente dentro do espaço de busca? A solução para resolver essa questão será fornecida pelo método do momento, o qual tem como inspiração acrescentar uma força ou impulso extra para mudar a direção do processo de treinamento, suficiente para conseguir fugir da armadilha envolvendo a região de atração do mínimo local e assim dar continuidade ao processo de convergência.

6.2 O MÉTODO DO MOMENTO O método do momento é uma heurística usada com o objetivo de desviar desses pontos de mínimo local durante a execução do treinamento, através da modulação (ou variação) da intensidade dos incrementos ∆Ws, os quais são calculados para atualizar o valor dos pesos sinápticos da rede neural, de maneira a redirecionar a trajetória na busca do menor erro de treinamento (mínimo global).

CAPÍTULO 7

IA generativa

7.1 INTRODUÇÃO Os sistemas generativos são aplicativos de inteligência artificial (IA), capazes de gerar conteúdos com base numa grande quantidade de dados, armazenados previamente através de um pré-treinamento usando um conjunto de informações, chamada de biblioteca (corpus). Assim, o objetivo da IA generativa é produzir respostas para determinadas entradas, escritas na forma de uma solicitação bem definida chamada de prompt, podendo utilizar informações adicionais, a serem explicitadas pelo usuário na própria entrada e/ou contidas num arquivo interno, estas chamadas de contexto (context), ou em arquivos externos, estes obtidos por recuperação (retrieval), com o único objetivo de melhorar ou refinar a resposta, a ser fornecida na forma de um texto, áudio ou imagem.

7.2 ELABORANDO A ENTRADA PARA O LLM A entrada é uma parte muito importante para a qualidade da resposta, a ser formulada pelo usuário, que normalmente consiste de uma pergunta (o quê?) ou de uma instrução para executar uma tarefa, sendo denominada de prompt e podendo vir acompanhada de informações complementares para a

Inteligência Artificial neural e generativa

contextualização e/ou recuperação de informações importantes para se obter uma resposta relevante, reduzindo a chance de ocorrência de impropriedades ou alucinações no conteúdo gerado pela resposta. A rigor, o termo prompt refere-se à parte física da tela de interface com o usuário (esse termo tem a sua origem na linha de comando do sistema operacional DOS, da Microsoft), que o programa do sistema generativo disponibiliza para introduzir uma pergunta, um comando ou uma instrução para a máquina, cujo formato ideal depende de cada modelo grande. Genericamente, podemos estruturar as entradas de um sistema generativo em: ENTRADA

SAÍDA

Prompt USUÁRIO

Contexto

LLM

Resposta

Ferramentas Raciocínio

Figura 7.1 – Estruturação da entrada. ●

●

Prompt: é simplesmente uma solicitação, na forma de uma pergunta (o quê?) ou de uma instrução (faça algo). Assim, nos aplicativos dos modelos grandes de linguagem (LLMs), prompt significa simplesmente “pergunta ou instrução clara feita pelo usuário para o sistema generativo”, devendo ser direto e objetivo, sem ou com uma contextualização e/ou recuperação, de maneira a guiar o LLM a produzir uma resposta satisfatória, o que em última análise significa afirmar que a qualidade da resposta depende da qualidade da entrada, ou seja, do que contém o prompt fornecido pelo usuário. Contexto (context): um documento (norma, lei etc.), um lugar (empresa, cidade etc.) ou um cenário (ambiente) que serve de referência para atender a solicitação contida no prompt. Ferramentas (tools): são ferramentas adicionais que podem ser acessadas para enriquecer a resposta. Existem interfaces para transmissão de dados entre a LLM e outras ferramentas ou serviços externos, como a Interface de Programação de Aplicativo (Application Programming Interface – API).

CAPÍTULO 8

Similaridade e/ou autorregressividade

8.1 INTRODUÇÃO Os aplicativos baseados no modelo grande de linguagem (large language model – LLM) construído com base no Transformer, como o ChatGPT, Claude, DeepSeek etc., podem usar as propriedades da similaridade ou da autorregressividade ou de ambas no mesmo modelo. O Transformer é uma estrutura revolucionária proposta por Vaswani et al. (2017), no artigo intitulado “Attention is all you need”, que impulsionou fortemente a utilização de LLMs, devido a sua capacidade de processar uma grande quantidade de dados em paralelo, ao invés de um dado por vez, como ocorre nos processos recorrentes usados anteriormente. Essa reviravolta deveu-se ao novo mecanismo de Atenção proposto, o qual funciona com base na similaridade (produto interno ou escalar) entre os dados ou no sequenciamento dos dados promovido pela autorregressividade (AR), ou nessas duas propriedades encadeadas (linha tracejada), caso ambas sejam necessárias na execução de uma aplicação específica do modelo grande em questão. A Figura 8.1 mostra os princípios de funcionamento dos blocos de Atenção do Transformer, sendo que um dos lados usa a similaridade (codificador) e o outro lado usa a autorregressividade (decodificador). A similaridade é

110

Inteligência Artificial neural e generativa

usada para agrupar os objetos de um conjunto com base nas suas características de interesse, enquanto a autorregressividade serve para dispor os objetos numa determinada sequência requerida. Saída

Saída

Similaridade (Conjunto)

Autorregressividade (Sequencial) ou

Entrada

Consulta (Prompt)

Figura 8.1 – Transformer: similaridade (codificador) e autorregressividade (decodificador).

Voltando ao Transformer da Figura 8.1, o lado esquerdo (codificador) é responsável pela identificação da similaridade existente entre as palavras (tokens) de entrada, com o objetivo de executar tarefas imediatas como completar uma sentença, traduzir palavras ou sentenças entre idiomas etc., enquanto o seu lado direito (decodificador) é responsável pelo sequenciamento das palavras que irão gerar o texto da resposta final, por exemplo, para formar a tradução de uma sentença ou para atender a uma determinada consulta (prompt) feita pelo usuário. O conceito de similaridade ou equivalência semântica é mais fácil e direto de entender, já tendo sido apresentado nos capítulos anteriores sobre IA generativa. Por outro lado, o conceito de autorregressividade precisa de um estudo mais pormenorizado, motivo pelo qual será tratado a seguir, embora também já tenha sido abordado antes de uma maneira superficial.

8.2 PROCESSO AUTORREGRESSIVO (AR) Inicialmente, vamos entender o significado do que venha a ser regressividade, que é a propriedade que permite explicar a próxima ocorrência de uma sequência de acontecimentos correlacionados entre si, por meio de uma combinação de ocorrências anteriores, podendo ser do mesmo ou de outros fenô-

CAPÍTULO 9

Transformer: (uma) descrição do funcionamento

9.1 INTRODUÇÃO O Transformer é uma ferramenta da inteligência artificial (IA), atualmente utilizada para gerar conteúdo – texto, áudio e imagem, pertencente ao contexto da IA generativa, que utiliza basicamente as redes neurais artificiais (RNAs) para implementar o mecanismo de Atenção (Attention). Além do bloco principal da Atenção, também possui outros blocos funcionais, que são dedicados ao condicionamento, refinamento, filtragem e apresentação dos dados, desde a sua entrada (input) até a saída final (output). O objetivo deste capítulo é oferecer uma descrição detalhada do funcionamento de cada um dos seus blocos. Para tanto, vamos nos basear no esquema apresentado no artigo “Attention is all you need”, publicado por Vaswani et al. (2017). Os principais pontos que serão tratados neste capítulo são: 1) como obter, passo a passo, a matriz de Consulta (Query), Wq, a matriz de Chave (Key), Wk, e a matriz de Valor (Value), Wv, no lado do codificador, e 2) explicar o funcionamento do mecanismo de autorregressividade, no lado de decodificador, devido praticamente à inexistência de informações técnicas completas a respeito desses assuntos na literatura especializada, possivelmente por razões de confidenciabilidade.

118

Inteligência Artificial neural e generativa

Basicamente, a arquitetura completa do Transformer comporta duas estruturas: o codificador e o decodificador, que desempenham papéis distintos, sendo o primeiro voltado para aplicações estáticas baseadas na equivalência semântica ou na similaridade, por exemplo, a tradução de palavras entre idiomas e a classificação de objetos, enquanto o segundo tem como aplicação a geração contínua de conteúdo baseada na proximidade, por exemplo, geração de um texto ou tradução de frases de um idioma para outro. Saídas Probabilidades Softmax Linear

Saídas

Adição&Normalização Rede alimentada para frente

Codificador

Adição&Normalização Atenção Multiacabeças

Decodificador

(Nx)

Codificação da posição

(Nx)

Adição&Normalização

Atenção Multiacabeças

Atenção mascarada multicabeça

Incorporação da entrada

Incorporação da saída

Entradas (Prompt)

Saídas Entradas (deslocadas para a direita) (Prompt)

Codificação da posição

Figura 9.1 – O Transformer de Vaswani et al. Fonte: Traduzido e adaptado de Vaswani et al. (2017).

Os blocos principais do Transformer, localizados no lado do codificador e do decodificador, podem ser treinados ‘N’ vezes (Nx), para melhorar, a cada processamento, a qualidade da saída final, por exemplo, no GPT (Generative PreTraining Model), da OpenAI, o valor do ‘N’ é 6. Dessa maneira, Nx significa que o processo de aprendizagem das RNAs é repetido ‘N’ vezes, onde os seus pesos sinápticos são inicializados randomicamente a cada novo treinamento, com valores pequenos (recomendam-se números reais entre 0 e 1). Após completar todos os ‘N’ treinamentos, as matrizes dos pesos resultantes

CAPÍTULO 10

Interpretabilidade, explicabilidade e aplicabilidade

10.1 INTRODUÇÃO De acordo com Zhou (Zhou et al., 2024), cientista-líder do Google DeepMind, o raciocínio de máquina (machine reasoning) é uma sequência de tokens intermediários entre a entrada (input) e a saída (output), onde token é uma representação numérica ou digital de um objeto do mundo real ou de suas características, constituindo-se no conhecimento de máquina, com a suposição de que ocorra de forma similar ao raciocínio humano. Entretanto, é impossível fazer uma comparação com o raciocínio humano, pois a forma de representar o conhecimento no cérebro ainda é desconhecida (Hawkins, 2022). A suposição reside no entendimento de que os raciocínios humano e de máquina parecem obedecer a um mesmo encadeamento lógico de causa-efeito, sendo que no ser humano o raciocínio se processa manipulando representações mentais na forma eletroquímica (impulso elétrico + química), enquanto na máquina o raciocínio se processa manipulando internamente representações numéricas (tokens), organizadas na forma de um vetor matemático.

150

Inteligência Artificial neural e generativa

Características token1 Dados (Entrada) Modelo (Saída)

token2

token4

token3 Figura 10.1 – Raciocínio de máquina = sequência de tokens entre as camadas.

No que diz respeito ao raciocínio de máquina, é importante definir as suas propriedades de interpretabilidade, explicabilidade e aplicabilidade, na tentativa de compreender integralmente como se dá a construção de um modelo matemático, com a finalidade de solucionar um determinado problema prático.

10.2 INTERPRETABILIDADE Interpretabilidade significa a possibilidade de entender os procedimentos envolvidos, passo a passo, para se obter um determinado modelo. Em síntese: é a possibilidade de interpretar “como” as operações matemáticas ocorrem internamente, seus valores de entrada (token) e o que se pretende calcular, e, principalmente, qual o significado físico de cada coeficiente ajustável ou parâmetro do modelo matemático, com o objetivo final de modelar uma ou mais características existentes no sistema real de interesse. Matematicamente falando, todo modelo consiste numa expressão algébrica envolvendo operações com uma ou mais características de interesse a serem extraídas dos dados, onde a participação individual de cada variável no modelo será ponderada por um coeficiente (também chamado de parâmetro), que indicará o seu grau de significância ou a sua probabilidade de ocorrência, relativamente às demais características que compõem a equação

CAPÍTULO 11

Identificação dos erros na aprendizagem de máquina

11.1 INTRODUÇÃO Aprendizagem é o nome que se dá a todo processo de aquisição de conhecimento. No caso específico da aprendizagem de máquina (machine learning), a fonte do conhecimento provém dos dados sobre um determinado sistema, ou seja, provém de uma quantidade finita de amostras ou exemplos, suficiente para extrair uma nova narrativa na forma de um modelo matemático, que seja capaz de antecipar ou predizer o valor de sua saída, caso seja aplicada uma nova entrada de interesse, e assim cumprir com o que se julga ser a essência da inteligência – a predição (LeCun, 2023). No paradigma da aprendizagem supervisionada, os dados para treinamento são organizados em pares na forma (x, y), sendo x o valor da entrada e y o valor da saída real medida ou resposta desejada, quando se tratar de um problema de regressão, ou do rótulo, quando se tratar de um problema de classificação. O processo da aprendizagem supervisionada tem a finalidade de aprender a relação matemática (modelo) existente entre as entradas x e as respectivas saídas y de um conjunto de dados (amostras ou exemplos) de treinamento, de maneira a apresentar um funcionamento semelhante à função do tipo ŷ = f(x, ∙), em que ŷ (lê-se y chapéu) é o valor a ser estimado ou predito

154

Inteligência Artificial neural e generativa

pelo modelo, para uma determinada entrada x e um conjunto de parâmetros ajustados, representado pelo sinal do ponto colocado entre os parênteses. Os parâmetros ajustados durante a aprendizagem podem ser, por exemplo, os pesos sinápticos w (weight) de uma rede neural artificial (RNA) ou os multiplicadores de Lagrange (alfa) de uma máquina de vetor de suporte (SVM). Certamente, o modelo matemático obtido deverá ser capaz de fornecer uma predição da saída, ŷ, a mais próxima possível da saída real, y, quando lhe for aplicado uma determinada entrada, x, que possa ser usada com sucesso para algum propósito interessante. Em se tratando da rede neural multicamadas alimentada para frente (feedforward multilayer neural network), a técnica de ajuste dos parâmetros (pesos sinápticos) mais usada é a Propagação Retroativa do Erro (Error Backpropagation), a qual utiliza o método da descida do gradiente (gradient descent), com o objetivo de minimizar a função de perda (ou função custo) baseada na soma dos erros residuais das saídas do modelo, doravante denominada de erro total de aprendizagem (ou de treinamento), definido por 1 N eT = ∑i=1 (yi – ŷi )2, para i = 1,2, ... , N, sendo N a quantidade de dados ou 2 exemplos, y o valor da saída desejada e ŷ o valor estimado pelo modelo. A minimização de eT é realizada através do método de otimização denominado de mínimo quadrado médio (em inglês, least mean square – LMS).

11.2 ELEMENTOS ESTATÍSTICOS DA APRENDIZAGEM Até este ponto, o erro total de aprendizagem, eT, foi apresentado como um resultado proveniente de variáveis determinísticas, isto é, com a certeza de que todos os valores numéricos envolvidos no seu cálculo são possíveis de serem repetidos exatamente, quando são obtidos sob as mesmas condições de medição. Agora, a ideia é considerar que alguns ou todos os valores envolvidos na aprendizagem dificilmente se repetirão em novas medições, devido a sua natureza randômica ou aleatória, decorrente de uma contaminação por ruído, podendo então surgirem valores bem próximos entre as medidas de uma mesma variável, mesmo que as novas medidas sejam obtidas tomando-se o cuidado de manter as condições de medição. Assim, com a finalidade de identificar visualmente a natureza de uma variável, daqui para frente será adotada a convenção de que uma variável determinística será escrita com letra minúscula e uma variável aleatória

CAPÍTULO 12

IA generativa: uma percepção sobre alucinação

12.1 INTRODUÇÃO Na inteligência artificial generativa (IA generativa), alucinação é o nome que se dá à manifestação linguística imprecisa ou totalmente descolada do assunto sendo tratado, ocorrida na geração de um texto ou documento, que, embora possa estar coerente em sua sintaxe (construção), remete a uma semântica (significado) diferente da que deveria ser transmitida, possuindo assim um grande potencial para causar confusão ou perplexidade. A questão a ser tratada neste capítulo limita-se tão somente a identificar as prováveis origens da alucinação, o que permitirá minimizar ou até mesmo eliminar a sua ocorrência. Segundo essa perspectiva, as alucinações podem ser originadas de um ou mais dos seguintes fatores, individual ou simultaneamente: dados, modelo e máquina. 1) Dados – devido à incapacidade de representar adequadamente as características dos objetos em observação, quantitativa e/ou qualitativamente. Na prática, essa deficiência se manifesta nos dados na forma de um viés (desbalanceamento na representação das características), incompletude (poucos dados disponíveis) e ruído de medição (contaminação da medida).

182

Inteligência Artificial neural e generativa

2) Modelo – devido à incapacidade do modelo matemático capturar numericamente todas as características dos objetos (conhecimento) contidas nos dados de treinamento, quer seja causada pela adoção de um critério inadequado para a detecção de similaridades ou de atenção, quer seja por ineficiência ocorrida no próprio treinamento da rede neural profunda, não permitindo assim associar ou classificar corretamente todos os objetos. Diante dessas situações, algumas vezes o modelo é programado para emitir uma resposta na tentativa de acertar (adivinhar, chutar), sem uma fundamentação sólida, podendo assim incorrer em erro. 3) Máquina – devido à imprecisão na representação interna de alguns números reais pela máquina, considerando que as máquinas são finitas, portanto, são incapazes de representar com exatidão todo o conjunto dos números reais, lembrando que as máquinas operam internamente somente com os dados na forma numérica. Os itens 1 e 2 são de natureza externa à máquina, podendo suas correspondentes deficiências serem minimizadas ou mesmo eliminadas, pela adoção de boas práticas da ciência de dados. Por outro lado, o item 3 é interno à máquina e, por depender exclusivamente da sua precisão, não é possível eliminar pelo fato de as máquinas serem finitas, ou seja, realizarem forçosamente arredondamentos, uma consequência inevitável decorrente de possuírem uma certa quantidade de bits reservada para a representação numérica (Norma IEEE 754).

12.2 ARREDONDAMENTO: UMA CONSEQUÊNCIA DA FINITUDE DA MÁQUINA Todas as máquinas são numéricas e finitas. Numéricas por trabalharem somente com números e finitas porque os números decimais têm precisão limitada. Como consequência direta, estão sujeitas à imprecisão. Para piorar a situação, quando a entrada de dados na máquina é textual, juntam-se à imprecisão humana de comunicar seus conceitos e pensamentos, frequentemente enviesados, com a imprecisão do processamento numérico realizado pela máquina. Por mais incrível que possa parecer, a parte humana tem mais contribuição no processamento da linguagem natural, daí a necessidade de uma forte estruturação e padronização da entrada (prompt), a conexão com outras

CAPÍTULO 13

Aprendizagem de máquina: refinamento e retreinamento

13.1 INTRODUÇÃO Na aprendizagem de máquina (machine learning) frequentemente são usadas as técnicas de refinamento (fine tuning) e de retreinamento de um modelo existente, mantendo-se a arquitetura original da rede neural artificial (camadas, neurônios e funções de ativação), isso após ter sido realizado um treinamento anteriormente. A utilização dessas técnicas está associada à necessidade de aumentar a precisão do modelo ou de acrescentar um novo exemplo ao processo de aprendizagem, ambos visando melhorar o seu desempenho nas fases de teste e de predição (generalização). É importante ressaltar que a principal diferença entre refinamento e retreinamento reside, respectivamente, no aproveitamento ou não dos pesos sinápticos previamente ajustados através de um treinamento anterior (pré-treinamento). A vantagem do refinamento em relação ao retreinamento é que o primeiro gasta um menor tempo de treinamento, tanto para melhorar a precisão da rede quanto para incluir uma nova entrada, pelo simples fato de o refinamento utilizar os pesos ajustados disponíveis de um treinamento anterior,

186

Inteligência Artificial neural e generativa

enquanto o retreinamento utiliza pesos aleatórios, idêntico quando o pré-treinamento é realizado inicialmente.

Entrada

Modelo

Saída

Melhorar a precisão ou incluir nova entrada

Refinamento

Retreinamento

Novo modelo

Aproveita os pesos de um treinamento anterior

Não aproveita os pesos de um treinamento anterior

Figura 13.1 – Refinamento e retreinamento.

13.2 ESTUDO DE CASO Foram realizadas simulações computacionais para a modelagem de uma função quadrática, dada por y = x2, com a finalidade de comparar os tempos de convergência e os resultados numéricos obtidos no pré-treinamento, refinamento e retreinamento.

13.2.1 Características da rede neural utilizada – Critério de parada: tolerância para convergência ou a quantidade máxima de ciclos (épocas), o que ocorrer primeiro – Rede multicamadas, alimentadas para frente (multilayers netwok, feedforward) – Quantidade de camadas = 3 (entrada, escondida e saída) – Quantidade de neurônios por camada = 1 (não tem neurônio), 6 e 1 – Função de ativação do neurônio: Sigmoide Bipolar (Tangente Hiperbólica) na camada escondida e Linear na camada de saída – Tolerância para parada do treinamento = 10–3 – Quantidade máxima de ciclos = 2000

CAPÍTULO 14

Agentes inteligentes

14.1 INTRODUÇÃO Este livro não tem o propósito de servir como tutorial para aplicativos de agentes de IA. A ideia aqui é familiarizar o leitor com as tecnologias de IA voltadas para ajudar as pessoas na solução de problemas, especialmente aqueles que são executadas manualmente e que se adequam perfeitamente aos requisitos da automatização. Porém, antes de tratar especificamente do agente inteligente, vamos enfatizar as questões relativas à comunicação do usuário com os modelos grandes de linguagem (LLMs). Este tipo de situação surge para suprir uma necessidade funcional, por exemplo, automatizar uma tarefa repetitiva, notadamente quando a tarefa comporta uma sequência de ações voltadas para atender uma finalidade bem definida, por exemplo, redigir um texto específico e endereçá-lo por via eletrônica para vários destinatários de uma lista previamente elaborada. Claro, aqui não se trata simplesmente de “alimentar o sistema com números”, como habitualmente seria feito em algumas áreas da engenharia. Só que, no campo da IA, esse tipo de entrada normalmente é textual, sujeita à imprecisão da comunicação humana, decorrendo desse fato a necessidade de

190

Inteligência Artificial neural e generativa

criar estruturas e regras de comunicação com os LLMs, as quais são chamadas de prompt.

14.2 A EVOLUÇÃO DA ENTRADA PARA O LLM: DO PROMPT AO CONTEXTO Em junho do ano de 2018, a OpenAI lançou o primeiro LLM baseado no Transformer (ver Capítulos 7, 8 e 9), o GPT-1, e a partir dessa data a entrada para o modelo grande passou a se chamar de prompt, sendo aprimorada a cada novo lançamento, deixando bastante claro que não era mais uma simples entrada numérica, mas sim um texto estruturado para basicamente atender três aspectos importantes: 1. LLM especialista – existe no mercado um LLM indicado para cada tipo de aplicação. Recentemente, têm surgido muitos modelos grandes de linguagem, em diversas áreas do conhecimento, como educação, saúde, financeira etc. É essencial saber distinguir que o LLM é uma ferramenta que faz parte do sistema de agentes, individual ou multiagentes, responsável apenas pelo raciocínio ou a concatenação dos pensamentos (chain of thought – CoT), enquanto o agente é o responsável por realizar a tarefa. 2. Prompt estruturado – consequentemente, cada LLM exige uma entrada de dados apropriada. O usuário deve consultar o manual de instruções ou guia, para construir a entrada do modelo grande e, dessa forma, extrair a máxima eficiência na geração da resposta, embora o modelo responda mesmo sendo ativado por um prompt que não atende aos requisitos estruturais recomendados pela plataforma, porém fica sujeito a responder de maneira vaga e algumas vezes imprecisa. 3. Requisitos básicos do prompt – uma proposta para a construção de um prompt generalista. Uma estrutura geral de prompt pode ser: a) seja objetivo, inicie especificando o que se deseja, ou seja, uma pergunta ou uma solicitação para descrever (narrativa), criar (criativa) ou um comando para executar uma ação para resolver um determinado problema; b) defina o escopo ou alvo, isto é, aonde se deseja chegar; c) delimite o contexto ou cenário e, por fim, d) seja claro, evite gírias, abreviaturas e palavras especificas de um grupo de pessoas (jargões). No sentido de tornar os aplicativos de IA mais assertivos e confiáveis, os padrões de entradas para os LLMs têm evoluído rapidamente, passando do

CAPÍTULO 15

Aleatoriedade é tudo que a criatividade precisa

15.1 INTRODUÇÃO Nada mais futurista do que propor um método para impulsionar a inteligência artificial geral (artificial general intelligence – AGI), visando torná-la próxima da inteligência humana. Este capítulo usa a aleatoriedade como um meio de implementar processos criativos nas máquinas, por meio de uma ferramenta clássica da IA evolucionista – o algoritmo genético (AG). No entanto, antes é preciso contextualizar quais são as habilidades que uma máquina deve possuir para exibir um comportamento similar ao humano. Em princípio, arriscaria enumerar algumas habilidades humanas, além da capacidade de raciocínio, que são: atenção, criatividade, iniciativa e memória persistente, entre outras possivelmente menos importantes. A seguir, vamos descrever sucintamente cada uma dessas habilidades: Atenção – significa exercer o poder de concentração mental, com a finalidade de identificar detalhes capazes de definir certas ocorrências, presentes ou ausentes em determinados objetos de interesse – texto, áudio e imagem. Mecanismos de Atenção vêm sendo utilizados há alguns anos, com destaque especial para a tecnologia do Transformer, proposto no artigo seminal “Attention is all you need”, publicado em 2017. Resumidamente, o mecanismo

198

Inteligência Artificial neural e generativa

de Atenção serve para descobrir a parte não observada (resposta) de um dado contexto, através de suas partes observadas, assim como gerar texto, áudio e imagem, a partir de conteúdos fornecidos para a máquina. Criatividade – é o processo de fazer surgir coisas novas a partir de algo já existente, porém que não vem satisfazendo as expectativas do usuário. Sutilmente, estamos afirmando que existe diferença entre “existente” e “inexistente”, reservando este último conceito para a criação do nada, isto é, divina. As coisas novas que surgem normalmente são frutos de uma inspiração ou de intuição, portanto, desprovidas de demonstração prévia do resultado a ser obtido com a sua utilização. Iniciativa – agir sobre o mundo de maneira voluntária, segura (não causar danos) e experimental, extraindo conhecimento por meio da interpretação dos fatos percebidos pelos sentidos: visão, paladar, olfato, audição e tato. Memória persistente – consiste na possibilidade de utilização dos dados mais de uma vez, em eventos distintos, de acordo com um mecanismo permanente de armazenamento e recuperação. O cérebro humano tem a capacidade de endereçar o raciocínio uma vez, depois mudar para outro raciocínio diferente e retornar ao anterior, num encadeamento de pensamentos (chain of thought – CoT), podendo reutilizar a qualquer momento seus dados e conclusões, mesmo tendo transcorrido algum tempo entre eles. A seguir, vamos nos deter exclusivamente na habilidade da criatividade, com a finalidade de tentar reproduzir esse mecanismo na máquina. Antes, porém, vamos procurar entender o que é criatividade.

15.2 O QUE É CRIATIVIDADE? Criatividade é fazer diferente coisas que até então vêm sendo feitas seguindo um mesmo raciocínio, ou seja, sempre do mesmo modo. Assim, ser criativo é fazer surgir uma nova solução para resolver um velho problema. A rigor, a criatividade não implica necessariamente na utilização de novos recursos, podendo ser apenas um jeito novo de fazer ou organizar, como também não implica necessariamente que a nova organização garanta que seja obtido um resultado melhor. Tudo é experimental ou empírico, portanto, necessitando de uma verificação, para comprovação a posteriori, inversamente ao processo científico.

INTELIGÊNCIA ARTIFICIAL NEURAL E GENERATIVA REDE NEURAL ■ BACKPROPAGATION ■ IA GENERATIVA ■ TRANSFORMER ■ MECANISMOS DE ATENÇÃO

Este livro proporciona uma compreensão ampla das técnicas que regem o funcionamento do Transformer, cérebro dos modelos grandes de linguagem (large language models – LLMs), construído basicamente usando as redes neurais artificiais. Seus detalhes operacionais ficaram “escondidos” na publicação do famoso artigo Attention Is All You Need (2017), escrito por cientistas do Google Brain, principalmente com relação aos aspectos funcionais internos dos mecanismos de Atenção (Attention) e Atenção Multicabeças (Multi-head Attention). A obra é destinada a todos os interessados em conhecer detalhes do funcionamento da IA Neural e Generativa, principalmente os profissionais de TI, ciências exatas e engenharias.

O que você vai encontrar: • Redes neurais e Backpropagation. • IA Generativa e o Transformer : codificador e decodificador. • Mecanismos de Atenção e Atenção Multicabeças, incluindo ilustrações e exemplos numéricos sobre o seu funcionamento, para facilitar a compreensão por parte do leitor.

Saiba mais sobre o livro

Este é o segundo livro do autor sobre IA. No primeiro, ele aborda de forma magistral a IA simbólica e conexionista, as RNAs, entre outros temas. Nesta obra, apresenta, de forma didática e precisa, contribuições significativas para a compreensão do funcionamento da IA Neural e Generativa. André Marcorin de Oliveira, D.Sc.

OSCAR GABRIEL FILHO Engenheiro, pesquisador e escritor nas áreas de IA e Sistemas de Controle de Processos. Graduado pela Universidade Federal de Juiz de Fora (UFJF), mestre e doutor em Engenharia Elétrica pela Universidade Federal do Rio Grande do Norte (UFRN). Vencedor do prêmio David A. Wilson 2009, Excellence in Teaching and Learning, da Laureate International Universities, EUA, com o trabalho Adaptive e-Learning System, baseado em técnicas de Inteligência Artificial (lógica fuzzy e redes neurais artificiais). Finalista do prêmio Jabuti Acadêmico 2024, na categoria Ciência da Computação, com o livro Inteligência artificial e aprendizagem de máquina: aspectos teóricos e aplicações (Blucher, 2023).