150 anos de Imigração Italiana no Brasil

150 ANOS DE

IMIGRAÇÃO ITALIANA NO BRASIL

DANIELLA MONTEIRO CAVALHEIRO HELEN WAQAS LÍVIA PÉREZ BETTERO WILLIAM DE LIMA UNIVERSIDADE DO MINHO

UNIVERSIDADE DO MINHO

150 ANOS DE

IMIGRAÇÃO ITALIANA NO BRASIL

DANIELLA MONTEIRO CAVALHEIRO HELEN WAQAS LIVIA PÉREZ WILLIAM ALEXANDRE DE LIMA

ITALIANOS NO BRASIL

1 ÍNDICE DE GRÁFICOS

2 INTRODUÇÃO

3 DESCRIÇÃO DOS DADOS

4 PERGUNTAS DE INVESTIGAÇÃO

5 VARIÁVEIS CONSIDERADAS

6 ANÁLISE ESTATÍSTICA

7 CONSIDERAÇÕES FINAIS

8 ANEXOS

2. INTRODUÇÃO

Desbravando o Universo Textual: Guia Completo para o Tratamento de Dados em Humanidades Digitais Seja bem-vindo(a) a uma jornada de descobertas no mundo do pré-processamento de textos em Humanidades Digitais! Este ebook é um convite para explorar as nuances e técnicas essenciais na manipulação de dados linguísticos, indispensáveis para os acadêmicos de mestrado em Humanidades Digitais.

Navegando pelo Corpus Linguístico Adentre o fascinante mundo das coleções de textos eletronicamente armazenados. Desde cartas a resultados de pesquisas, de notas de reuniões a conversas informais entre amigos, cada fragmento revela caminhos para a compreensão dos registros humanos.

O Pesquisador como Arquiteto do Corpus Descubra como o pesquisador desempenha um papel crucial ao moldar o corpus, guiando a coleta de textos para desvendar narrativas e tendências.

Da Transcrição ao Digital: Ferramentas e Métodos Explore as diversas formas de coletar textos, desde transcrições de material falado até a conversão de mídias não digitais, como manuscritos, fitas magnéticas, vinis e CDs, que são transformados em dados acessíveis e manipuláveis.

01

150 ANOS DE IMIGRAÇÃO ITALIANA NO BRASIL

05

2. INTRODUÇÃO

Dataset: O Pilar da Análise Entenda a importância e a estrutura de conjuntos de dados, sua organização e uso em processos analíticos e treinamentos de modelos em aprendizado de máquina, permitindo a exploração de informações variadas, como números, texto, imagens e áudio.

Transformando Registros Históricos em Dataset - As Decisões que Moldam a História Desvende os segredos e nuances da imigração italiana no Brasil neste estudo minucioso. Ao examinar as entradas dos imigrantes no país, os registros das hospedarias que os acolheram e as listas de passageiros dos navios que os trouxeram, adentramos em um universo de dados ricos e reveladores.

Além desses pontos, podemos ampliar nossa investigação incluindo informações sobre as condições das hospedarias, as rotas dos navios, os motivos que impulsionaram a imigração italiana para o Brasil, estatísticas demográficas, adaptação dos imigrantes à nova terra e seus impactos na sociedade brasileira da época.

Cada detalhe, desde a catalogação das informações até a escolha dos formatos e estruturas ideais para a construção do dataset, é crucial para compreendermos a história e os desafios enfrentados por esses imigrantes. Essas decisões moldam não apenas nosso entendimento do corpus, mas também o legado e a influência da imigração italiana na formação cultural e social do Brasil.

01

150 ANOS DE IMIGRAÇÃO ITALIANA NO BRASIL

05

2. INTRODUÇÃO

Imigração Italiana para o Brasil: Transformando História em Dados Digitais Explore o movimento migratório que moldou a trajetória do Brasil com a chegada dos italianos, Este ebook é um mergulho profundo na imigração italiana, um fenômeno que atravessou todo o período da República e deixou marcas profundas na cultura brasileira, influenciando desde a arte até os hábitos alimentares.

A pesquisa utilizada para desenvolvimento deste documento utilizou dados de imigração da segunda metade do século XVIII durante o Império Brasileiro.

Nossa busca por compreender essa rica história envolveu a coleta de dados em diversas bases de consulta pública, cada uma com suas peculiaridades de formatação. Diante do vasto volume de informações disponíveis e da ausência de APIs acessíveis, enfrentamos desafios na obtenção integral dos registros de imigrantes. Assim, optamos por trabalhar com uma amostra representativa, selecionada das fontes que permitiram a extração de informações para esta primeira versão do estudo.

Junte-se a nós nesta exploração fascinante, onde cada dado transcrito representa um fragmento essencial na construção do entendimento sobre a imigração italiana e seu impacto transformador na história e na identidade do Brasil.

01

150 ANOS DE IMIGRAÇÃO ITALIANA NO BRASIL

05

3. DESCRIÇÃO DOS DADOS

Tratamento de Texto para Dados Históricos da Imigração Italiana Em toda a jornada de construção de um dataset, a preparação dos dados é fundamental antes da aplicação de qualquer algoritmo. O pré-processamento de texto torna-se crucial, oferecendo uma gama de técnicas, desde as mais comuns, geralmente adequadas, até aquelas mais específicas que podem complementar o tratamento em situações particulares, visando a obtenção de resultados mais robustos.

Nesta fase, pontuações e palavras irrelevantes são removidas, enquanto as palavras restantes são organizadas em grupos ou reduzidas às suas formas básicas, como suas raízes. O objetivo é purificar os dados textuais, preparando-os para a modelagem.

Nesse contexto, diversas bibliotecas e algoritmos se destacam, como a biblioteca "re" (expressão regular).

No campo do Processamento de Linguagem Natural (PLN), há uma ampla gama de bibliotecas e algoritmos dedicados. A expressão regular (re) se destaca como uma ferramenta indispensável para a limpeza de texto. Além disso, o NLTK (Natural Language Toolkit) e o Spacy são bibliotecas de nível mais avançado, utilizadas para uma variedade de tarefas, incluindo a remoção de stopwords, o reconhecimento de entidades nomeadas, a marcação de partes do discurso e a correspondência de frases.

O NLTK, um recurso antigo, é frequentemente adotado por iniciantes na prática de técnicas de PLN, enquanto o Spacy, mais recente e com técnicas avançadas, é amplamente empregado em ambientes de produção. Encorajo você a explorar ambas as 01

150 ANOS DE IMIGRAÇÃO ITALIANA NO BRASIL

05

3. DESCRIÇÃO DOS DADOS

bibliotecas e experimentar seu poder no contexto da imigração italiana no Brasil, buscando novas perspectivas e entendimento mais profundo através dessas ferramentas especializadas.

Pré-processamento de Texto: Trilhando a Imigração Italiana no Brasil Nossa jornada rumo ao entendimento da imigração italiana no Brasil começou com o pré-processamento de texto, antes mesmo da união das três bases de dados encontradas. Ao longo da história republicana, a influência da imigração italiana se estendeu, deixando suas marcas culturais na arte, nos hábitos alimentares e muito mais.

Navegamos por diferentes bases de consulta pública, cada uma com sua própria formatação, coletando dados para nossa análise. Contudo, diante do vasto volume e da falta de acesso total às APIs, não conseguimos reunir todos os registros de imigrantes.

Assim, escolhemos seguir adiante com uma amostra retirada das fontes disponíveis, uma primeira versão do nosso percurso investigativo sobre a imigração italiana no Brasil, explorando as informações acessíveis para compreender melhor essa importante parte da história brasileira.

Tokenização: Mapeando o Universo das Palavras Na prática da tokenização, o texto se desdobra em unidades chamadas tokens, que abarcam desde palavras e números até símbolos e caracteres.

01

150 ANOS DE IMIGRAÇÃO ITALIANA NO BRASIL

05

3. DESCRIÇÃO DOS DADOS

A divisão mais usual ocorre por espaços em branco, embora outras abordagens, como divisões por símbolos ou parágrafos, possam ser adotadas conforme a necessidade da pesquisa. Ao realizar a tokenização por palavras, uma análise revela a frequência de cada token no texto. Essa técnica permite a criação de nuvens de palavras, oferecendo insights valiosos sobre a relevância e o destaque de cada termo presente na análise textual.

Tokenização: Processamento da Base do Espírito Santo Primeiro carregamos a base separada por linhas e depois quebramos cada linha por palavras, lembrando que, foram excluídos textos indesejados provenientes de certos sites de busca.

Desvendando os Desafios da Tokenização A tokenização é uma jornada fascinante na qual cada idioma apresenta desafios únicos. Em idiomas "espaçados" como inglês, a separação é clara, mas em chinês, tailandês e outros, a falta de limites claros demanda compreensão mais profunda das estruturas linguísticas. Sistemas de escrita como o japonês revelam complexidade adicional. Em resumo, a tokenização é uma viagem pela diversidade linguística, revelando desafios e maravilhas em cada língua. Existem três categorias principais de estruturas linguísticas: 1. Isolamento: Presente em idiomas como Mandarim, onde as palavras não se subdividem facilmente.

01

150 ANOS DE IMIGRAÇÃO ITALIANA NO BRASIL

05

3. DESCRIÇÃO DOS DADOS

2. Aglutinativo: Em idiomas como japonês e tamil, as palavras se fragmentam em unidades menores.

3. Flexional: Idiomas como Latim têm fronteiras morfêmicas ambíguas, adicionando complexidade.

Essas categorias revelam a diversidade e complexidade dos sistemas linguísticos, destacando os desafios únicos que a tokenização enfrenta ao lidar com a estruturação das palavras em uma variedade de idiomas.

A tokenização segmenta um texto em tokens, abarcando palavras, números, símbolos ou caracteres.

Geralmente, ocorre por espaços, mas pode variar, utilizando símbolos ou parágrafos conforme a necessidade da pesquisa.

Ao tokenizar por palavras, surge a oportunidade de criar nuvens de palavras, revelando a frequência de cada token no texto analisado. Essa técnica possibilita uma visão visual da importância e frequência das palavras no contexto do texto.

Remoção de ruído Remover ruídos é fundamental para análises claras.

No caso do processamento da Base do Espírito Santo, foi crucial eliminar elementos indesejados, como linhas sem início em letras maiúsculas ou números.

Essa ação resultou na separação de dados relevantes e dados irrelevantes, estes últimos salvos para potencial uso futuro.

Além disso, a remoção de formatação simplifica o texto, focando exclusivamente no conteúdo informativo, facilitando a análise.

01

150 ANOS DE IMIGRAÇÃO ITALIANA NO BRASIL

05

3. DESCRIÇÃO DOS DADOS

Remoção de Pontuação e Caracteres Especiais Foi realizada a exclusão de pontuação e caracteres não essenciais, para simplificar o texto e otimizar a consistência para análises mais precisas. código Python para remover a pontuação '!"#$%&'()*+,-./:;<=>?@[\]^_`{|}~' #remove punctuation data['text'] = data['text'].apply(lambda x: re.sub('[%s]' % re.escape(string.punctuation), '' , x))

Usamos um submétodo que recebe três parâmetros principais: o primeiro é um padrão a ser pesquisado, o segundo é o nome pelo qual devemos substituir e o terceiro é a string ou o texto que devemos alterar.

Conversão para Maiúsculas/Minúsculas Normalização do texto Em nossa jornada pelo Python, buscamos padronizar o texto para evitar discrepâncias baseadas na diferenciação entre maiúsculas e minúsculas durante a análise. A normalização reduziu inflexões e redundâncias nos dados, diminuindo a dimensionalidade e removendo variações nas palavras.

A técnica de "Lowercasing" simplificou o processo ao unificar letras maiúsculas e minúsculas. Apesar de resolver problemas de esparsidade, pode trazer ambiguidades, como por exemplo a dualidade: uniformidade versus precisão.

01

150 ANOS DE IMIGRAÇÃO ITALIANA NO BRASIL

05

3. DESCRIÇÃO DOS DADOS

Stemming (Derivação) e Lemmatization (Lematização) Redução de palavras à sua forma base (stemming) ou forma canônica (lematização) para agrupar variações morfológicas.

Stemming (Derivação) O stemming é um processo vital que busca simplificar tokens para suas formas raiz ao remover suas variações flexionais. O Algoritmo de Porter, composto por 5 etapas, é reconhecido por sua eficácia no inglês, embora possa gerar termos não tão relevantes, como "increas" a partir de "increase". Essa abordagem heurística do stemming pode resultar em dois tipos de erros: over-stemming, onde diferentes formas convergem para a mesma raiz, e under-stemming, quando palavras relacionadas não são agrupadas. A biblioteca NLTK oferece a classe Porter Stemmer para executar esse processo de simplificação de palavras. from nltk.stem.porter import PorterStemmer ps = PorterStemmer() for word in lowercase_words: tokens = ps.stem(word) print(tokens)

Encontrar equilíbrio entre minimizar erros é o desafio do stemming no processamento de linguagem natural.

Essa etapa de pré-processamento visa remover afixos de palavras para simplificar o texto.

01

150 ANOS DE IMIGRAÇÃO ITALIANA NO BRASIL

05

3. DESCRIÇÃO DOS DADOS

Lemmatization (Lematização) A lematização reduz palavras aos seus lemas, simplificando o texto. Embora ajude a reduzir problemas no vocabulário, pode gerar ambiguidades.

Distinto do stemming, a lematização é sistemática e precisa, mantendo o contexto original das palavras.

Enquanto o stemming é heurístico, a lematização busca uma redução mais precisa, alinhada com as formas originais das palavras. from nltk.stem import WordNetLemmatizer lemmatizer = WordNetLemmatizer() def lemmatize_words(text): return " ".join([lemmatizer.lemmatize(word) for word in text.split()]) df["text"] = df["text"].apply(lambda text: lemmatize_words(text))

A lematização utiliza análise morfológica aprofundada, recorrendo a recursos como Wordnet ou abordagens baseadas em regras para identificar com precisão o lema de cada palavra. Essencialmente, busca uma transformação refinada, preservando a integridade e o significado original das palavras. from nltk.stem import WordNetLemmatizer wml = WordNetLemmatizer() lemma = []for word in lowercase_words: tokens = wml.lemmatize(word) lemma.append(tokens)

01

150 ANOS DE IMIGRAÇÃO ITALIANA NO BRASIL

05

3. DESCRIÇÃO DOS DADOS

Part-of-Speech Tagging (Marcação de Parte da Fala) Uma técnica no processamento de linguagem natural que atribui a cada palavra uma parte específica do discurso. Essa marcação beneficia a lematização, aumentando sua precisão e eficácia ao considerar o contexto gramatical. É uma ferramenta que enriquece a compreensão e o processamento de texto, aprimorando a análise morfológica Remoção de Espaços em Branco Eliminação de espaços em branco extras ou desnecessários para garantir uma apresentação mais uniforme e facilitar a análise. df["text"] = df["text"].apply(lambda text: re.sub(' +', ' ', x)

Remoção de Stopwords (Palavras de Parada) Exclusão de palavras comuns que geralmente não contribuem significativamente para o contexto do texto, como "a", "o", "em", visando focar nas informações relevantes. #remove stopwords from nltk.corpus import stopwords stop_words = set(stopwords.words('english')) stop_words.add('subject') stop_words.add('http') def remove_stopwords(text): return " ".join([word for word in str(text).split() if word not in stop_words]) data['text'] = data['text'].apply(lambda x: remove_stopwords(x)) 01

Em nosso exemplo, queremos remover as palavras de 150 ANOS DE IMIGRAÇÃO ITALIANA NO BRASIL assunto de cada e-mail, portanto, as adicionaremos às 0 5 stopwords e ao HTTP para remover links da

3. DESCRIÇÃO DOS DADOS

Tratamento de HTML/XML Tags Remoção de tags HTML ou XML para extrair apenas o conteúdo de texto, simplificando a análise e destacando o material textual essencial.

Normalização de Acentuação Substituição de caracteres acentuados por suas versões não acentuadas, e vice-versa, para garantir consistência e facilitar comparações durante o processamento.

Remover palavras e dígitos contendo dígitos Exclusão de palavras que contenham números, bem como os próprios dígitos, visando manter apenas o conteúdo textual relevante.

N-Gramming Análise de sequências de N palavras consecutivas para entender melhor o contexto e a relação entre as palavras.

Identificação de Expressões com Várias Palavras Reconhecimento e tratamento de expressões compostas por várias palavras para uma análise mais precisa.

Expandir Contrações Transformação de contrações para suas formas completas, visando uma análise mais consistente.

01

150 ANOS DE IMIGRAÇÃO ITALIANA NO BRASIL

05

3. DESCRIÇÃO DOS DADOS

Reformulação do Texto Realização de ajustes ou reescrita para melhorar a clareza, coesão ou adequação ao contexto.

Ver exemplo em nossa base de dados para colocar aqui.

No processamento da Base do Espírito Santo houve a busca por nomes compostos devido à natureza dos nomes de pessoas e à separação inicial por espaços durante o pré-processamento.

01

150 ANOS DE IMIGRAÇÃO ITALIANA NO BRASIL

05

CONSIDERAÇÕES FINAIS

Exploramos técnicas fundamentais de préprocessamento de texto, mergulhando em exercícios práticos. Esperamos que cada técnica tenha sido facilmente compreendida e contribua para o aprimoramento de projetos de Processamento de Linguagem Natural (PLN). Além disso, é viável criar uma função simples que englobe essas técnicas. Em certos casos, outras técnicas são necessárias, como lidar com emojis ou tags HTML, facilmente realizadas com expressões regulares e a biblioteca NLTK. Vale destacar que a biblioteca Spacy é essencial para análises mais eficientes, complementando o préprocessamento com suas técnicas avançadas.

01

150 ANOS DE IMIGRAÇÃO ITALIANA NO BRASIL

05

REFERÊNCIAS BIBLIOGRÁFICAS

https://www.codecademy.com/learn/dsnlp-textpreprocessing/modules/nlp-text-preprocessing/cheatsheet https://medium.com/analytics-vidhya/text-preprocessing-nlpbasics-430d54016048 https://www.analyticsvidhya.com/blog/2021/06/must-knowntechniques-for-text-preprocessing-in-nlp/ https://www.cambridge.org/core/journals/natural-languageengineering/article/abs/comparison-of-text-preprocessingmethods/43A20821D65F1C0C4366B126FC794AE3 https://www.researchgate.net/profile/Rashmi-Agrawal3/publication/322782057_Importance_of_Text_Data_Preproces sing_Implementation_in_RapidMiner/links/5b59a5420f7e9bc7 9a65eb85/Importance-of-Text-Data-PreprocessingImplementation-in-RapidMiner.pdf https://pt.scribd.com/document/247210332/Using-Corpora-inthe-Language-Classroom-Hardback-Sample-Pages

01

150 ANOS DE IMIGRAÇÃO ITALIANA NO BRASIL

05

XXXXX

01

150 ANOS DE IMIGRAÇÃO ITALIANA NO BRASIL

05