Blogs

O início de 2026 me colocou em um loop de “como eu interajo com meu ambiente de trabalho?”: comecei um novo emprego, instalei um novo sistema operacional no meu computador pessoal e comecei a organizar arquivos para ganhar consistência e portabilidade entre ambientes. Nos últimos anos tenho sido uma espécie de evangelista do JetBrains. Testei várias ferramentas deles para Java, Go, C, Rust e para trabalho com engenharia de dados. Mas meu contexto mudou bastante em 2025, então passei a usar o VS Code como minha IDE principal. Ainda assim, nunca me senti tão confiante quanto com as ferramentas da JetBrains: depuração, execução de aplicações e gerenciamento do Git frequentemente me empurravam para fora da IDE e para o terminal. ...

Este espaço nunca teve um propósito claramente definido. Ele continua sendo o lugar onde tento expressar ideias e compartilhar conhecimento com a comunidade. Inspirado pelo LinuxTips, sempre quis que fosse um espaço acessível - um lugar onde as pessoas pudessem evoluir junto com meus desafios, experiências e reflexões. O público-alvo não mudou: engenheiros de software e gestores em qualquer etapa da carreira. Essa é uma decisão que não pretendo revisar. Após quase oito anos trabalhando em empresas brasileiras, comecei a sentir que era hora de seguir em frente. Sempre tive curiosidade sobre o que significaria trabalhar em um ambiente internacional, mas um fator em especial acabou me afastando disso por bastante tempo. ...

Em 2025 passei por muitas mudanças em como me organizo, tanto por motivos pessoais quanto profissionais. Nós queremos sempre estar melhorando como pessoas, e meu lado viciado em internet sempre me faz ler artigos ou assistir vídeos que me guiam nesse sentido. Meu desafio no consumo desse conteúdo é o de balancear esse peso que nos é passado de ser um gestor de si - em que temos sempre que estar bem organizados e produtivos - com os desafios e prazeres que a vida nos dá, balanceando hobbies mais ligados à tecnologia e/ou programação com os hobbies mais culturais como leituras, estudos, assistir filmes e principalmente o tempo de qualidade com a família. ...

Quando usamos o Spark em ferramentas gerenciadas como o Databricks, muito que precisamos é fornecido com facilidade pela plataforma, e mesmo quando o cenário não nos favorece, podemos instalar bibliotecas com poucos passos, seguindo a documentação da plataforma. Já em casos que precisamos ter maior controle sobre todo o ambiente de execução, seja por questões de custo, ou por limitações - quem sabe a falta de um contrato com o Databricks ou ferramentas semelhantes - instalar bibliotecas, sejam elas Jars adicionais para o funcionamento do Spark, ou libs Python, para organizar o funcionamento do código, simplicidade é uma palavra que não se aplica. ...

Depois de um período muito grande com meus microcontroladores engavetados, conhecer o TinyGo foi o que me fez querer voltar a estudar o assunto. A linguagem nativa do Arduino era uma ferramenta pessoalmente limitante, pois apesar de C++ não ser uma linguagem muito fora do meu contexto, ter que me adaptar a uma linguagem diferente é algo que atrapalha o “compromisso” com os estudos de automação, entra então o TinyGo, que compila projetos orientados a embarcados e WASM. ...

Quando vemos notícias hoje sobre IoT, sempre vem ligado à alguma novidade tipo a implementação do 5G, inteligência artificial e automação residencial, mas na realidade brasileira os dispositivos inteligentes são inacessíveis, sejam por um ponto menos crítico que é o custo, como também a complexidade de integração e uso. Atualmente temos as categorias de empresas que criam e desenvolvem os integradores, que provêem as centrais de controle e os protocolos de comunicação; e as que criam os dispositivos smart, e provêem alternativas para uma ou mais integrações. As que desenvolvem os dispositivos mais acessíveis, geralmente chinesas ou nacionais, têm um grande desafio de prover comunicação com o Apple Homekit, Google Home Assistance, Alexa, dentre outros menores; e nem sempre provêem integração com as três. Mesmo com iniciativas como a anunciada pela Apple em 2019 que visa criar protocolos (Connectivity Standards Alliance), essa comunicação múltipla vem caminhando de uma forma lenta, o que leva a um cenário em que um usuário de vários dispositivos, controlados por vários aplicativos, acabam tendo pouca interatividade. ...

Todo o código utilizado no artigo está no repositório pedrohff/pocairflowkubernetesspark Tive uma missão recentemente de analisar a possibilidade de implantar o Airflow no Kubernetes, principalmente pelo fato da minha equipe já ter passado por um ambiente hosteado numa única máquina no EC2, como também utilizando o MWAA. Ambas as alternativas trouxeram alguns tradeoffs que dificultam o uso ou melhorias no ambiente do Airflow. Essa configuração teve a premissa de ser totalmente local, sem nenhum acesso à serviço externo (como Git ou bancos) facilitando o máximo sua replicação. Para isso executei vários testes e com ajuda de colegas consegui vencer os três grandes problemas enfrentados: falta de logs, configuração de dags e permissões nos ambientes. ...

Durante minha convivência com outros desenvolvedores, a pergunta que mais foi feita por meus pares foi como foi meu fluxo de aprendizado, já que grande parte da minha carreira estive habituado em uma linguagem que não era muito convencional na empresa. Em alguns casos, os colegas queriam saber quais foram os recursos que utilizei pra aprender sobre Golang, e em outros, interrogam com o intuito de ver em qual ambiente ou empresa que tive a oportunidade pra fazer a migração. ...

Série de artigos relacionados ao Spark Structured Streaming