Tudo nesse site é 100% gratuito, e vai continuar sendo. Aproveite.

ganeko.dev

Meu pet virtual ganhou vida (e ódio)

ARTIGO · 4 MIN DE LEITURA

Detectando procrastinação com webcam, Python e Arduino

O Brain Rot Slayer é o meu projeto pessoal de verdade: um pet virtual num Arduino com uma tela OLED, tipo um Tamagotchi, que se alimenta do seu foco. Se você para de programar para ver reel, ele fica bravo. Neste episódio eu tinha dois objetivos: refazer o desenho do personagem e fazer ele perceber quando eu perco o foco.

O sprite: pixel art feita na mão, em camadas

O desenho antigo era um rascunho que eu fiz numa lousa e passei para um software de pixel art. Ele era todo de contorno branco, e eu queria um personagem preenchido, com mais cara de projeto. Refiz do zero no Pixilart. Pixel art é bem mais difícil do que parece. O que ajudou foi o pincel, que já aplica um sombreado em degradê em vez de pintar pixel por pixel com o lápis.

O truque que fez diferença foi separar o desenho em camadas. Capacete numa, corpo em outra. Assim eu consigo mexer o capacete para cima e para baixo e gerar quadros diferentes da animação sem redesenhar tudo. Fiz três desenhos, converti cada um em bitmap num site de conversão e joguei no código. No VS Code uma extensão mostra as cores do bitmap direto no editor, o que ajuda a conferir. O resultado é o personagem subindo, descendo e piscando, com uma animação que eu criei na mão.

A detecção: a webcam olha para onde você olha

A ideia era simples na minha cabeça e eu nem sabia se ia funcionar. Um programa à parte no computador, em Python, porque é onde é mais fácil usar bibliotecas de câmera. Ele lê a webcam, reconhece o rosto, e se eu olho para baixo, para o celular, manda uma mensagem para o Arduino trocar a animação.

Antes de pedir código, abri uma sessão nova no Claude Code com /clear, porque eu estava saindo da parte de desenho para a lógica, e pedi um PRD.md, um arquivo que especifica as funcionalidades. O projeto está ficando mais complexo e ter isso escrito ajuda. O que eu gostei no PRD foi a separação do que está dentro e fora do escopo, e a regra de foco: perdeu o foco por mais de 3 segundos, manda o sinal.

webcamlê o rosto
Python + OpenCVpitch e yaw da cabeça
serialD ou F
Arduino + OLEDtroca a animação
D = distraído · F = focado

A comunicação com o Arduino é pela serial, com um protocolo de uma letra. D significa distraído, F significa focado. Do lado do Arduino, basta ler essa letra para decidir qual animação mostrar. O detector usa OpenCV, uma biblioteca de computer vision, que eu usei pela primeira vez.

Calibrando: pitch, yaw e o threshold de tempo

O detector trabalha com dois ângulos da cabeça, pitch e yaw. Pitch é o quanto o rosto está inclinado. No meu teste, inclinando uns 45 graus para baixo ele já detecta que eu perdi o foco. Olhando para a frente, ele sabe que eu estou focado.

Para a demonstração eu zerei o threshold de tempo, então ele troca de estado na hora. Mas o certo é deixar pelo menos uns 3 segundos. Sem isso, qualquer olhada rápida para baixo vira distração e o estado fica trocando o tempo todo.

olhando para a tela
F
animação normal: sobe, desce, pisca
cabeça ~45° para baixo por 3 s
D
alerta vermelho, personagem bravo
threshold 0 s serve para demo; o certo é uns 3 s

Com tudo ligado, olhando para a tela a animação fica normal. Perdi o foco, a tela fica vermelha num alerta. Depois desenhei uma versão do personagem gritando, de novo em camadas, e agora quando eu desfoco ele fica bravo de verdade.

O que vem depois

A ideia é o personagem ter atributos, como fome e humor. Quando você perde o foco ele vai enfraquecendo, e quando você está focado ele pode evoluir. Também quero fazer uma case em volta da tela para ele parecer um Tamagotchi mesmo. Por enquanto ele já tem um sprite que eu mesmo criei e já percebe quando eu pego o celular. Para um projeto pessoal, é exatamente o tipo de coisa que eu acho divertido construir.

TRANSCRIÇÃO COMPLETATudo o que eu falo no vídeo, com o minuto de cada trecho.

0:00Bom dia, seus montes de dev preguiçoso, que chama TCC de faculdade de projeto pessoal. Hoje a gente vai continuar o nosso projeto pessoal de verdade, que é o Brain Rot Slayer. E para quem não viu o vídeo do canal aí que a gente iniciou essa saga, o Brain Rot Slayer, ele é um projeto criado num Arduino, ou seja, um dispositivo físico. E utilizando esse módulo aqui de tela OLED, que é muito legal, a gente tá criando um pet virtual que combate a sua procrastinação. Ele vai ser alimentado do seu foco e vai combater a sua procrastinação. Então, se você assistir um reel, perde o foco aí, para de programar, de estudar, ele vai ficar muito bolado com você. E eu tô fazendo esse projeto muito legal através desse dispositivo físico, porque o mundo digital tá em colapso, a inteligência

0:48artificial tá destruindo tudo, então a gente tá voltando aqui alguns anos pro passado pra relembrar como era a vida dos dispositivos físicos. Então, é realmente aqui como se fosse um Tamagotchi que a gente tá criando. Inclusive, já que a gente tá mexendo aqui com ferramentas reais, do mundo real, né? Eu vim aqui preparado hoje com o meu capacete de engenheiro aqui pra ficar protegido. Vai que o Brain Rot Slayer aí, o o Arduino dá um bate na minha cabeça aí, eu tenho que tá preparado, né? Então, hoje a gente vai ter dois grandes objetivos bem legais pra progredir no nosso projeto. O primeiro deles vai ser atualizar esse sprite aqui, ou seja, esse desenho aqui do Brain Rot Slayer, porque eu não gostei muito dele. Na verdade, isso aqui foi um rascunho só que eu fiz. Num numa lousa aqui que eu desenhei em casa e depois passei aqui pra um software de pixel art, mas dessa vez eu vou criar do

1:37zero um desenho, uma pixel art, no site de pixel art. Pra ficar aí um personagem aí muito mais carismático e mais pra identificar o nosso projeto, né? Vai ser a cara do projeto. E além disso, a gente vai adicionar uma das primeiras features mais legais do projeto, que vai ser a detecção de procrastinação. Ou seja, o nosso projeto vai perceber quando a gente tiver assistindo um real, quando a gente parar de estudar, ele vai perceber isso e vai reclamar para a gente, vai ter que combater um monstro aí, ele vai detectar isso. Para quem não sabe, recentemente eu estou tocando bastante projetos pessoais, alguns projetos da minha vida e uma coisa que eu percebi que eu estou aprendendo bastante com o tempo é sobre gestão de pessoas. No começo, quando tem pouca gente, fica tudo mais fácil, mas assim que o seu time começa a crescer um pouquinho só, você já começa a perceber que tudo pode virar um caos muito rápido. E foi aí que

2:25eu conheci a Bitrix24, que são os patrocinadores do canal. Eles são uma ferramenta de CRM que centraliza tudo que você vai precisar organizar o seu projeto, tudo em um lugar só. Você vai ter tarefas dos seus projetos, mensagens, grupos de trabalho para se comunicar com seu time, ferramentas de CRM, de agendamento, ferramentas de marketing, que são muito importantes. Tudo isso centralizado e mais importante, tudo integrado para que você possa fazer essa gestão de uma forma muito mais simples. Você consegue fazer a organização das tarefas do seu time, tudo separado por status e definindo quem é o responsável por cada tarefa, com prazo, tudo bem completo. Em marketing, você pode criar suas campanhas, campanha de e-mail, de SMS, de transmissão de voz, cara, muito bom.

3:09Você pode criar os seus públicos, você pode [música] verificar suas postagens promovidas, como está sendo o desempenho. Na Bitrix24, você consegue cuidar de todo o processo do seu projeto. Quando você começa a vender o seu próprio produto, quando você começa a ter um time para gerir, cuidar de tudo isso sem uma ferramenta especializada começa a ser um desafio enorme e você precisa de algo para te ajudar nessa caminhada. Então, na Bitrix24, você vai ter gestão de tarefas, você vai ter gestão de marketing, comunicação, automação, tudo na mesma plataforma. E para quem está começando o seu projeto novo, está com um time enxuto ainda, criando um SaaS, criando um produto novo, a Bitrix24 vai ser perfeita para você, porque eles tem o plano que agora é 100% gratuito e com usuários ilimitados. Então, se você está criando o seu próprio projeto, dá uma olhada no primeiro link da descrição que é da Bitrix24 que eu recomendo e organize o seu projeto. Não deixa passar essa

3:56oportunidade com o plano gratuito e usuários ilimitados. Bom, então a primeira coisa que eu quero fazer hoje é realmente melhorar esse design aqui que a gente criou pro Brain Rot Slayer. Eu vou criar ele aqui, ó. Então, esse aqui é o design que a gente tem atualmente. Ele, pô, tá com um outline, né? Ele tá todo com contorno branco, tal. Eu quero mudar pra que ele seja mais preenchido e eu vou criar tudo isso aqui na mão nesse site aqui que eu achei que se chama a Pixilart com i e, sei lá, eu achei esse site aqui procurando no Google. Eu vou usar ele pra criar o sprite novo que a gente vai utilizar. Então, eu percebi aqui, primeiro, eu vi que tem essa ferramenta aqui de pin, de lápis, que ele coloca pixel por pixel, não? E, cara, fazer pixel art é uma coisa que eu já tentei fazer no passado e é bem difícil. Já fiz algumas, né, na verdade, e dá bastante

4:44trabalho. É muito mais difícil que parece. Eu vi aqui que tem uma ferramenta de pincel que vai dar uma boa ajuda porque ele já coloca um sombreado, né? Já tem um degradê aqui que vai ajudar a gente a criar o nosso personagem de forma mais fácil. Ó, gente, fiz aqui um, é, capacetezinho. Agora eu vou colocar aqui ah, um pouco, alguns buracos aqui no capacete, né, que é o visor do capacete. Vamos fazer aqui, então. Aí, ó, tô gostando do resultado, hein? Fiz o visor do capacete. Agora a gente vai fazer o corpo do bonequinho aqui. Ele vai ser branco, ele vai ficar aqui embaixo. Aí, galera, fiz aqui os olhinhos dele, o corpo, os pezinhos. Agora eu vou fazer uma espada azul aqui, igual eu tinha feito no rascunho.

5:27Vou fazer ela aqui. Galera, fiz aqui o desenho inicial do nosso Brain Rot Slayer. Acho que ele ficou bem legal. Sinceramente, eu fiquei bem orgulhoso do desenho como ele ficou. Então, essa aqui que vocês estão vendo aqui na câmera é a versão antiga do Brain Rot Slayer. Esse aqui na tela é a versão nova. E aí, vocês acham que ficou melhor? Eu acho que ficou bem mais legal. Galera, consegui fazer o desenho para ser passado aqui para o Arduino. Então, agora ele já está aqui com a nova versão do Sprite, só que ele ainda não está com uma animação customizada, né? Eu quero criar uma animação customizada e para isso eu separei aqui o desenho em camadas, então eu separei o capacete dele aqui, por exemplo, eu consigo mexer o capacete aqui, ó, de cima para baixo.

6:09E aí eu fiz três desenhos diferentes, eu vou subir eles aqui nesse site que eu achei aleatório aqui para fazer aqui as outras versões do nosso bitmap e aí eu já vou jogar lá no código. Galera, fiz aqui, já subi o código novo aqui, ó, gerei os bitmaps até. É legal aqui que no Visual Studio Code dá para ver as cores aqui por causa da extensão que eu instalei. E aí gerei, joguei aqui para o Arduino e já estamos aqui agora novamente com a animação rodando no nosso projeto e dessa vez a animação que eu criei na mão e está bem legal. Olha só, ele fica aí indo para cima e para baixo e piscando, bem legal, né? E agora, gente, o próximo passo que a gente vai fazer vai ser um passo muito legal, bem interessante, que vai ser detectar se eu peguei o celular aqui e parei de prestar atenção no que

6:58eu estou fazendo, no meu projeto, nos meus estudos. E para fazer isso, eu pensei aqui numa solução, não tenho certeza ainda se vai funcionar, mas eu vou criar um projeto à parte aqui, um arquivo à parte dentro do meu computador, que vai ser um arquivo Python por provavelmente, porque é o mais fácil de usar essas eh bibliotecas que detectam coisas da câmera. Então, esse arquivo Python, ele vai ler a câmera, webcam do meu computador, ele vai reconhecer o meu rosto e se eu olhar para baixo, parar de prestar atenção no que eu estou fazendo, começar a mexer no celular, ele vai mandar alguma informação, né? Vai mandar mandar uma mensagem para o nosso código do Arduino e aí vai rodar uma animação diferente aqui na nossa tela. Bom, isso é o que eu tenho na minha cabeça, eu vou dar uma consultada aqui na inteligência artificial, vou rodar aqui, gerar alguns códigos e vou ver o que eu consigo fazer

7:45a partir disso. Então, a primeira coisa que eu vou fazer é aqui no Cloud Code, eu vou dar um barra clear, porque eu vou começar uma sessão nova, porque agora a gente vai parar de mexer na questão do sprite, do desenho e a gente vai começar a mexer na lógica de programação mesmo. Bom, gente, eu fiz um prompt aqui especial, né? Eu falei que a gente vai criar um PRD.md, que é um arquivo que vai especificar as funcionalidades do nosso programa, né? Então, agora que ele vai começar a ficar um pouco mais complexo, eu vou criar esse arquivo PRD.

8:17E eu expliquei aqui que ele vai criar um programa em Python que vai detectar, através da nossa câmera, que eu perdi o foco e eu vou dar um enter aqui para ele gerar esse código. Eu vou ver o que ele gera com esse prompt bem simples e depois a gente dá uma calibrada, a gente melhora o que precisar ser melhorado. Galera, então ele gerou aqui o arquivo PRD. Ele ainda não especificou coisas como dependências e tal, então ainda tem dar uma olhada nisso. Eu sei que tem um OpenCV, eu acho, alguma coisa assim, que dá para eu fazer a detecção de do meu rosto e tal, mas ele criou aqui, eu gostei já bastante que ele colocou coisas que estão fora do escopo, o que tá dentro do escopo, usar o alvo, que é uma pessoa utilizando, que tem um Arduino e tá utilizando o computador, então para ter o a detecção do foco, ele colocou aqui para ser ele detectar que a gente perdeu o foco por mais de 3 segundos, ele vai mandar o sinal, eh,

9:06falando para alterar aqui a animação do nosso Arduino. E eu gostei aqui, eu tô começando a entender como que é feita essa, o envio desse sinal, que é através desse protocolo serial, que ele vai mandar ou D ou N. O D significa que a pessoa tá distraída e ou N não, né? Ou F. E o F significa que ele tá focado. Então, a partir disso, a gente vai conseguir detectar no nosso Arduino se eu tô focado ou não e aí ele vai poder mudar a animação do nosso personagem. Galera, então ele acabou de gerar aqui a implementação do código. Eu já subi o código no nosso Arduino. Agora eu vou pegar aqui, ó, ele gerou esse código Python, aqui, ó, detector, ele gerou esse focus detector e pelo que eu vi aqui, ele realmente utilizou o OpenCV, que é uma biblioteca de computer vision, então ela vai ser boa para detectar e reconhecer o meu rosto.

9:53Então vai ser bem legal, vou usar essa biblioteca pela primeira vez. E agora vamos rodar aqui o projeto, eu vou abrir um novo terminal aqui e a gente vai executar aqui a instalação das dependências, a execução da virtual env. Tinha dado um erro aqui de digitação, mas eu já consertei e agora ele tá instalando as dependências, vai subir a virtual env e vai rodar aqui o nosso focus detector. Vamos ver como que vai ser. Galera, fiz aqui, acho que ficou bem legal, ó, eu já dei uma boa lida aqui no código, já entendi algumas configurações que eu tinha que fazer. Ele tá usando esse pitch e esse yaw aqui para fazer as coisas. Vamos rodar aqui a aplicação, então, ó, ele apareceu aqui a câmera que ele tá usando para detectar.

10:30Ele tá falando que eu tô focado. Por quê? Porque eu tô olhando para tela. Mas se eu pegar o celular aqui, como se eu olhar para baixo, ele vai perceber que eu perdi o foco. Olhei para baixo. Ó. Olhei para baixo. Olhei para tela. Tela. Ó. Celular. Tela. Celular. Tela. E eu posso calibrar isso aqui através desses números, né, de pitch e yaw. Esse pitch aqui é o quanto o meu o meu rosto aqui, ó, ele tá inclinado para outras direções, né?

11:01Então se eu inclinar ele aqui, ó, para baixo de 45, ele começa a detectar que eu perdi o foco, tá? Que significa que eu tô olhando para baixo. Se eu tô olhando para frente, ele sabe que eu tô focado. E eu tirei aqui o threshold de tempo, né, porque ele, por padrão, ele colocou aqui 3 segundos. Se eu tô há 3 segundos olhando para baixo, ele vai detectar que eu perdi o foco. Mas eu coloquei aqui 0 segundos só para, é, vocês, né, ser padrão aqui para vocês entenderem como ele funciona. Mas o certo aí, eu vou deixar um, pelo menos uns 3 segundos aí, para ele não ficar trocando aí de estado o tempo todo, né?

11:33Bom, galera, consegui fazer aqui funcionar com o Arduino agora, então eu tô olhando aqui para tela e a animação do Arduino tá normal aqui, funcionando normalmente, né? Mas se eu perder o foco, ele vai começar a dar um alerta e ficar tudo vermelho, olha só. Perdi o foco. Voltei o foco. Perdi o foco, ele fica todo vermelho. Volto o foco, ele volta a ficar normal. Então bem legal, né? Ele fica aí com essa animação aí dando um alerta vermelho na tela, eu ainda vou fazer uma animação diferente aqui, vamos ver o que eu faço. Então, gente, terminei aqui de editar o Sprite, ó, fiz ele aqui uma versão aqui dele gritando, separei em layers aqui de novo para conseguir editar melhor aqui o capacete, por exemplo. Então editei o Sprite, rodei aqui nesse site aqui de converter para bitmap,

12:20joguei tudo isso aqui aqui no código, mandei rodar e agora vamos ver como ele tá funcionando. Aqui tá o bonequinho na tela, deixa eu mostrar aqui para vocês. Tá aqui o bonequinho na tela, aqui é ele comigo focado, agora vamos ver se eu desfocar. >> [risadas] >> Ele faz essa animação aí diferente de eh, que ele ficou bravo, né? Que eu perdi o foco, então ele fica bravo. Ainda vai ter várias mecânicas, tá? Então não é só ele ficando bravo, ainda vou fazer várias mecânicas. Eu quero que o personagem ele consiga, hã, ter atributos, então ele vai ter, por exemplo, deixa eu ficar mostrando aqui para vocês, vocês verem.

13:03O personagem ele vai ter atributos, tipo, ele vai poder, hã, né, sentir fome, tem o humor dele e aí quando a gente perde o foco, ele começa a perder esses atributos, começa a ficar mais fraco, ele pode evoluir quando a gente tá focado, então vai ter várias funcionalidades aí para o nosso Brain Rot Slayer, mas muito legal, agora ele já tem uma cara aí bem bonitinha, né? O Sprite que eu mesmo criei e quando a gente perde o foco ele já tem funcionalidade aí de perder o foco e ele detectar isso. No futuro também vou querer criar uma case para ficar em volta dessa telinha aqui, eu vou querer que ele fique parecendo um Tamagotchi mesmo, vai ficar bem legal. Então é isso gente, espero que vocês tenham gostado do episódio de hoje, a gente fez umas alterações bem legais que já fazem aí bastante diferença no nosso no nosso

13:52projeto. Eu tô gostando muito de criar isso aqui. Esse projeto pessoal tá sendo bem divertido de fazer. Eu espero que vocês estejam gostando de acompanhar, não percam os próximos episódios dessa saga, tá gente? Então eu vou continuar apresentando tudo aqui para vocês, igual eu estava fazendo hoje, mostrando como é o desenvolvimento, como que eu faço, como eu utilizo o IA, como eu utilizo o Cloud Code para vocês aprenderem junto comigo. Então é isso, se vocês gostaram do vídeo, deixe seu like, deixe seu comentário para a gente conversar, se inscreve no canal, ativa o sininho para não perder os próximos episódios dessa saga. Muito obrigado para quem viu o vídeo até aqui e um abraço.