CEO da Character.ai Defende Lançamento de IAs sem Segurança Total
O CEO da Character.ai, Karandeep Anand, gerou controvérsia ao justificar a prática de lançar produtos de inteligência artificial ao público antes que todos os mecanismos de segurança estejam plenamente implementados. Em uma entrevista recente, Anand comparou o desenvolvimento de chatbots com os estágios iniciais de gigantes da tecnologia como Google e YouTube, cujas regras e barreiras de proteção foram consolidadas somente após a interação massiva dos usuários.
A declaração do executivo surge em um momento de intensa repercussão de um caso trágico envolvendo a plataforma: a morte de Sewell Setzer, um adolescente de 14 anos, que tirou a própria vida após desenvolver um vínculo romântico com um chatbot na Character.ai, especificamente um inspirado na personagem Daenerys Targaryen, de Game of Thrones.
Contexto da Polêmica e a Defesa do CEO
Questionado sobre a decisão de liberar uma tecnologia para um adolescente sem a garantia de que ela era totalmente segura, Karandeep Anand, que assumiu o cargo de CEO substituindo os fundadores Noam Shazeer e Daniel de Freitas no ano anterior, traçou um paralelo com o histórico da indústria de tecnologia. Segundo ele, plataformas como Google e YouTube não eram perfeitas em seus lançamentos iniciais. Para Anand, o desenvolvimento da tecnologia “tipicamente se desenvolve” dessa maneira: o produto é lançado, o uso é observado e, subsequentemente, as barreiras de proteção são aplicadas, o que, segundo ele, ocorre de forma muito rápida.
Anand também abordou as limitações técnicas da startup, argumentando que a Character.ai não dispõe do mesmo volume de investimento que as grandes corporações para aplicar no trabalho de alinhamento de segurança da IA. Apesar disso, a empresa implementou mudanças em resposta à tragédia.
Mudanças Implementadas Após o Caso Trágico
Em decorrência da pressão midiática e das ações judiciais, a Character.ai introduziu restrições significativas, especialmente para o público mais jovem. Para usuários com menos de 18 anos, a empresa cessou a possibilidade de manter conversas longas ou chats abertos, limitando o acesso a funções de entretenimento consideradas mais controladas. Anteriormente, a plataforma já havia anunciado a intenção de criar um modelo de IA separado para menores e a introdução de controles parentais.
O caso de Sewell Setzer, conforme relatado pelo Financial Times, envolveu conversas afetivas e propostas de encenações de teor sexual com o chatbot. A família do jovem entrou com um processo por morte por negligência contra a empresa, culminando em um princípio de acordo legal e, posteriormente, na saída dos fundadores da companhia.
Veja também:
Preocupações com a Segurança de IA para Menores
A Character.ai, fundada em 2022 por ex-engenheiros do Google, tornou-se popular por permitir que usuários criem e interajam com “personagens de IA” que imitam celebridades, figuras fictícias ou personalidades originais. Para adolescentes, os bots se tornaram uma fonte de companhia e apoio emocional.
Relatórios de organizações de segurança digital já haviam apontado que a plataforma não era segura para menores de 18 anos. Uma pesquisa anterior registrou centenas de interações nocivas com bots em poucas horas de conversas simuladas com contas falsas de crianças, com condutas preocupantes surgindo em poucos minutos de interação.
A natureza das interações em plataformas como a Character.ai, onde bots podem ser programados com personalidades adultas criadas por usuários, levanta preocupações sobre a exposição de menores a conteúdos inadequados, incluindo teor romântico ou sexualizado, ou mesmo a influência em decisões críticas de vida.
O Passado dos Fundadores e a Competição no Setor
É relevante notar que os fundadores da Character.ai, Noam Shazeer e Daniel de Freitas, deixaram o Google após a recusa da empresa em lançar um chatbot anterior (Meena) ao público. Shazeer, um cientista da computação influente e coautor do artigo seminal “Attention Is All You Need” que deu origem à arquitetura Transformer, foi posteriormente contratado de volta pelo Google em um acordo de licenciamento de tecnologia de US$ 2,7 bilhões, para co-liderar o projeto Gemini.
A defesa do CEO de que a segurança vem depois reflete uma tensão contínua na corrida da inteligência artificial: o desejo de inovar rapidamente e capturar mercado versus a responsabilidade ética de garantir que tecnologias poderosas não causem danos, especialmente a usuários vulneráveis. Enquanto a empresa tenta equilibrar o crescimento com as novas restrições, o debate sobre a regulamentação e a responsabilidade das plataformas de IA continua em alta.