OpenAI o1 ameaçou banir usuários quando questionarem seus argumentos

Desde que a OpenAI lançou seu modelo de IA ‘Strawberry’ na semana passada, as alegações sugerem que a empresa tem enviado e-mails de alerta aos usuários que questionam seu raciocínio.

A prévia do o1 foi anunciada no dia 12 de setembro com o apelido de “Morango”, após meses de rumores sobre como seria o próximo modelo.

Diz-se que o modelo o1 tem capacidades de pensamento aprimoradas e a nova série é “projetada para permitir que as pessoas passem mais tempo pensando antes de responder”.

Como os detalhes sobre o modelo de linguagem grande foram compartilhados, Isso é relatado pela Ars Technica que a OpenAI ameaça banir usuários que tentarem usar a ferramenta para revelar como pensam.

Alguns usuários dizem que perguntar sobre os argumentos da OpenAI os conscientizou

Alguns usuários acessaram as redes sociais para compartilhar suas capturas de tela depois de perguntar sobre a ferramenta no o1-preview. Ars descobriu que alguns usuários afirmam que mesmo usar a palavra “discrição” é um aviso suficiente.

Nas imagens, o LLM não está respondendo porque um aviso vermelho é exibido: “Sua solicitação foi sinalizada como uma possível violação de nossa política de uso. Tente novamente com outra solicitação.”

Marco Figueroa, que dirige o programa de recompensas de bugs GenAI da Mozilla, compartilhou seu anúncio sobre o OpenAI na última sexta-feira. Ele disse: “Eu estava tão perdido no #AIRedTeaming até perceber que recebi esta mensagem da OpenAI ontem, depois de todo o jailbreak!

“…Estou na lista de banimentos agora!!!”

Em uma postagem de blog publicada em 12 de setembro, intitulada “Estudando ideias com LLMs,’ OpenAI diz que “acredita que a cadeia oculta de pensamento oferece uma oportunidade única para modelos de monitoramento”.

Eles dizem que depois de considerar vários fatores, incluindo a experiência do usuário, a vantagem competitiva e a capacidade de rastrear o monitoramento da cadeia de pensamento, eles “decidiram não mostrar cadeias de pensamento brutas aos usuários.

“Reconhecemos que esta decisão tem falhas. Tentamos compensar parcialmente isso ensinando ao modelo quaisquer ideias úteis da cadeia de pensamento em resposta. Para a série de modelos o1, mostramos o resumo do modelo gerado da cadeia de pensamento.”

Imagem em destaque: no meio da jornada

A postagem OpenAI o1 ameaçou banir usuários quando solicitadas provas apareceu pela primeira vez no ReadWrite.



Fonte