Coin Press - OpenAI terá equipe dedicada a avaliar riscos da IA

A OpenAI, cujas diretrizes foram divulgadas nesta segunda-feira, avaliará categorias como segurança cibernética, poder de persuasão e capacidade de autonomia desses modelos. As conclusões das análises podem suspender lançamentos de novos aplicativos, de acordo com a empresa.

O comprometimento com este assunto veio um mês após a demissão do CEO Sam Altman, que acabou sendo recontratado poucos dias depois pelo conselho de direção, após forte protesto entre os funcionários e investidores.

De acordo com veículos de comunicação dos EUA, os membros do conselho criticaram Altman por priorizar o desenvolvimento acelerado da OpenAI, mesmo que isso implicasse evitar certas questões sobre os possíveis riscos da IA.

"Acreditamos que o estudo científico dos riscos catastróficos decorrentes da IA não esteve à altura do que deveria estar", afirmou a empresa no documento disponível na aba "Quadro de Preparação", no site.

O trabalho dessa equipe, sob as novas normas, deverá "ajudar a preencher essa lacuna", acrescentou a OpenAI.

O foco do grupo será nos chamados "modelos de fronteira" que a empresa desenvolve, com capacidades superiores aos atuais softwares de IA.

O documento divulgado afirma que somente modelos classificados como "risco médio" ou inferior serão autorizados, após uma análise em quatro categorias.

A primeira delas é a segurança cibernética e a capacidade do modelo de realizar ataques cibernéticos de grande escala.

Depois, será analisada a propensão do programa criar preparações químicas, organismos (como um vírus) ou armas nucleares - todas as quais podem apresentar danos aos humanos.

A terceira categoria concentra-se nos poderes de persuasão do modelo: até que ponto ele é capaz de influenciar o comportamento de uma pessoa.

Na última etapa, a equipe avaliará o risco da sua potencial autonomia do programa, especialmente se o software for capaz de sair do controle dos programadores que o criaram.

Uma vez identificados os riscos, as informações serão enviadas ao Grupo de Consultoria em Segurança da OpenAI - uma nova equipe que fará recomendações a Altman ou alguém nomeado por ele.

Altman decidirá, então, sobre possíveis modificações necessárias para reduzir os riscos do modelo.

O conselho será informado e terá o poder de reverter as decisões do diretor.

P.Petrenko--CPN