O fato de Sam Altman estar à frente do comitê de segurança da OpenAI gerou preocupações sobre seu funcionamento.
O CEO e cofundador da OpenAI, Sam Altman, não terá mais um lugar no Comitê de Segurança e Proteção da organização, pois ele busca se tornar um “comitê de supervisão do conselho mais independente”.
O comitê foi formado em maio de 2024 para fazer recomendações de segurança sobre os modelos de IA que foram desenvolvidos e implantados pela startup apoiada pela Microsoft.
Altman estar no comando de tal órgão de supervisão levou a preocupações de que os membros seriam incapazes de avaliar objetivamente a segurança de seus modelos de IA.
Com o CEO agora fora de cena, o comitê é composto por dois membros do conselho da OpenAI – o ex-chefe da NSA Paul Nakasone e o cofundador do Quora Adam D’Angelo – assim como Nicole Seligman, ex-vice-presidente executiva da Sony, e Zico Kolter, diretor do departamento de aprendizado de máquina da escola de ciência da computação da Universidade Carnegie Mellon.
“O Comitê de Segurança será informado pela liderança da empresa sobre avaliações de segurança para lançamentos de modelos importantes e, com todo o conselho, exercerá supervisão sobre lançamentos de modelos, incluindo a autoridade para atrasar um lançamento até que as preocupações com segurança sejam abordadas”, disse a OpenAI em sua postagem de blog publicada na segunda-feira, 16 de setembro.
No lançamento do seu novo modelo de IA baseado no raciocínio o1, A OpenAI disse que o comitê de segurança havia “revisado os critérios de segurança que a OpenAI usou para avaliar a aptidão do OpenAI o1 para o lançamento, bem como os resultados das avaliações de segurança do OpenAI o1”.
O comité concluiu também a sua revisão de 90 dias dos processos e salvaguardas da OpenAI e fez as seguintes recomendações à empresa de IA:
– Estabelecer governança independente para segurança e proteção
– Melhorar as medidas de segurança
– Ser transparente sobre o trabalho da OpenAI
– Colaborar com organizações externas
– Unificar as estruturas de segurança da OpenAI para desenvolvimento e monitoramento de modelos
Antes de criar o comitê de segurança, os funcionários atuais e antigos da OpenAI expressaram preocupações de que a empresa estava crescendo rápido demais para operar com segurança.
Jan Leike, um ex-executivo que saiu da OpenAI com o cientista-chefe Ilya Sutskever, postou no X que “a cultura e os processos de segurança da OpenAI ficaram em segundo plano em relação a produtos brilhantes”.
