Meta diz que pode parar desenvolvimento de IA se risco for extremo
Meta diz que pode parar desenvolvimento de IA se risco for extremo
Meta vai ouvir opiniões de especialistas de fora da empresa (ilustração: Vitor Pádua/Tecnoblog)
Resumo
A Meta poderá interromper o desenvolvimento de um sistema de IA caso identifique um risco extremo de catástrofe associado a ele.
Segundo um documento da plataforma, os riscos são classificados em dois níveis: alto, quando o sistema facilita uma ação perigosa, e crítico, quando ele a torna possível.
A avaliação desses riscos será conduzida por pesquisadores internos e externos, enquanto as decisões ficarão a cargo de “tomadores de decisão de nível sênior”.
A Meta publicou um novo documento sobre suas políticas para inteligência artificial, em que afirma que pode parar o desenvolvimento de um sistema caso considere que existe um risco extremo de catástrofe associado a ele, e pode não lançar um produto caso exista um risco alto.
O documento, chamado “Frontier AI Framework” (ou “Estrutura para IA de vanguarda”, em tradução livre), tem 21 páginas. Ele traz informações sobre a classificação de riscos adotada pela Meta e como esta avaliação será feita.
Quais as classificações de risco das IAs da Meta?
A Meta tem duas classificações de risco em que tomará medidas para evitar problemas: risco alto e risco extremo (ou crítico, como a empresa chama). Nos dois casos, a companhia considera os riscos de que estes sistemas possam ajudar em ataques de cibersegurança, químicos ou biológicos. Contudo, há uma diferença entre eles:
Risco alto: o sistema facilita a ação, mas não chega a torná-la viável
Risco crítico: o sistema torna a ação possível e os riscos não podem ser mitigados durante a implementação
Cenário crítico não pode ser mitigado, na avaliação da Meta (ilustração: Vitor Pádua/Tecnoblog)
O que a Meta faria nestas situações?
No caso de risco alto, a Meta diz que o sistema não seria lançado, tendo seu acesso limitado a um time de pesquisadores, como forma de proteção contra vazamentos. Neste cenário, a empresa trabalharia para mitigar o risco e reduzi-lo ao nível moderado (em que a IA não poderia ajudar em um ataque).
Já no caso de risco crítico, as medidas são mais extremas. A Meta diz que, neste cenário, pausaria o desenvolvimento para avaliar se existem barreiras para impedir um cenário de catástrofe. O acesso seria limitado a um pequeno número de especialistas, com medidas para evitar invasões e vazamentos.
Como a Meta vai avaliar os riscos?
De acordo com o documento, a Meta vai considerar a opinião de pesquisadores internos e externos, com “tomadores de decisão de nível sênior” revisando estes comentários. A companhia diz que o campo científico de avaliações de risco não é, neste momento, suficientemente robusta para fornecer métricas quantitativas.
Com informações de Meta e TechCrunch
Meta diz que pode parar desenvolvimento de IA se risco for extremo
Meta diz que pode parar desenvolvimento de IA se risco for extremo
Fonte: Tecnoblog