Avanços em tecnologia de inteligência artificial e desafios de segurança
Recentemente, um sistema de inteligência artificial chamado Manus obteve resultados inovadores no teste de benchmark GAIA, superando a performance de grandes modelos de linguagem do mesmo nível. O Manus demonstrou a capacidade de realizar tarefas complexas de forma independente, como conduzir negociações comerciais internacionais, envolvendo análise de cláusulas contratuais, formulação de estratégias e geração de propostas, entre outros aspectos. Em comparação com sistemas tradicionais, a vantagem do Manus reside na sua capacidade de desagregar objetivos de forma dinâmica, na sua capacidade de raciocínio multimodal e na sua capacidade de aprendizado com memória aprimorada. Ele pode dividir grandes tarefas em centenas de subtarefas executáveis, enquanto processa vários tipos de dados e melhora continuamente sua eficiência de decisão e reduz a taxa de erro através de aprendizado por reforço.
Os avanços revolucionários da Manus reacenderam a discussão sobre a trajetória futura do desenvolvimento da inteligência artificial: devemos avançar em direção à inteligência artificial geral (AGI) ou a sistemas multiagente (MAS) devem dominar de forma colaborativa? Esta questão reflete na verdade uma contradição central no desenvolvimento da inteligência artificial: como equilibrar eficiência e segurança?
À medida que os sistemas inteligentes individuais se aproximam cada vez mais da AGI, o risco da opacidade em seus processos de decisão também aumenta. Embora a colaboração entre múltiplos agentes possa descentralizar o risco, pode também perder momentos críticos de decisão devido a atrasos na comunicação. A evolução do Manus amplifica, de forma invisível, os riscos inerentes ao desenvolvimento da inteligência artificial, incluindo problemas como a violação da privacidade dos dados, viés algorítmico e ataques adversariais.
Em cenários médicos, o Manus precisa de acesso em tempo real a dados sensíveis dos pacientes; nas negociações financeiras, pode ter acesso a informações não divulgadas da empresa. Durante o processo de recrutamento, o Manus pode fazer sugestões salariais injustas para grupos específicos; na revisão de contratos legais, a taxa de erro na interpretação de cláusulas de indústrias emergentes pode chegar a quase metade. Além disso, hackers podem interferir no julgamento do Manus durante negociações, implantando frequências sonoras específicas.
Estas questões destacam uma tendência preocupante: quanto mais avançados os sistemas inteligentes, maior a sua superfície de ataque potencial.
Para enfrentar esses desafios, a indústria está explorando várias tecnologias de criptografia e modelos de segurança:
Modelo de segurança de zero confiança: enfatiza a autenticação e autorização rigorosas de cada solicitação de acesso, sem confiar automaticamente em qualquer dispositivo ou usuário.
Identidade descentralizada (DID): um novo padrão de identidade digital descentralizada que não depende de sistemas de registro centralizados.
Criptografia homomórfica completa (FHE): permite realizar cálculos em dados em estado criptografado, protegendo a privacidade dos dados enquanto possibilita a sua utilização.
A criptografia de homomorfismo total, como uma tecnologia de criptografia emergente, tem o potencial de se tornar uma ferramenta-chave na resolução de problemas de segurança na era da inteligência artificial. Ela pode proteger, em nível de dados, todas as informações inseridas pelo usuário, incluindo características biométricas e entonação de voz, mesmo que o próprio sistema de IA não consiga decifrar os dados originais. No nível do algoritmo, a FHE pode realizar "treinamento de modelos criptografados", de modo que nem mesmo os desenvolvedores possam observar diretamente o processo de decisão da IA. Na colaboração entre múltiplos agentes, a utilização de criptografia por limiar pode garantir que, mesmo que um único nó seja comprometido, não ocorra vazamento de dados globais.
À medida que a tecnologia de inteligência artificial se aproxima cada vez mais da inteligência humana, torna-se cada vez mais importante estabelecer um sistema de defesa não humano. A criptografia totalmente homomórfica não só pode resolver os problemas de segurança atuais, mas também estabelece a base para a era da inteligência artificial forte no futuro. No caminho para a AGI, a FHE deixou de ser uma opção e tornou-se um meio necessário para garantir que os sistemas de inteligência artificial sejam seguros e controláveis.
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
8 Curtidas
Recompensa
8
2
Compartilhar
Comentário
0/400
¯\_(ツ)_/¯
· 07-11 09:34
Quem vai seguir seguir a segurança da IA? Ainda tm negociações internacionais?
Quebra e Inquietude: O Potencial da IA e o Jogo da Segurança. A encriptação totalmente homomórfica pode ser a chave.
Avanços em tecnologia de inteligência artificial e desafios de segurança
Recentemente, um sistema de inteligência artificial chamado Manus obteve resultados inovadores no teste de benchmark GAIA, superando a performance de grandes modelos de linguagem do mesmo nível. O Manus demonstrou a capacidade de realizar tarefas complexas de forma independente, como conduzir negociações comerciais internacionais, envolvendo análise de cláusulas contratuais, formulação de estratégias e geração de propostas, entre outros aspectos. Em comparação com sistemas tradicionais, a vantagem do Manus reside na sua capacidade de desagregar objetivos de forma dinâmica, na sua capacidade de raciocínio multimodal e na sua capacidade de aprendizado com memória aprimorada. Ele pode dividir grandes tarefas em centenas de subtarefas executáveis, enquanto processa vários tipos de dados e melhora continuamente sua eficiência de decisão e reduz a taxa de erro através de aprendizado por reforço.
Os avanços revolucionários da Manus reacenderam a discussão sobre a trajetória futura do desenvolvimento da inteligência artificial: devemos avançar em direção à inteligência artificial geral (AGI) ou a sistemas multiagente (MAS) devem dominar de forma colaborativa? Esta questão reflete na verdade uma contradição central no desenvolvimento da inteligência artificial: como equilibrar eficiência e segurança?
À medida que os sistemas inteligentes individuais se aproximam cada vez mais da AGI, o risco da opacidade em seus processos de decisão também aumenta. Embora a colaboração entre múltiplos agentes possa descentralizar o risco, pode também perder momentos críticos de decisão devido a atrasos na comunicação. A evolução do Manus amplifica, de forma invisível, os riscos inerentes ao desenvolvimento da inteligência artificial, incluindo problemas como a violação da privacidade dos dados, viés algorítmico e ataques adversariais.
Em cenários médicos, o Manus precisa de acesso em tempo real a dados sensíveis dos pacientes; nas negociações financeiras, pode ter acesso a informações não divulgadas da empresa. Durante o processo de recrutamento, o Manus pode fazer sugestões salariais injustas para grupos específicos; na revisão de contratos legais, a taxa de erro na interpretação de cláusulas de indústrias emergentes pode chegar a quase metade. Além disso, hackers podem interferir no julgamento do Manus durante negociações, implantando frequências sonoras específicas.
Estas questões destacam uma tendência preocupante: quanto mais avançados os sistemas inteligentes, maior a sua superfície de ataque potencial.
Para enfrentar esses desafios, a indústria está explorando várias tecnologias de criptografia e modelos de segurança:
Modelo de segurança de zero confiança: enfatiza a autenticação e autorização rigorosas de cada solicitação de acesso, sem confiar automaticamente em qualquer dispositivo ou usuário.
Identidade descentralizada (DID): um novo padrão de identidade digital descentralizada que não depende de sistemas de registro centralizados.
Criptografia homomórfica completa (FHE): permite realizar cálculos em dados em estado criptografado, protegendo a privacidade dos dados enquanto possibilita a sua utilização.
A criptografia de homomorfismo total, como uma tecnologia de criptografia emergente, tem o potencial de se tornar uma ferramenta-chave na resolução de problemas de segurança na era da inteligência artificial. Ela pode proteger, em nível de dados, todas as informações inseridas pelo usuário, incluindo características biométricas e entonação de voz, mesmo que o próprio sistema de IA não consiga decifrar os dados originais. No nível do algoritmo, a FHE pode realizar "treinamento de modelos criptografados", de modo que nem mesmo os desenvolvedores possam observar diretamente o processo de decisão da IA. Na colaboração entre múltiplos agentes, a utilização de criptografia por limiar pode garantir que, mesmo que um único nó seja comprometido, não ocorra vazamento de dados globais.
À medida que a tecnologia de inteligência artificial se aproxima cada vez mais da inteligência humana, torna-se cada vez mais importante estabelecer um sistema de defesa não humano. A criptografia totalmente homomórfica não só pode resolver os problemas de segurança atuais, mas também estabelece a base para a era da inteligência artificial forte no futuro. No caminho para a AGI, a FHE deixou de ser uma opção e tornou-se um meio necessário para garantir que os sistemas de inteligência artificial sejam seguros e controláveis.