使命:满足人们美好生活需要
当前位置: 首页 > 新闻  > 行业洞察

OpenAI发布安全指南:董事会有权阻止CEO发布新款AI模型

2023/12/19 9:35:31 人评论 作者:news

12月19日消息,美国当地时间周一,人工智能研究公司OpenAI表示,即使公司领导层认为人工智能(AI)模型足够安全,其董事会也可以选择推迟发布。这是该公司授权其董事加强尖端技术开发安全保障措施的另一个明显迹象。周一发布的一套指导方针详细说明了这一决策流程,并解释…

12月19日消息,美国当地时间周一,人工智能研究公司OpenAI表示,即使公司领导层认为人工智能(AI)模型足够安全,其董事会也可以选择推迟发布。这是该公司授权其董事加强尖端技术开发安全保障措施的另一个明显迹象。

周一发布的一套指导方针详细说明了这一决策流程,并解释了OpenAI计划如何应对其最强大人工智能系统可能带来的极端风险。该指导方针发布前,OpenAI首席执行官萨姆·奥特曼(Sam Altman)曾被董事会短暂罢免,公司经历了一段动荡时期,这使得董事和公司高管之间的权力平衡成为人们关注的焦点。

OpenAI最近组建的“准备”(Preparedness)团队表示,它将继续评估公司的人工智能系统,以确定它们在四个不同类别中的表现,包括潜在的网络安全问题以及化学武器、核武器以及生物武器威胁,并努力减少该技术可能造成的任何危害。具体来说,OpenAI正在监控所谓的“灾难性”风险,它在指导方针中将其定义为“任何可能导致数千亿美元经济损失或导致许多人受到严重伤害或死亡的风险”。

亚历山大·马德里(Aleksander Madry)是“准备”团队的负责人,目前正在麻省理工学院休假。他称,该团队将向一个新的内部安全咨询小组发送月度报告,后者随即将分析马德里团队的工作,并向奥特曼和公司董事会提交建议。在奥特曼被短暂解雇后,公司董事会进行了全面改革。根据这份文件,奥特曼及其领导团队可以根据这些报告决定是否发布新的人工智能系统,但董事会有权否决他们的决定。

OpenAI在10月份宣布成立“准备”团队,使其成为该公司监督人工智能安全的三个独立团队之一。另外两个团队分别是“安全系统”团队,着眼于当前的产品,如GPT-4,以及“超级对齐”(Superalignment)团队,专注于未来可能存在的极其强大的人工智能系统。

马德里表示,他的团队将反复评估OpenAI最先进的、尚未发布的人工智能模型,根据不同类型的感知风险将它们评为“低等”、“中等”、“高等”或“关键”。该团队还将做出改变,希望减少他们在人工智能中发现的潜在危险,并衡量其有效性。根据新的指导方针,OpenAI将只推出危险评级为“中等”或“低等”的模型。

马德里还希望其他公司也能使用OpenAI的指导方针来评估其人工智能模型的潜在风险。他说,这些指导方针是OpenAI之前在评估已发布人工智能技术时遵循的许多流程的正规化。他和他的团队在过去几个月里提出了许多细节,并从OpenAI内部其他人那里得到了反馈。

来源:网易科技报道

编辑:安安


相关资讯

  • 委员建议国家全面禁止未成年人网游

    委员建议国家全面禁止未成年人网游,赞成管控大学生玩游戏时间 全国政协委员洪明基3月6日表示,“不能再让游戏害人了”。赞成管控大学生玩游戏时间之外,还要全面禁止18岁以下的未成年人玩网络游戏。他表示,虽然游戏设置了防沉迷的功能,但很多孩子对网游的依赖成瘾,…

    2024/3/7 9:52:08
  • 全球最强大模型易主 GPT-4被超越

    全球最强大模型易主 GPT-4被超越 Anthropic发布Claude 3系列模型 Anthropic公司发布了最新的Claude 3系列模型,一举击败了全球最强AI模型GPT-4。Claude 3在多模态和语言能力等指标上表现出色,树立了新的行业基准。 Claude 3系列包括Claude 3 Haiku、Claude 3 Sonnet和…

    2024/3/5 10:27:42
  • 特斯拉跑车100公里加速不到1秒

    日前,特斯拉首席执行官埃隆马斯克在社交媒体上宣布,特斯拉新一代Roadster跑车的生产设计已完成,将在年底推出,预计明年开始发货。 马斯克表示,新款Roadster将配备更大容量的电池,最高时速超过400公里,最大续航里程近1000公里。据了解,这款电动跑车由特斯拉和太空…

    2024/3/3 10:03:56
  • 金投手:区块链正逐渐走入人们的日常生活

    近日,国际货币基金组织(IMF)副总法律顾问Ross Leckow表示,IMF当局对区块链领域有着明显的兴趣,并寻求私营部门和公共部门的最佳指导。目前IMF有189个成员国,这些国家中的大多数都在寻求接近和释放金融科技促进发展潜力的指导,他们还在寻求一种方法来制定保护区块链行…

    2019/8/8 16:49:35