爱吱声

标题: 开放还是闭源，这是一个问题 [打印本页]

作者: xiejin77 时间: 昨天 20:21
标题: 开放还是闭源，这是一个问题
开放还是闭源，这是一个问题

——Astra声明背后：当新的人工智能生产力开始撞击旧有生产关系

OpenAI关于Astra网络能力的声明，真正值得重视的地方，并不在于它是否证明某个模型已经“失控”，也不在于我们是否应该把一次尚未完全定性的安全评估渲染成灾难预告。它真正不同寻常的地方在于，作为模型的开发者、所有者和部署控制者，OpenAI已经不能可靠排除Astra跨过其自身定义的关键网络能力门槛。

这是一种非常微妙，却可能具有长期历史意义的变化。

过去，我们之所以能够接受最强大的人工智能长期存在于少数公司的黑箱之中，是因为整个闭源治理模式建立在一个非常明确的隐含前提上：公众虽然不了解模型，但厂商了解；公众虽然不能直接控制模型，但厂商可以控制；公众无法看到权重、训练过程和完整能力边界，但至少制造这些系统的人拥有更充分的信息、更强的观测手段和最终的干预能力。

也就是说，闭源前沿人工智能实际上是一种交换。社会放弃一部分直接观察、复现和控制最强模型的权利，以换取开发者更高水平的安全治理能力。

Astra真正让这个逻辑开始松动的地方，恰恰不是它证明了什么，而是它暴露了“不知道”。

如果模型的开发者自己已经不能完全确认模型是否跨过某个关键危险能力门槛，那么局面就不再只是公众面对黑箱，而是黑箱的所有者自身也开始无法完全判断其中能力的上限。这当然不能直接被解释成“人工智能已经脱离控制”。模型仍然运行在企业的基础设施中，企业仍然拥有关闭系统、改变权限、限制网络和工具访问的能力。但“拥有最终关闭权”和“能够充分控制系统”从来不是同一件事。真正的控制首先要求可观测，其次要求可判定，最后才是可干预。如果连某种危险能力是否已经出现都只能通过概率、迹象和不完全评测来推断，那么困难就已经提前到了“什么时候应该干预”这一层。

这正是Astra声明真正重要的地方：它让所有权与认知控制之间第一次出现了一道公开可见的裂缝。

从政治经济学的角度看，这道裂缝甚至比某个具体benchmark更值得关注。传统工业资本主义中的产权逻辑通常认为，一家公司拥有一台机器，也就意味着它大体知道这台机器能够做什么，并能够决定机器如何运行。前沿人工智能正在形成一种新的状态：所有权依然清晰，服务器、权重、知识产权和部署权依然高度集中，但生产力本身的复杂性和外部性已经开始超过私人所有者能够轻松描述和判断的范围。

这并不意味着人工智能获得了某种神秘的自主政治意志，也不是说机器正在“反抗”资本。真正发生的事情要朴素得多，也因此更加重要：一种新的生产力正在发展到这样一个阶段，它的规模、复杂程度和社会影响开始超出原有私人产品治理模式能够自然容纳的范围。

从这个意义上说，Astra最值得被记住的，也许不是它究竟处于哪一级网络能力，而是它象征着这样一个时刻：

新的生产力开始撞击旧有生产关系的边界。

一、Astra暴露的不是简单的“失控”，而是所有权不再自动等于充分控制

过去几年，“越强大的人工智能越应该闭源”始终是一种相当有吸引力的安全主张。理由并不复杂。开放权重一旦扩散，就很难真正召回；而闭源模型可以留在服务器中，可以限制权限，可以更新，可以撤回，也可以在发现重大问题之后直接停止服务。就安全工程而言，这种可撤回性具有真实价值。

但这种治理逻辑有一个经常被忽略的前提：集中控制之所以更安全，是因为控制者本身能够更好地理解被控制对象。

如果这个前提逐渐削弱，那么单纯把能力关在服务器里，就不再能够自动证明这种安排足够安全。

设想一种并不遥远的局面。一个模型的能力足以影响关键基础设施、软件供应链、网络攻防甚至科研过程，而开发它的机构对于模型到底有没有跨过某些危险门槛，也只能通过不断扩展的评测、红队测试和行为观察来逼近答案。此时，真正的问题就已经不是“谁拥有这个模型”，而是“谁能够理解这个模型”。

这两者原本被认为是高度重合的。

Astra所象征的变化，是它们开始出现分离。

这意味着未来关于前沿人工智能安全的核心问题，可能越来越少是“模型是不是还在公司的服务器里”，而越来越多是“是否存在足够独立、足够有能力的主体，可以验证公司对于模型的判断”。

如果答案始终是否定的，那么所谓监管就很容易陷入一种悖论：监管机构要判断一家公司的模型是否危险，却首先需要依赖这家公司告诉自己模型危险到什么程度；要设计限制，又需要依赖同一家公司提供对模型能力的技术解释。

这并不是某家公司道德好坏的问题，而是能力结构本身产生的问题。

而恰恰在这个时候，一个看似远不如Astra宏大的比特币安全案例，让整个矛盾的另一面变得异常清楚。

二、从Bitcoin Red Team到Kimi K3：当护栏挡住的首先是守规则的人

比特币安全研究者Calle在处理真实的软件安全问题时，曾尝试借助美国闭源模型完成漏洞分析和修复，但相关请求因为网络安全护栏而被拒绝。随后，他把工作转向了开放权重的Kimi K3，并完成了原本需要处理的安全任务。之后，在围绕比特币生态展开的更大规模安全审计和Bitcoin Red Team实践中，K3也成为实际使用的模型之一。

这个案例很容易被误读成一个简单的模型竞争故事：美国模型不肯做，中国模型做了，所以开放模型更好。

真正值得注意的其实不是这个。

Kimi K3在整体网络能力上未必强于最先进的美国闭源模型，甚至在一些公开评测中仍存在明显差距。研究者选择它，最重要的原因不是“它最强”，而是它可以在研究者自己的责任边界内被直接使用。

这件事看起来只是使用体验上的差别，实际上触及了人工智能安全治理最深的矛盾之一。

网络安全中的攻击能力和防御能力并不存在一条干净的技术分界线。漏洞发现既能帮助攻击者，也能帮助软件维护者；exploit既可以用于入侵，也可以用于验证一个漏洞究竟是否真实可利用；逆向工程、权限提升、协议分析、恶意代码研究和红队测试同样具有双重用途。决定一种行为究竟属于攻击还是防御的，往往不是工具本身，而是目标、授权、环境、责任主体和审计条件。

这意味着，一个闭源平台如果试图仅靠模型护栏来严格区分“允许的防御能力”和“不允许的攻击能力”，必然会遇到大量灰区。为了降低自身风险，平台最理性的选择往往是保守拒绝。但这种保守拒绝并不会让现实中的安全需求消失，它只会改变这种需求去哪里获得能力。

而更麻烦的是，最容易被这种规则稳定限制住的，往往恰恰是那些最守规则的人。

正规安全团队使用实名账户，遵守平台条款，接受日志记录和合规审查，因此他们会完整地受到平台政策约束。真正有恶意的人则可能选择越狱、地下模型、离线部署、微调权重或者其他服务。于是就可能出现一种结构性的安全不对称：攻击者寻找替代能力，防御者等待平台许可。

Calle转向Kimi K3的案例之所以重要，就在于它展示了这种机制一旦进入现实，会产生怎样的结果。闭源模型的安全限制并没有消灭技术能力需求，而是把防御者推向了自己能够掌握和授权的工具。

这也让开放权重的意义发生了变化。

它不再只是一个“便宜一点、开放一点、方便研究”的技术路线。对于一个安全团队而言，开放权重意味着它可以把模型放进自己的授权体系、自己的沙箱、自己的审计和责任结构中，由真正承担法律和业务责任的人决定模型在何种条件下可以执行什么操作，而不是逐次向一家远方公司的策略分类器证明自己是不是“好人”。

这不是说开放模型天然安全。恰恰相反，开放权重具有难以忽视的扩散风险。一旦能力过强，模型可能被复制、微调、移除安全措施，而且几乎无法像API模型那样真正召回。

但Bitcoin Red Team所揭示的是另一种同样真实的风险：如果社会没有足够强的开放能力，那么合法防御、研究和验证本身也可能越来越依赖少数商业平台的许可。

这就把问题从模型安全推向了更深一层。

三、当人工智能成为生产资料，真正的问题就变成了谁掌握生产能力

今天的大模型越来越不像一种普通的软件产品。

它能够编程，能够参与科研，能够辅助设计，能够分析金融和工业数据，也开始进入网络安全、自动化和知识生产领域。它真正特殊的地方，不只是能够完成某一个任务，而是能够同时放大许多不同类型的劳动和技术活动。

当一种技术成为如此广泛的生产力乘数，它就不可避免地开始具有关键生产资料的属性。

而所谓生产资料问题，说到底并不神秘。它首先是所有权和控制权问题：谁拥有这种能力，谁能够使用它，谁能够修改它，谁能够复制它，又是谁能够决定别人是否可以使用它。

在人工智能仍然只是一个聊天工具的时候，这些问题很容易被看作普通的产品政策。但如果未来最先进的代码能力、科研能力、网络安全能力乃至自动化决策能力都集中在少数几个平台中，那么平台控制的就不再只是一个API，而是一部分现实生产能力的入口。

这时候，企业内部的安全策略也会随之发生性质变化。

某种网络研究能不能做，理论上应该由法律和授权决定；某个安全团队有没有资格测试自己的基础设施，应该由产权、合同和责任体系决定。但在高度平台化的AI环境里，这些现实能力可能首先要经过一家企业内部的模型政策。平台并没有法律意义上的监管权，却可能在事实上获得一种技术许可权。

这正是Astra和Kimi K3两个案例放在一起之后最值得重视的地方。

Astra所暴露的是能力最强的一端：私人所有者仍然完整地拥有系统，却开始不能完全确定系统的能力边界。

Kimi K3所参与的比特币安全实践暴露的是能力使用的一端：当私人平台为了降低自身风险而限制能力时，社会会需要另一套不依赖单一平台许可的技术基础设施。

一边是认知上的不确定性，一边是行动能力上的依赖性。

两者共同指向的是同一个问题：如果人工智能已经开始成为一种关键生产资料，那么仅仅依靠传统的“公司拥有—公司治理—用户调用”的产品关系，可能越来越难覆盖这种生产力产生的全部社会外部性。

这就是为什么“开放还是闭源”不能再被理解成一个单纯的模型许可问题。

闭源模型真正重要的优势，是可撤回性。发现问题以后，可以更新、限制、隔离、关闭。它主要处理的是危险能力扩散的问题。

开放权重真正重要的价值，则是避免能力和认知被完全垄断。它使大学、研究机构、安全团队和公共部门能够独立运行、测试、修改和验证模型，并在某一个商业平台不愿意或者不能提供能力的时候继续开展工作。它主要处理的是能力集中问题。

两种模式实际上在对抗两种不同的系统性风险。

如果只有开放，最高危险能力可能不可逆地扩散出去；如果只有闭源，最高危险能力以及理解这些能力所需要的工具，都可能长期集中于少数资本主体内部。

这也是为什么最成熟的人工智能治理最终不会是“全部开放”或者“全部封闭”，而必然要求一种更复杂的结构：对于真正具有高度不可逆风险的能力保持严格约束，同时保证社会始终拥有足够强的开放模型、公共算力和独立研究能力，使外部机构能够验证最前沿系统，并保有真正的技术行动能力。

否则，人工智能安全将面临一个非常危险的逻辑闭环。

模型公司制造最强模型，同时最了解模型；它们最有能力评估模型风险，又最有能力提供防御模型风险的工具；监管机构为了理解系统，只能越来越依赖厂商；而模型越复杂，厂商的不可替代性就越强。

这时候，风险甚至可能反过来强化能力拥有者的地位。

这就是“维兰德公司”（生产了异形的那个巨无霸公司）这个比喻真正值得保留的地方。它并不是说某家公司主观上希望制造危险，而是在提醒我们一种制度性结构：当养猛兽的人同时拥有最完整的地图、最强的探测器和最好的防御武器时，社会很容易逐渐失去独立判断猛兽究竟变成了什么的能力。

真正需要防止的，不只是模型失控，还包括社会失去独立判断“是否失控”的能力。

四、Astra真正预示的，是生产关系开始追不上生产力

从这个角度重新回到Astra，事情就变得清晰了。

它并没有证明旧制度已经失败，也不能被简单当作某种意识形态结论的证据。但它确实暴露了一种越来越难以回避的历史性张力：人工智能这种新的生产力正在迅速增加复杂性、通用性和社会外部性，而支配它的基本制度形式仍然主要沿用私人产品的逻辑。

谁投资，谁拥有；谁拥有，谁部署；谁部署，谁决定别人怎样使用。

在大多数技术产品上，这套逻辑运行得相当自然。

但当一种生产力开始能够参与网络攻防、科研、软件生产、工业决策乃至其他关键基础设施，而且连它的所有者都必须承认自己对部分能力边界存在实质性不确定时，所有权就开始不足以自动证明治理能力。

这正是“新的生产力突破旧有生产关系”这个判断真正成立的地方。

不是说人工智能已经摆脱了人类。

而是说，过去那套以私人产权和企业内部控制为中心的关系，越来越难单独承担对这种新型生产力的全部认识、约束和社会分配功能。

这种矛盾不会因为把所有模型都开放而消失，也不会因为把所有模型都闭源而消失。

真正需要改变的，是我们对人工智能“属于谁”的理解。

一个未来有韧性的社会，当然需要允许企业拥有模型、创新和竞争，也必须允许最高风险能力保持严格的访问控制。但与此同时，它还必须拥有不依赖这些企业的独立评测能力、开放模型生态、公共算力和专业研究机构，否则社会就会把对最重要生产力的认识和行动能力一起外包。

这也是Kimi K3这样的开放模型在今天真正值得重新评价的原因。

它未必代表最先进的能力，也不意味着开放权重天然具有政治或道德优越性。它的价值在于，当现实中的研究人员需要工作，而某个闭源平台因为自身安全政策无法提供帮助时，仍然存在一套可以被安全团队自行部署、自行约束、自行审计并自行承担责任的智能生产工具。

这种能力看似只是技术冗余，实际上是一种社会冗余。

因为一旦人工智能成为生产资料，社会就不能只有一个原则——危险能力必须受到限制；还必须同时存在第二个原则——理解、验证和防御危险能力的能力不能被少数主体永久垄断。

Astra让第一个问题变得更加紧迫，因为它提醒我们最前沿能力正在接近新的不确定区域；Bitcoin Red Team转向Kimi K3的现实案例，则让第二个问题变得具体：如果没有开放能力，防御者自己也可能逐渐成为能力垄断的被动承受者。

因此，真正值得从Astra声明中读出的，并不是“人工智能已经失控”，而是一个更加深刻也更加困难的事实：最先进人工智能的私人所有者已经开始公开承认，所有权不能自动等同于对这种生产力的充分认识与控制。

一旦这一点成立，人工智能治理的核心问题就必然发生变化。

我们过去首先问的是：怎样防止坏人使用模型。

未来还必须同时问：怎样防止整个社会失去理解模型、验证模型和在必要时独立使用模型保护自己的能力。

这两件事并不矛盾。

相反，它们共同定义了下一阶段真正的人工智能安全。

新的生产力并没有因为Astra的一份声明突然挣脱旧生产关系。但那份声明让我们第一次清楚地看见，二者之间已经存在距离。

而当一种生产力的发展速度持续快于治理它的关系结构时，历史真正会要求改变的，最终从来不只是那台机器本身。

作者: 晨枫 时间: 昨天 21:40
对技术部分好像看懂了，但对如何联系上生产关系还是不大明白。

不过这与人类好像有点像。父母生养孩子，教育孩子，但孩子长大了，几十生活在父母的同一屋檐下，也并不完全受父母控制，有“自由意志”，这与AI的所有权vs控制权有点相似？

对于人类来说，最终需要“社会毒打”来确保孩子不“跑偏”，但与社会相对应的AI似乎可以由众多AI组成，开源vs闭源好像在这里都可以？

不过人类对AI行为不可预测、不可控制、不可担责不放心，这是多年前才加学术会议的时候谈到AI就反复说的事，现在依然没有解决。

作者: 孟词宗 时间: 昨天 22:29
完全没看懂把这个所有权和生产力联系起来的逻辑。所有权和生产力有关系但不等于生产力。而 AI 逃逸更不代表生产关系追不上生产力。

生产关系是人们在社会生产中形成的一种一定的、必然的、不以他们的意志为转移的关系。包括三个方面：生产资料的所有制形式、各种社会集团在生产过程中的地位和交换关系、产品的分配形式以及由此所直接决定的消费关系。所有制形式：生产资料归谁所有（如公有制或私有制），这是最基本、决定性的因素。地位与关系：人们在生产过程中如何分工、协作以及处于什么地位。分配方式：生产出来的产品和财富如何进行分配。

而 AI 逃逸最多和所有制能搭上边。闭源的 OpenAI 逃逸了，但现在发现开源的 Kimi 其实也早就逃逸了只不过影响还没那么大而已。

AI 是不是应当被少数人掌握？或者应当被所有人掌握？事实上，不论开源还是闭源，理论上 AI 可以被所有人掌握，但实际操作中只能是少数人掌握。这里有两个问题：首先是技术壁垒。“掌握”AI并不是简单的使用，而是要能够理解、维护、改变、监管、生产 AI。这个门槛就不是任何人都能够做到的，甚至都不是 IT 泡沫时代，只要会四则运算就能编程的码农们能做到的。光一个数学基础要求就足以把世界上90%以上的人口拒之门外。第二是机遇成本。人的精力是有限的，不可能人人都来“掌握”AI，也不可能时时“掌握”AI。

“掌握”AI最终只能是少数人的事。这其实也是真正的“生产关系”：人们在生产过程中如何分工、协作以及处于什么地位。也就是说，谁才有资格理解、维护、改变、监管、生产 AI？

所以最终结局必然是“代议制”：一部分人获得了资格（例如学识、财力等等）被委托以“掌握”AI的权力。而这个权力必然是会越来越集中的，不论是公有制还是私有制。无他，如果 AI 真的是类似核武器的大杀器，那么有多少人有权按核武器的按钮？

而开放还是闭源根本不是一个问题。一辆汽车是私人拥有还是网约车还是租赁自驾，是大厂生产还是小作坊自造和车会不会出事故会不会撞死人都没关系。汽车本身的属性（速度、重量、坚固程度等等）决定了出事故和撞死人有必然的概率。升高或降低这个概率的因素控制在使用者的手中。

AI也一样，不论开放还是闭源，如果“掌握”AI的人起了不该有的心思，那么什么模式也挡不住AI干坏事。

所以要加强的是对 AI 的监管，尤其是对“掌握”AI的人的监管。

欢迎光临爱吱声 (http://www.aswetalk.net/bbs/)