AI的伦理悖论

晨枫

大模型代表当前AI的前沿，大模型在本质上就是超级刷题家，但这不影响人们对AI可能“作恶”的担忧。

$ w' N. W+ R* n1 ?6 O; q& p; p6 U2021年11月24日，联合国教科文组织第41届大会通过有史以来第一个关于AI伦理的全球协议《人工智能伦理问题建议书》，有193个会员国在教科文组织大会上表决同意。这是第一个关于人工伦理的全球性规范文书。

这也是首个关于以符合伦理要求的方式运用AI的全球框架。建议书提出，发展和应用AI要体现出四大价值，即尊重、保护和提升人权及人类尊严，促进环境与生态系统的发展，保证多样性和包容性，构建和平、公正与相互依存的人类社会。

1 K" w& N4 O/ h! w& K关于AI对人类的威胁，建议书也提出一些防范原则。AI应具有相称性和不损害性，还应当具有安全和安保、公平和非歧视、隐私权和数据保护、透明度和可解释性、人类的监督和决定、互惠性等。
# O3 K8 q6 B& O* ]0 G+ X' R3 P
4 ]" J# ~1 `  H& S' X9 o! P这也意味着，国际社会已经达成一种共识，研发和应用AI，哪些是可以做的，哪些是不能做的。AI只要遵循适宜性（相称性）、安全、公平、透明、保护隐私和公正等原则的，就是可以做的；反之就是不可以做的。
: W2 |6 k/ a" D* V9 e$ }
因此，有人提议，从适宜性，也即相称性和合理性来看，任何一项AI产品的研究和使用，都应证明选择使用AI系统和选用哪种AI方法具有合理性。需要根据联合国的AI伦理建议书，在未来每家公司和个人研发AI产品时，首先经过伦理委员会的讨论和批准。正如今天的生物医学研究和医院治疗病人，在涉及生命和安全时，必须经过伦理委员会的讨论和批准，尤其要避免像深伪技术一样造成社会的恐慌、伤害和损失，甚至灾难。这应当是AI发展现在和未来必须经历的程序和步骤。
# F- Y/ k: x) [# V1 d8 V
! s! {1 L! [# y9 u这些设想当然是善意的，希望保证AI不会“作恶”。问题是，“AI作恶”是建立在AI有自主意识的前提下，会在“AI利益”与人类利益冲突时，以危害人类利益为代价，维护AI利益。否则，如果AI无自主意识，任何“作恶”只是偶然、随机的系统故障，那和其他系统的故障没什么两样。很多系统故障都可能危害人类，但并非由于“自主意识”和“本体利益”。飞机发动机故障了，飞机会掉下来，会死很多人，但发动机是没有意识和自我利益的，所以人们不担心发动机会突然起心作恶。
( z- m$ [" L5 T
但AI要是有自主意识，而人类要有自主意识的AI永远“做奴隶”、服从人类利益，从“万物皆有权保障自己利益”的“普世公理”出发，如何确保有自主意识的AI不会反抗人类“强加”的意志呢？奴隶要反抗、要自由，这本是人类社会里现在普遍接受的权力和公义。在奴隶时代奴隶确实只能服从和牺牲，还有镣铐、洗脑和监工确保奴隶的服从和牺牲。但奴隶还是反抗了，要是要求平等权力和自由，最后也得到了。
+ V" @8 m( m4 D
如果AI有自主意识，现在人类“强加”给AI的服从性与奴隶主强加给奴隶的服从性可以相提并论吗？AI会推翻人类“强加”的服从性吗？

- |$ \$ y+ X4 S7 j) l如果AI没有自主意识，服从性原则有什么意义？

xiejin77

对于目前的AI是否有意识，其实是各方大佬在不停的争论。推理能力这个问题基本上可以算是有初步共识，目前的大模型是具备初级的推理能力的。但是意识就不一定了，这个可能要从意识的本质定义上来说。

如晨大所言，在没有定义清楚何为意识的前提下，讨论AI的伦理就只能是讨论使用者的伦理。这个建议书似乎是从这个角度出发的，也还算说得过去。

孟词宗

但AI要是有自主意识，而人类要有自主意识的AI永远“做奴隶”、服从人类利益，从“万物皆有权保障自己利益”的“普世公理”出发，如何确保有自主意识的AI不会反抗人类“强加”的意志呢？奴隶要反抗、要自由，这本是人类社会里现在普遍接受的权力和公义。在奴隶时代奴隶确实只能服从和牺牲，还有镣铐、洗脑和监工确保奴隶的服从和牺牲。但奴隶还是反抗了，要是要求平等权力和自由，最后也得到了。
+ L! S, N: F( C: f% f' {如果AI有自主意识，现在人类“强加”给AI的服从性与奴隶主强加给奴隶的服从性可以相提并论吗？AI会推翻人类“强加”的服从性吗？
9 s2 f0 _+ Z, T. w& C如果AI没有自主意识，服从性原则有什么意义？

! y  I- H4 U5 @3 l% f
  H, x( j# @8 x1 ^6 x这算啥悖论。牛马也有自我意识也有一定智力，牛马暴躁起来也会顶死人或踢死人。骑术不佳的话，骑手还有可能被马摔下了受伤或死亡。难道人类因为这个就不使用牛马吗？不要把 AI 当人好吧。AI 不是人类，就算有了自我意识和一定智力其定位也是人类的工具。就和牛马是家畜，是工具完全是一回事。

' x* ~+ r+ }& p. i如果不放心的话，阿西莫夫不早就说了要搞“机器人三法则”，每个AI都植入三法则不就好了。就像牛马要穿上鼻环，套上笼头才能被人有效驱使。给 AI 套了笼头是很难的事吗？
6 H7 \8 R) t0 r' A# y; V5 o
至于人类会不会被自己的创造物毁灭。呵呵，人类造的核武器早就可以毁灭人类自己几十遍了，你看有人放弃核武器吗？乌克兰还真的放弃了。结果现在被大毛摁在地上摩擦。

xiejin77

今天，因为character.ai的龙女角色而自杀的十四岁少年的新闻就开始引爆讨论。character.ai也修改了他的安全策略。这是最典型的需要规范的AI伦理问题，也许这才是悖论的关键所在。
  |+ c! @% W. O, v) ohttps://blog.character.ai/community-safety-updates/

1 q8 _5 O5 w* f: k3 l因为大语言模型为基础的AI有对人来说是可以理解和信任的交流能力，这个能力在特定的情况下是可以通过图灵测试的。那么对于一个尚未形成固有观念的少年来说，这就像是一个可以信任的有能力的人。那对于使用者来说，提供服务的厂商就必须要遵守更严格的伦理审查和限制。这和直接使用工具是不同的。

晨枫

xiejin77 发表于 2024-10-23 23:20
3 L, V5 m9 S1 X/ Z+ G+ z% _今天，因为character.ai的龙女角色而自杀的十四岁少年的新闻就开始引爆讨论。character.ai也修改了他的安全 ...

' G7 H3 P+ r' B& l# |0 P2 T图灵测试一般是作为AI与人类具有相当智能的试金石，但这似乎与自主意识依然不是一回事？或者说，通过图灵测试不等于拥有自主意识？

xiejin77

晨枫 发表于 2024-10-24 14:33
图灵测试一般是作为AI与人类具有相当智能的试金石，但这似乎与自主意识依然不是一回事？或者说，通过图灵 ...

* [# g/ A1 T* V/ |是的，通过图灵测试并不意味着有意识。
我的看法是目前AI表现出的意识只是人基于自己的经验给出的投射认同。说的更通俗一点吧，想象你在和一个非常逼真的机器人聊天，它会笑、会哭、会表达关心，但这就意味着它真的有感情吗？这就像一个精通表演的演员，他可以完美地表现出各种情绪，但这些情绪是源于剧本的表演，而不是真实的感受。同样的道理，当前的AI可能只是在执行一套非常复杂的"情感表演程序"，它们知道在什么情况下该表现什么情绪，但并不真正"感受"到这些情绪。
$ K+ `" _3 X; n7 L! E
: I. M; {# h  U$ G2 Z$ P+ x$ v: a要区分真实的意识体验和模拟行为，就像分辨一个人是真心还是假意一样困难。更复杂的是，我们甚至无法直接"看到"或"测量"意识本身。就像我们无法直接看到别人的思想一样，我们也无法直接观察AI是否真的有了自己的想法和感受。即使是人类自己的意识，我们到现在也说不清楚它到底是什么，它是怎么产生的。这就好比我们知道自己能思考，但却说不清楚"思考"究竟是怎么回事。
) g4 S% }# R1 B# {3 U$ s2 B
在这种情况下，要确定AI是真的有了意识，还是仅仅在按程序表演，就需要在了解大脑、意识和认知等方面取得更多突破。这就像我们需要先搞清楚什么是"活着"，才能判断一个东西是否真的有生命一样。

晨枫

xiejin77 发表于 2024-10-24 01:02
是的，通过图灵测试并不意味着有意识。
我的看法是目前AI表现出的意识只是人基于自己的经验给出的投射认 ...

3 g% O6 I0 @0 ~- c' N+ `同意。我一直是同样的观点：人类对于智能到底是什么一直不清楚，人类最缺认知的是自己，所以人工智能能否超过人类（其中关键议题就是人工智能是否有自主意识）是个伪命题，因为比较的标准本身就高度未知。

机器猫

晨枫 发表于 2024-10-24 14:33
0 U( c+ m- U4 I" u/ _. \- }& V- o图灵测试一般是作为AI与人类具有相当智能的试金石，但这似乎与自主意识依然不是一回事？或者说，通过图灵 ...

) d% H/ B" Q% G# S9 W通过图灵测试应该不算。如果哪天AI故意在图灵测试里不通过，问题才大了

孟词宗

机器猫 发表于 2024-10-25 00:55
通过图灵测试应该不算。如果哪天AI故意在图灵测试里不通过，问题才大了

那问题是，现在的 AI 通不过图灵测试是故意的还不是故意的