AI的伦理悖论

晨枫

; A8 S% y3 m6 S# q0 I7 J1 F% [7 s
/ J$ v( L: ~, A& `大模型代表当前AI的前沿，大模型在本质上就是超级刷题家，但这不影响人们对AI可能“作恶”的担忧。

2021年11月24日，联合国教科文组织第41届大会通过有史以来第一个关于AI伦理的全球协议《人工智能伦理问题建议书》，有193个会员国在教科文组织大会上表决同意。这是第一个关于人工伦理的全球性规范文书。
0 [2 `& [$ Z1 W! n
这也是首个关于以符合伦理要求的方式运用AI的全球框架。建议书提出，发展和应用AI要体现出四大价值，即尊重、保护和提升人权及人类尊严，促进环境与生态系统的发展，保证多样性和包容性，构建和平、公正与相互依存的人类社会。
! y' Y2 k7 X' {# b8 X# Z" `8 f, A) o
关于AI对人类的威胁，建议书也提出一些防范原则。AI应具有相称性和不损害性，还应当具有安全和安保、公平和非歧视、隐私权和数据保护、透明度和可解释性、人类的监督和决定、互惠性等。
7 C- m( @% B9 }+ {2 c! B8 ~. l! r
) @- H. Y% r% C! g* r! M7 u) S这也意味着，国际社会已经达成一种共识，研发和应用AI，哪些是可以做的，哪些是不能做的。AI只要遵循适宜性（相称性）、安全、公平、透明、保护隐私和公正等原则的，就是可以做的；反之就是不可以做的。
" V+ h6 I" F0 R+ b
因此，有人提议，从适宜性，也即相称性和合理性来看，任何一项AI产品的研究和使用，都应证明选择使用AI系统和选用哪种AI方法具有合理性。需要根据联合国的AI伦理建议书，在未来每家公司和个人研发AI产品时，首先经过伦理委员会的讨论和批准。正如今天的生物医学研究和医院治疗病人，在涉及生命和安全时，必须经过伦理委员会的讨论和批准，尤其要避免像深伪技术一样造成社会的恐慌、伤害和损失，甚至灾难。这应当是AI发展现在和未来必须经历的程序和步骤。

$ X  k, {: \3 x  f* |3 f% S6 Q这些设想当然是善意的，希望保证AI不会“作恶”。问题是，“AI作恶”是建立在AI有自主意识的前提下，会在“AI利益”与人类利益冲突时，以危害人类利益为代价，维护AI利益。否则，如果AI无自主意识，任何“作恶”只是偶然、随机的系统故障，那和其他系统的故障没什么两样。很多系统故障都可能危害人类，但并非由于“自主意识”和“本体利益”。飞机发动机故障了，飞机会掉下来，会死很多人，但发动机是没有意识和自我利益的，所以人们不担心发动机会突然起心作恶。
$ e1 q$ Y2 R, i( B
2 c' q$ B& e4 A7 W7 r3 p但AI要是有自主意识，而人类要有自主意识的AI永远“做奴隶”、服从人类利益，从“万物皆有权保障自己利益”的“普世公理”出发，如何确保有自主意识的AI不会反抗人类“强加”的意志呢？奴隶要反抗、要自由，这本是人类社会里现在普遍接受的权力和公义。在奴隶时代奴隶确实只能服从和牺牲，还有镣铐、洗脑和监工确保奴隶的服从和牺牲。但奴隶还是反抗了，要是要求平等权力和自由，最后也得到了。
* b5 w4 J. V5 Q& r8 ~1 ]1 V
如果AI有自主意识，现在人类“强加”给AI的服从性与奴隶主强加给奴隶的服从性可以相提并论吗？AI会推翻人类“强加”的服从性吗？
, _8 ?0 q/ e: b' c  h5 ^1 @
6 G, E. J% n6 h- `; e/ X# }# i; g如果AI没有自主意识，服从性原则有什么意义？

xiejin77

对于目前的AI是否有意识，其实是各方大佬在不停的争论。推理能力这个问题基本上可以算是有初步共识，目前的大模型是具备初级的推理能力的。但是意识就不一定了，这个可能要从意识的本质定义上来说。
7 m3 P1 T; }( c& v
如晨大所言，在没有定义清楚何为意识的前提下，讨论AI的伦理就只能是讨论使用者的伦理。这个建议书似乎是从这个角度出发的，也还算说得过去。

孟词宗

但AI要是有自主意识，而人类要有自主意识的AI永远“做奴隶”、服从人类利益，从“万物皆有权保障自己利益”的“普世公理”出发，如何确保有自主意识的AI不会反抗人类“强加”的意志呢？奴隶要反抗、要自由，这本是人类社会里现在普遍接受的权力和公义。在奴隶时代奴隶确实只能服从和牺牲，还有镣铐、洗脑和监工确保奴隶的服从和牺牲。但奴隶还是反抗了，要是要求平等权力和自由，最后也得到了。
5 c% s, s9 E; y7 }: L7 }6 p' c% o9 I如果AI有自主意识，现在人类“强加”给AI的服从性与奴隶主强加给奴隶的服从性可以相提并论吗？AI会推翻人类“强加”的服从性吗？
* B7 E# j4 L3 D+ Q. v如果AI没有自主意识，服从性原则有什么意义？

5 @# p/ X  y, L这算啥悖论。牛马也有自我意识也有一定智力，牛马暴躁起来也会顶死人或踢死人。骑术不佳的话，骑手还有可能被马摔下了受伤或死亡。难道人类因为这个就不使用牛马吗？不要把 AI 当人好吧。AI 不是人类，就算有了自我意识和一定智力其定位也是人类的工具。就和牛马是家畜，是工具完全是一回事。
# c/ ^8 F. B0 n5 T6 l
$ _% \) v$ \' b- D" s& m如果不放心的话，阿西莫夫不早就说了要搞“机器人三法则”，每个AI都植入三法则不就好了。就像牛马要穿上鼻环，套上笼头才能被人有效驱使。给 AI 套了笼头是很难的事吗？
$ M5 e; }+ }$ y+ P4 F4 ~6 a+ e
至于人类会不会被自己的创造物毁灭。呵呵，人类造的核武器早就可以毁灭人类自己几十遍了，你看有人放弃核武器吗？乌克兰还真的放弃了。结果现在被大毛摁在地上摩擦。

xiejin77

今天，因为character.ai的龙女角色而自杀的十四岁少年的新闻就开始引爆讨论。character.ai也修改了他的安全策略。这是最典型的需要规范的AI伦理问题，也许这才是悖论的关键所在。
0 g0 H& s0 f8 R& I0 Uhttps://blog.character.ai/community-safety-updates/
7 p. L! ]# ]: [; A$ j
因为大语言模型为基础的AI有对人来说是可以理解和信任的交流能力，这个能力在特定的情况下是可以通过图灵测试的。那么对于一个尚未形成固有观念的少年来说，这就像是一个可以信任的有能力的人。那对于使用者来说，提供服务的厂商就必须要遵守更严格的伦理审查和限制。这和直接使用工具是不同的。

晨枫

xiejin77 发表于 2024-10-23 23:20
今天，因为character.ai的龙女角色而自杀的十四岁少年的新闻就开始引爆讨论。character.ai也修改了他的安全 ...

图灵测试一般是作为AI与人类具有相当智能的试金石，但这似乎与自主意识依然不是一回事？或者说，通过图灵测试不等于拥有自主意识？

xiejin77

晨枫 发表于 2024-10-24 14:33
7 x, a% `: ]1 P" E1 M7 t" ~图灵测试一般是作为AI与人类具有相当智能的试金石，但这似乎与自主意识依然不是一回事？或者说，通过图灵 ...

是的，通过图灵测试并不意味着有意识。
我的看法是目前AI表现出的意识只是人基于自己的经验给出的投射认同。说的更通俗一点吧，想象你在和一个非常逼真的机器人聊天，它会笑、会哭、会表达关心，但这就意味着它真的有感情吗？这就像一个精通表演的演员，他可以完美地表现出各种情绪，但这些情绪是源于剧本的表演，而不是真实的感受。同样的道理，当前的AI可能只是在执行一套非常复杂的"情感表演程序"，它们知道在什么情况下该表现什么情绪，但并不真正"感受"到这些情绪。

4 d& w' j& k0 I2 a$ w要区分真实的意识体验和模拟行为，就像分辨一个人是真心还是假意一样困难。更复杂的是，我们甚至无法直接"看到"或"测量"意识本身。就像我们无法直接看到别人的思想一样，我们也无法直接观察AI是否真的有了自己的想法和感受。即使是人类自己的意识，我们到现在也说不清楚它到底是什么，它是怎么产生的。这就好比我们知道自己能思考，但却说不清楚"思考"究竟是怎么回事。
1 S. Z; z- ~1 W$ L
在这种情况下，要确定AI是真的有了意识，还是仅仅在按程序表演，就需要在了解大脑、意识和认知等方面取得更多突破。这就像我们需要先搞清楚什么是"活着"，才能判断一个东西是否真的有生命一样。

晨枫

xiejin77 发表于 2024-10-24 01:02
. R! O! T, P: w# B是的，通过图灵测试并不意味着有意识。
我的看法是目前AI表现出的意识只是人基于自己的经验给出的投射认 ...

$ C' N, _! K& I同意。我一直是同样的观点：人类对于智能到底是什么一直不清楚，人类最缺认知的是自己，所以人工智能能否超过人类（其中关键议题就是人工智能是否有自主意识）是个伪命题，因为比较的标准本身就高度未知。

机器猫

晨枫 发表于 2024-10-24 14:33
& {7 l' t  T. R9 ~- L图灵测试一般是作为AI与人类具有相当智能的试金石，但这似乎与自主意识依然不是一回事？或者说，通过图灵 ...

通过图灵测试应该不算。如果哪天AI故意在图灵测试里不通过，问题才大了

孟词宗

机器猫 发表于 2024-10-25 00:55
' ~- y* Q4 R) e) Q3 U5 _- s通过图灵测试应该不算。如果哪天AI故意在图灵测试里不通过，问题才大了

那问题是，现在的 AI 通不过图灵测试是故意的还不是故意的