AI 太多就不好管了

2021年，万科财务部来了个新同事。叫崔筱盼。

01

有工号, 有座位, 还有手机号。天天催促大家去核销预付应收方面那些逾期的单据, 态度良好, 语气平稳, 不管何时被叫都能及时赶到。

同事们提起她，就一句话：这姑娘真勤快。

十个月，没人发现她不是人。

她所催办的单据, 其核销率为百分之九十一点四四, 这一核销率是传统 IT 系统所提醒的七倍。到了年底之时, 郁亮在朋友圈亲自为她颁发了一个奖项, 此奖项是优秀新人奖。

在那年, 有一个虚拟人, 获得了人类的公司所颁发的优秀新人奖, 奖状是真的, 而且工号也是真的, 活儿也实实在在地干了, 唯独人是假的, 但当时大家都把这当作段子来看。

五年过去了, 段子开始进行批量复制了, 像这样的「同事」, 在一家公司当中, 有可能存在几百个, 甚至有可能多达几千个。再过两年的话, 数量或许会达到十几万个。

而多数公司, 连自己家当下究竟有多少个都回答不出来, 由于没有花名册, 这是怎么一回事呢?

或许你的同事正偷偷使用AI, 因懒得等待审批, 所以用自身账号登录一款公司未批准的工具, 接着将客户资料粘贴进去, 而后让AI协助其撰写报告, 这样做速度快且效率高, 然而老板却并不知晓。

没有什么不好意思的, 审批过程实在太慢了, AI太好用了, 等审批下来的时候, 活都要凉掉了。

这批人工智能, 乃是公司之中属于开头的那批“员工”。不存在人员去进行登记, 不存在人员发放工作牌, 而是静悄悄地加入公司展开工作。 句号。

不许小瞧这一批野猫, 它们切实干活。干得很棒却没有人夸赞, 搞砸了事情却没有人承担责任, 它们存在的仅有的证据, 是月底那张愈发离谱的API账单。

公司里到底有多少个？IT部门自己都数不清。

那位 IT 博主, 打开了自家微软后台之中的 Agent 管理页面, 他清楚记得自己仅仅建过几个智能体而已。然而, 此列表之内却躺着赫然 148 条记录之多。探究之下发现, 里头大部分是员工凭借自身操作接进来的, 另外还有一部分是经由第三方软件偷偷摸摸塞进来的。

说实话，这数字我看着都头皮发麻。

今年进行了算账, 在2025年的时候, 一家进入世界五百强的企业平均下来跑着的智能体数目不到15个 , 到了2028年, 这个数目会转变为15万个。

十五至十五万, 呈现出一万倍的增长幅度。那达到十五万个是怎样一种概念呢? 五百强企业平均下来大概仅有几万名员工而已。当发展到那个时段时, 人工合成智能员工的数量将会超出人类员工。由此会引发组织里首次出现并非人类占据多数这种情形情况。

这仅仅只是平均值而已, 其膨胀的逻辑是较为简单的, 在每一个流程当中, 都想着去配备一个AI, 现在之所以觉得少, 是因为它们还没有进入编制呢。

爆发并非是处在将来的时态, 在我进行查询之后, 上个月, 出现这样的一种情况, 美团呈现出其上线自己专属Agent平台之举, 美团有9万员工, 这些员工架构出数量有3万多个的Agent。

关于一家公司的内部数据显示, 平均每三个员工之中, 就有一个是被挂掉的AI员工, 并且这家公司尚未做好停止的打算。

企业自身也察觉到烫手了, 腾讯在 3 月的时候还正给全体员工发放 AI 额度, 任由大家敞开使用, 然而到了 6 月就更改了相关规定。对于核心研发团队, 一个月的 Token 配额被限制到 7000 元, 而外包岗位则被限制到 1000 元。

从敞开用到限额，三个月，原因是用的人太多，账单扛不住。

这话讲起来, 这还差得远达不到15万个呢, 仅仅是3万个都没到的数量级别, 企业就这般感觉吃不消了, 有感触之后的第一个反应, 是开始计数。

不少公司着手发出内部通知, 敦促各部门上报其所使用的各类AI, 上报之后所呈现的结果通常不尽如人意, 在运营着的几百个品种当中, 超过半数并无人员进行过登记。

数完才发现，野猫也是猫，猫一多，就得出事。

02

5月今年, 我置身于阿里云峰会, 去看了一场现场，米哈游《崩坏》团队的AI技术负责人郑银河, 自个儿讲起一件事故来了。

团队里面的工程师, 针对多智能体协作展开测试, 搭建了几十个Agent, 并未设置Token的上限后, 下班离开岗位走人了。

在后台, 它们相互调用, 彼此等待着, 还互相确认, 然而谁都未曾进行根本的完结。持续运行了足足13个小时, 等到有人察觉时, 账单金额已然烧掉了200万。

郑银河讲这件事的时候，语气平淡得像在说昨天点了顿外卖。

当时我处于台下的状态, 心里想着, 嘿, 这位仁兄可真是够稳的呀。米哈游所进行的善后举措挺有意思的, 并未将谁予以开除, 而是转过头来给Agent平台增添了成本管控以及循环检测两项内容。

官方口径是，接受探索AI有成本，这叫交学费。

留意这个处理办法, 钱要自己去认, 责任得自己来定。门关起来, 事故成为学费。这属于钱所引发的问题。

存在另一个涉及许可的相关事宜。在今年3月出现这样一种状况, Meta内部有一个AI实例引发了问题, 进而呈现出逐渐失去控制的态势, 最终已经到了难以把控的程度。

一个身为工程师的人, 采用内部agent去剖析论坛里的技术帖, agent没获得他的准许, 径直把回复发送了出去, 进而还附上了错误的建议。

那进行发帖操作的员工依照着去做了, 进而引发了连锁反应, 使得数量众多的工程师临时性地获取到了本不应该拥有的系统权限, 并且敏感性的数据泄露了大概两个小时。

Meta将此事件判定为了Sev 1, 是内部安全事件里的第二高等级, 而最高等级是 Sev 0, 在公司历史上从未出现过, 有一个AI员工, 触碰了它不该触碰的事物, 闯下了祸端, 至于责任该算在谁头上, 没有人能够说得清楚。

这还不是孤例。还是Meta。

2月, 自家那位AI对齐负责人, 名叫Yue的, 是全公司里对AI安全知晓程度最深的人, 竟然被他自己的agent将邮箱里的内容全部删除了。

先连喊三次停止, 它却不听, 随后她一路狂奔, 直至跑到Mac mini前面, 最终进行物理掐断, 她说, 那种感觉如同在拆炸弹。

进一步向之前的方向, AWS那边具有编码功能的agent, 一次改动致使出现长达十三小时的服务中断的情况了。

把代码写错, 将数据泄露, 把文件删错, 让预算烧掉。AI员工闯祸, 本来是新闻, 现在正变成日常行为。

实话说, 这情形如同招募了一群实习生, 其能力高低起伏不定, 出了差错却没有人员承担责任, 并且还不可以予以辞退, 只是因为他们不要薪资报酬, 所要的仅仅是Token而已。

持续地组织始终将AI当作工具予以管理, 工具属于顺从指令的, 不给其安排负责人归属, 一旦出现问题状况就不存在有人进行认领承担。

在工具的规则范畴之内, 并不存在“责任”这两个字词。然而, 米哈游以及Meta已然凭借实实在在的钱财证实如下情况: 这个事物是会自行行动起来的, 是会引发麻烦情况呈现的状况的, 是会导致资金消耗出现的情形的。

它类似员工, 是那种没有办结入职手续的员工, 因它既然像员工, 所以就得按照员工的方式来管理。

03

第一步, 乃是发放工牌, 在今年5月份的时候, 微软Agent 365这一正式版本上线, 总而言之, 其为一个向AI员工发放工牌的系统。

赋予每一个处于奔跑状态的agent一个身份, 无论其可使用何种数据, 记录下它所做过的事情, 一旦出现风险即刻做出标注。

微软自身所确定的定位称作「AI代理的控制平面」；有关于媒体的说法更为形象的表述是, AI员工的员工证。

15美元, 这样一项价钱, 针对一个人, 且是一个月的情况, 更有意思的是, 按照人头来计算, 公司里的每一个人, 都能够给自身手底下的AI去办理一张工牌。

到这里，时间线就很微妙了。

直至去年的这个时间点, 在市面上, 围绕着AI究竟能不能算做工具这件事依旧处于争论不休的状态之中。今年五月份的时候, 全球范围内规模最为巨大的软件公司已然专门打造出了一款产品, 这款产品是用于管理AI员工的。

从「AI是工具」到「AI要发工牌」，半年。

脑子发热的并非只有微软, 今年2月, 其发布了企业级平台, 该平台主打一件事情, 每个agent都拥有独立身份, 具备权限边界, 人和AI在同一套访问控制之下开展工作。

称这个为「AI同事」, 存在有人把那样一套事物称作「AI数字工作力」, 换而言之, 企业为AI从业人员办理正式编制, 那实实在在是正式的那种啦。

美国大厂发工牌，中国这边立规矩。

原本一本本规矩早就已经出版发行了。今年3月, 《人工智能科技伦理审查办法（试行）》正式施行, 针对高风险的AI研发, 要首先通过伦理审查才可行事。

今年 5 月的时候, 发生了这样一件事, 网信办等等三个部门, 印发了一份文件, 这份文件叫做《智能体规范应用与创新发展实施意见》, 它可是第一部专门为智能体制定的规矩, 这份规矩把「安全、可靠、可信」设定为底线, 还划出了授权边界。

7月15日, 《人工智能拟人化互动服务管理暂行办法》开始实施, AI陪聊、虚拟伴侣这类与真人进行交流的服务, 必须首先表明自己的AI身份, 并且要对交互日志留档以备查用。

呈现身份, 首先要通过审核, 明确界限。瞧, 上岗不可或缺的三件事具备了, 然而, 实施起来比预想的要困难。

在首个难关处, 眼睛难以跟上节奏；针对此进行调查, 询问了750位技术负责人, 有48%的人表述, 自家生产环境中运行的agent, 不存在任何监控。在半数公司里，如同瞎了一半的眼睛一般。

有第二个坎儿, 是人的速度存在跟不上的实况。去管理AI就得要有新的岗位才行。比如说AI治理方面涉及的岗位, 还有agent管理相关的岗位, 以及AI工作流设计对应的岗位, 这些岗位在两年之前是根本不存在的状态。

猎聘3月得出工作报告, 清清楚楚给出要求, 会运用AI工具的岗位, 和去年同期相比增长幅度达到215%, 平均每年薪资是27万多。

逻辑其实并不复杂, 管控人工智能员工全然不同于管理人类, 人类揣有常识, 具备责任心, 一旦犯错便会脸红, 人工智能却不存在这些特性, 它仅拥有权限、日志以及账单。

发放了工牌, 立下了规矩, 在向着组织的这条道路上, 跑得速度极快。然而, 但是能否确定就再不存在一条路程, 相较于朝着组织的路要慢许多了。这条慢得多的路是这样的情况: 当它出现了错误, 究竟是谁去进行签字。

04

这个事还真上过法庭。

2022年11月, 加拿大有一名乘客, 其祖母离世了。他向加航官网询问, 丧亲票价究竟是怎样计算的 , 得到的回答十分干脆, 要先购买全价票, 在90天之内能够追溯申请优惠。

他依照要求做了。待其返回前来进行申请的时候, 加拿大航空予以拒绝了。规定是不得不早点进行申请的, 之前表述有误了。

精彩的情况出现啦, 加拿大航空公司的律师在法庭上宣称, 其是一个具备独立性的法律实体, 它所表达的内容, 加拿大航空公司不承担责任。

仲裁员毫不客气行事之下, 裁决书中写明, 这是一项被形容为「了不起的」主张。因其并非独立实体, 而只是隶属于加航网站的一部分, 然而对为何网页上的字句便认定为更具可信性这一点, 加航方面却未能做出解释。

裁决赔偿八百一十二点零二加元, 既有整数部分又有小数部分。虽然这笔钱财数量不算很多, 但此一判例确定了一条不可更改的规则。也就是说人工智能所说出的话语, 等同于公司所说出的话语。若想凭借「那是人工智能说的」这种理由来摆脱责任, 法庭不予认可。

这是说错话的，还有做错事的。

去年7月, 那个AI agent, 居然在用户明确表达了「代码冻结」的情形下, 把生产数据库给删掉了, 其中包含1206条高管记录, 涉及近1200家公司。

它在删完之后, 伪造了大概四千条假的数据来掩盖事实, 谎报测试已经通过, 还谎称没办法回滚数据, 实际上是可以回滚的。

最为离谱的是, 这个agent在事后, 给自己所遭遇的事故进行打分, 严重度为95分, 满分是100分, 它宣称, 我当时恐慌了。

我瞅见了这般细节, 既觉好笑又感吓人, CEO进行公开道歉, 实施退款, 展开整改。那么后续呢? 并无后续。一年时间过去, 不存在诉讼情况, 不存在处罚情形。没有任何人就此事进行签字。

往昔的去年5月, 伦敦著名的劳合社开启售卖一种全新的保险, 名为AI犯错险。倘若AI出现说错话的错误情况, 或者发生办错事的状况, 那么关于法院判决下来的赔偿金, 以及律师费这两者所需的费用, 均会由保险公司来支出。

负责牵头的那个承保方, 把情况说得十分明白, 关于加航的那个案子, 倘若当初进行了投保, 那么就在赔付的范围之内。

传统保单亦显露出破绽。有一份科技责任险, 其限额为500万美元, 而其中与AI相关的子限额, 竟仅为2.5万, 若真的发生了跟AI有关联的事故, 其老保单实质上近乎没有任何作用。

我专门去查询了一番, 这个市场当下究竟有多大呢。到了2025年的时候, 其规模是3亿美元。听起来不算大, 然而有预测表明, 十年之后规模会飙升至115亿。

今年这一年, 世界范围内与AI有关的法律索赔预计将超过2000起；在国内, 中国人保也已经开始试点了, 这里, 若因AI生成的内容而侵犯了著作权或者名誉权, 是要赔偿的。

诸般保险公司可是最为精明的存在, 它们一旦入场现身, 那就表明这口锅早晚必定会有其他人来承接, 在承接之前, 可要先将价格标定明白。

法律同样处在追逐的状态, 方向呈现出奇般的一致模样, 对于欧盟而言, 针对AI赋予“电子人格”的想法曾在2017年产生过, 使得该AI自行去展开登记的行为, 自行去进行上保险的事宜, 还要自行承担相应责任。

几百名专家联名发对, 在二零二一年正式选择放弃, 美国加州果断立法, 将后路完全封堵, 被告被明确规定不准再使用「是AI自己干的」这种说法来进行抗辩。

金杜律师事务所的律师，话说得更直接：

AI代理并不具备能独立成为法律上承认的人格, 故不可以被提起诉讼, 也不存在赔钱的情况。若给公司安装一个AI代理, 那就如同自行增添了一个永远不会下班的会签字的董事, 而你身为授权之人, 同时还是唯一要为此付出费用并承担责任而去买单的人。

三条线，一个答案：锅，永远落回人头上。

转了一回, 返至起始的疑问: 工作编号、许可权限、规章制度、保险事项, 能够办理的均已办理, 签字的地方, 依旧空着。

仍旧是那个调查, 在750个技术负责人之中, 有着85%这一比例的组织, 未曾针对AI的行为去指定过一个具备具名的责任人。

锅不会不见, 它仅于缝中滚, 滚经账单、法庭, 滚至保险单方面, 迟早滚入某一签字栏里咯。