【出屋三周后 · 市局 · 封闭会议室】
会议室比上次那间更靠里。
门外没有牌子,连编号都没有,只在门框旁边钉了一个很小的“使用中”灯,亮着暗红色的光。
伊森先到了一会儿。
桌上已经摆好几叠材料,每一叠都用不同颜色的长尾夹夹着:蓝色的是技术处准备的“结构抽取方案”,红色的是法制科的“风险条款草案”,黄色的是纪检那边的“监督建议”。最上面那一叠,是一张薄薄的议程表:
一、项目组架构确认
二、规则抽取原则讨论
三、应用边界初步划定
他翻到背面。
背面空白。
这是这栋楼里少见的东西——一页还没被写满的纸。
门被推开。
局长、女法务、技术处年轻人陆续进来。纪检那位中年男人也在,像上次一样,没有拿任何资料,只带了一个黑色笔记本。
大家落座。
门从里面锁上,发出“咔”的一声轻响。
“我们开始吧。”局长说。
“今天只有一个核心问题——规则抽取。”
他把蓝色夹子那一叠抽出来,放在中间。
“先让技术处把他们准备的方案说一遍。”
年轻技术员略显紧张,又压不住一点兴奋。
“我们目前的思路,是从‘无危险关卡’里抽象出可重复使用的结构。”他说。
“比如——”
他翻出一页图纸。
上面画着几块方框,简单标着:
START
CHOICE
DELAY
FEEDBACK
“我们称之为‘结构单元’。”他解释,“像‘借与还’,可以拆成三个单元——资源获得、路径选择、偿还逻辑。”
“这些可以用在很多场景,不一定是那栋房子。”
他停了一下,看了一眼伊森。
“当然,我们不会复刻原题。”他说,“只是借用结构。”
“你们已经开始画‘题库’了。”伊森说。
不是指责,更像是在把事情的名字先说出来。
“可以这么理解。”年轻人点头。
“你们用这些结构干什么?”纪检问。
“初步只用于模拟。”技术员说,“在实验环境里观察参与者在矛盾规则、时间压力和资源稀缺下的选择倾向。”
他递过来一张简化示意图。
上面写着:
“模块 A:资源/借与还(无实质损失)
模块 B:邻近/信任选择(虚构情境)
模块 C:规则矛盾/路径定义(无空间危险)”
每个模块后面都有一行小字:“评分逻辑待定”。
“评分逻辑是谁定?”女法务问。
技术员看向局长。
“这就是我们今天要讨论的第二部分。”局长说。
“抽结构是一回事,决定用什么标准看人,是另一回事。”
他把目光转向伊森。
“你在房子里写过一套。”局长说。
“你比谁都清楚,那三句话的后果。”
伊森没有躲这个话题。
“那三句,是在那个环境里的产物。”他说。
“换到外面,不能照搬。”
“但有一部分东西,是我希望无论如何都被写进这版条款的。”
女法务随手翻到红色夹子那叠的最后几页。
那里是她写的“特别条款建议”,目前还是空着的几个条目,只写了几个关键词:
不可逆
记忆
删除
“你上次提过‘记忆完整性’。”她说。
“可以具体一点。”
伊森想了几秒。
“我想加一条——”他说。
“任何因系统判断被标记为‘不稳定’、‘噪音’或类似标签的个体,不得因此被自动排除出原有记录。”
“包括但不限于:档案、考评、司法记录。”
“任何‘删除’动作,都必须由人签字。”
女法务的笔停在纸上。
“这条,会有很大阻力。”她说。
“因为它会让系统失去一部分‘清理能力’。”
“那正是我想要的。”他说。
“当年研究中心的问题,不在于它有规则。”
“在于——它可以在没人签字的情况下,让某个人好像从未存在过。”
纪检哼了一声。
“我们现在又不是在消失人。”他说。
“最多是……打个分。”
“今天是打分。”伊森说,“明天就可能有人提,把这一分跟晋升、录取、信任度挂钩。”
“后天,就会有人说——既然这个分数代表‘不稳定’,是不是该从一开始就不让这些人进某些系统。”
他看着纪检。
“你比我更清楚,”他说,“一旦有了这样的表,谁都会想把它用得‘充分一点’。”
纪检没反驳,只是合上了黑色笔记本。
“你还想加什么?”女法务问。
“还有一条。”他说。
他想起墙上的那三句英文,又想起女人笔迹里的注释。
“任何用于‘定义人’的模型,”他一字一顿,“都必须明确承认自己的不完整。”
“这一条写进制度里,”他继续说,“可以是很具体的形式——比如在所有输出报告的首页,标明‘该系统判断仅为参考,不具有独立裁决效力’,并注明误差范围。”
“这一条已经有了。”女法务翻了一下,“我们在法制意见里写了类似的话。”
“不够。”他说。
“你们现在写的是‘法律意义上的免责’。”
“我想要的是——系统本身的自我否定。”
技术员皱眉:“自我否定?”
“你们不是要建模吗?”伊森说。
“那就在模型本身的定义里,写上一句——‘本模型无法穷尽人的所有行为可能’。”
“这不是废话吗?”纪检忍不住打断。
“人人都知道模型有误差。”
“写出来是给谁看?”
“给未来看。”伊森说。
“给下一个打算把它当成‘真理’的人看。”
他看着桌上的蓝色叠子。
“你们现在还记得‘误差’这两个字,”他说。
“等到第十版、第二十版,只剩下‘模型升级’、‘参数优化’。”
“到那时候,如果第一页上写着‘本模型不完整’,至少会有一个年轻人皱一下眉。”
“也许他会写一篇论文反驳这句话。”
“也许他会在某个闭门会上说——‘既然模型自己都承认不完整,我们是不是该小心一点’。”
女法务在纸上写下:“模型自限条款”。
“我会帮你写一个更法律化的版本。”她说。
“但精神可以保留。”
技术员一直在旁边听,终于开口:
“那你觉得——我们还可以写什么?”
他说这话的时候,语气不像是在跟前辈顶嘴,更像是真正想问。
“我们总不能只写风险,不写规则。”
“总得有一些‘可以做的’。”
伊森想起女人在研究中心那张写字板上的三行。
“你们可以写——”他说。
“All definitions of human must include unpredictability.”
纪检皱眉:“英文?”
“原文就是英文。”伊森说。
“中文可以翻译成——任何关于‘人’的定义,都必须包含不可预测性。”
“这句话什么意思?”技术员问。
“意思是——如果你们建模,建到最后,发现你们的模型可以百分之百预测所有人的行为,那只说明一件事。”
“你们不再在看真实的人了。”
室内短暂安静了一下。
女法务把那句英文记在纸角。
“这句挂在附录吧。”她说。
“作为思想来源。”
“不是挂在前面。”纪检说。
“挂前面太‘哲学’。”
“前面可以写你刚才那条‘不得自动移除个体’。”女法务说。
“那是硬条款。”
局长一直没说话,这时敲了敲桌面。
“你刚才提到‘思想来源’。”他说。
“这几个词,让我有点不舒服。”
女法务抬头。
“你是怕以后有人说——这是有‘学说基础’的。”她说。
“任何东西,一旦被包装成‘理论’,就更难关起来。”局长说。
“我们不是哲学系。”
“我们是警察。”
伊森看着他。
“可这套东西已经不只是案件工具了。”他说。
“你们今天愿意讨论,是因为那栋房子挂在我们手里。”
“明天,它可能挂在别的地方——教育系统、企业、司法。”
“你们现在做的工作,会被当成‘先例’。”
“所以我们必须在这里把最难听的话说完。”
纪检低声说了一句:“先例也是个系统。”
没人接话。
女法务翻到议程表。
“我们得落到具体。”她说。
“今天的目标,是写出‘规则抽取原则’的第一稿。”
她在纸上写下几个小标题:
一、不得复刻原空间结构
二、不得在不知情的情况下使用对参与者有实质负面后果的评分
三、所有评分必须有人工复核通道
四、不得将模型输出作为唯一决策依据
她抬头。
“这些是底线。”她说。
“我们可以在此之上再谈‘可利用的部分’。”
技术员小心翼翼问:
“那我们还能用什么?”
“可以用题。”伊森说。
“可以用结构。”
“但每用一次,都要明确告诉参与者——‘你正在做一道别人写给你看的题’。”
“而不是告诉他‘这是个无害的小互动’。”
“你想把所有‘隐蔽测评’都杀掉?”纪检问。
“在这个项目里,是。”伊森说。
“你们要做别的暗访、暗查,用别的办法。”
“但凡用了这一套结构,就必须正面写清——这是测评。”
“你知道会有人觉得这让系统失去‘真实性’。”技术员说。
“知道。”伊森说。
“可如果一个系统的真实性,必须建立在被测人不知道自己在被看,那它本身就不值得信任。”
女法务点头。
“这一条,我会写进‘告知义务’部分。”她说。
“强制性的。”
她把笔往上一提,看向局长。
“这就是我能想到的‘抽取可用部分’。”她说。
“再往上的,就不该在我们这边写了。”
“那该在哪儿写?”局长问。
“在那些准备用的人那里。”她说。
“我们可以告诉他们——这东西危险。”
“可以帮他们写‘警示’。”
“但我们不能替他们保证,他们永远不会越线。”
局长靠在椅背上,沉默了一会。
“刚才纪检说,我们不是哲学系。”他慢慢说。
“可你们刚才讨论的大半,是哲学问题。”
“人是不是可以被穷尽。”
“系统应不应该承认自己的局限。”
“我们能做的是——在这栋楼的权限范围内,尽量把‘不该发生的事’写明白。”
“那栋房子发生的事,”他看了一眼伊森,“对我们来说,是一次教训。”
“对别的地方来说,很可能是一次诱惑。”
“我们阻止不了所有人。”
“但至少从我们这边出去的文件,不要太轻易被拿去当广告。”
他把那张议程表翻过来,在空白的背面写了一行字:
“本工作组所有成果,不得用于对外宣传。”
女法务苦笑了一下。
“这条会被上面划掉。”她说。
“他们一定会想要一个好听的‘成果展示’。”
“那就让他们展示别的。”局长说。
“展示‘我们发现了这东西很危险’也不错。”
会议接近尾声。
女法务把几条关键条款圈出来,技术员在电脑上记录,纪检记了一大页看不清具体字的笔记。
最后,局长把话题拉回到人。
“规则抽取会持续一段时间。”他说。
“伊森,你负责跟技术处一起,看所有新设计的‘结构单元’。”
“有任何一条,你觉得会把人逼到像那栋房子一样的角落——就划掉。”
“你知道那是什么味道。”
“你也知道我们不想再闻一次。”
伊森点头。
他知道,这不是夸奖。
更像是一种略带冷意的信任——你既然当过执行者,就替我们看着这把刀,不要再朝同样的地方砍第二次。
散会前,女法务把一份打印好的清单塞到他手里。
“这是目前确认会参与的‘外部顾问名单’。”她说。
“方便你心里有数。”
他低头扫了一眼。
名字不多,只有三四个,后面都带着简短的说明:
×××:空间认知实验专家
×××:司法伦理顾问
——:曾参与相关项目的匿名参与者
最后一行没有名字,只有一长串破折号。
他知道那是谁。
“她不想被写进系统。”他低声说。
“至少不想再用本名。”女法务说。
“但她答应帮我们看条款。”
“你见过她吗?”她问。
“见过。”他说。
“在另一栋更坏的房子里。”
“那她现在怎么看我们?”女法务问。
“她会看。”他说。
“在哪一页皱眉,在哪一页想笑,在哪一页想把整份报告扔进垃圾桶。”
“这些都不是我们能控制的。”
他把那张清单折好,放进文件夹。
走出会议室的时候,走廊里灯光依旧,只有那盏“小红灯”熄了。
他站在门口,回头看了一眼门板。
门板光滑得甚至看不出锁孔。
“卷四的这一关,”他在心里说,“题干已经写完了。”
“答案,要很久以后才会看得清。”
他往前走。
口袋里的手机震了一下,是系统发来的内部提醒:
“新文件已上传:‘复杂规则结构评估项目条款(初稿)’。
请相关人员在 24 小时内提出修改意见。”
他点开那份 PDF。
第一页最上面,有一句被加粗的中文:
“本项目所有模型与规则,仅用于辅助理解复杂环境下人的行为,不得用于代替人对人的判断。”
下面,用较小的字体,标了一句:
“All definitions of human must include unpredictability.”
他停在那句话上看了很久。
然后,在“意见反馈”一栏里,只写了四个字:
“暂不修改。”