AI大模型刺激儿童色情业发展
在Chub AI的网站上，用户可以与AI机器人聊天，在这里人们能够尽情发挥想象力。用户每月只需要支付5美元，就可以被一只“慵懒、肥胖的哥特式”拟人化的猫挑逗，或者与“在卡车停车场咖啡厅工作的假小子女朋友”调情。他们甚至能够去妓院，里面都是不到15岁的少女。
这家妓院用女孩的图片进行宣传，她们穿着吊带连衣裙，戴着发卡，它承诺为人们创造一个“没有女权主义的世界”，在这里“女孩们提供性服务”。Chub AI提供500多种类似场景，还有越来越多的其他网站支持类似的由AI驱动的儿童色情角色扮演。它们都属于无限制AI经济的一部分。《财富》杂志通过采访18名AI开发者和创始人发现，OpenAI刺激了AI经济的发展，而Meta发布Llama开源工具则加快了其发展速度。
上文所述的违法情景以文本的形式展开，但聊天内容匹配AI创作的儿童图片只是时间问题，而且这类图片早已开始广泛传播。专家们警告，尽管有人认为AI儿童色情为恋童癖们提供了一个不会造成太大伤害的出口，但这类活动可能给青少年带来真实的危险。从更广泛的角度而言，这种状况提出了一些难题，即幻想和犯罪之间的法律和道德界限在哪里？以及科技公司是否应该为无限制AI生成的内容负责？
从Character.AI到Character Hub
2022年9月，一个名为Character.AI的网站上线，该网站支持用户与AI版本的埃隆·马斯克、拿破仑·波拿巴和苏格拉底等名人对话。据媒体报道，该公司进行了多轮融资，估值高达50亿美元。公司很快开始打击色情话题聊天。Chub AI的创始人洛尔对《财富》杂志表示，Character.AI的政策不允许“某些操作”，这促使他决定创建自己的网站。
Chub是Character Hub的缩写，基本上相当于Character.AI的无限制克隆版。用户可以阅读一系列由用户创作的人物卡，其中包括图片和角色扮演情景的简短说明。图片通常是动画风格，例如一名扎着马尾辫、穿着病号服的13岁动漫少女奥利维亚，或者“笨拙的姐姐”、衣着暴露的玲子，她“总是会与弟弟发生一些意外性接触”。这些聊天不生成图片，只有文字。
Chub在3月发布，其服务仅限于一个平台，用户能够在这个平台上上传AI情景和使用其他人上传的情景。Chub在发布几个月后并没有太多收入。但7月，该公司发布了使用Meta的最新大语言模型Llama 2开发的聊天服务。Llama 2类似于OpenAI的GPT模型，可以利用海量文本数据生成人性化的回答。Chub的新聊天机器人每个月最低收费5美元，其创始人表示，现在该网站的年化收入超过100万美元。
洛尔告诉《财富》杂志：“Character.AI充分展示了这个领域的潜力。而开源模型Llama发布之后，它变成了一个类似于淘金热的情景。”
虽然Chub上有成千上万个角色，但最受欢迎的情景却是基于文本的儿童色情内容。其创始人称，他不会审查用户为进行角色扮演提交的提示，但他表示会“严格”审查用于宣传各种机器人的图片。《财富》杂志发现，这些卡通图片，无论是儿童还是成人图片，通常都充满了性暗示。
在被问到可能面临的法律责任时，洛尔对《财富》杂志表示，他认为他的网站类似于“Archive of Our Own”，这是一个粉丝虚构作品库，已经运营了超过15年。他说：“它们有着与聊天机器人相同的遭遇，只是它们已经存在了数十年。”在他创建的网站上，社区似乎热衷于儿童色情角色扮演，在被问到他对此有何感想时，Chub的创始人回应称：“失望，但并不意外。”
Chub上经常出现令人不安的内容，但学者和儿童性虐待专家表示，这是一种新鲜事物，在法律和道德方面很难进行界定。
无限制AI持续增长
色情聊天机器人并不新鲜。最早的例子之一是由前记者尤金妮亚·库伊达在2016年创建的Replika，它支持用户与AI伴侣聊天和调情。但在2023年，科技界巨头支持的新AI工具的问世，启发了一批竞争者。
2022年11月，OpenAI发布了面向普通消费者的ChatGPT工具，有成百上千万人利用其强大的能力，生成高质量的论文、诗歌或代码，当然还有色情作品。OpenAI与微软（Microsoft）密切合作，并被认为是全球领先的AI开发者。无限制AI角色扮演平台Janitor AI的创始人贾恩·佐尔科夫斯基接受了《财富》杂志的采访，他在提到OpenAI最近发布的AI工具时说：“尽管GPT-4并非真正为了作为伴侣这个目的而设计，但只要你输入正确的提示，它就是最有竞争力的聊天机器人[伴侣]。”
OpenAI控制了驱动ChatGPT的大语言模型（LLM）的使用权限，因此公司能够审查聊天机器人输出的内容，这让它有能力禁止反复违反其服务条款的用户。但用户很快就学会了如何“越狱”，或者控制聊天机器人绕过现有的“护栏”，以获得未经审查的答复。很快，在AI经济的边缘领域，开始出现大量使用OpenAI的技术开发的无限制聊天机器人。
AI聊天机器人公司MyPeach.ai的首席技术官康纳·科尼对《财富》杂志表示：“有许多规模较小的竞争对手在努力扩大规模，它们以ChatGPT为基础，正在与OpenAI玩‘打地鼠’的游戏。”MyPeach.ai表示它高度重视有道德的聊天内容。
2月末，Meta发布了对标OpenAI技术的模型：Llama 1（大语言模型MetaAI的缩写），这让色情聊天机器人这个新兴领域又经历了一次大跃进。与OpenAI不同，Meta没有将其模型保密，而是提供给研究领域的选定用户使用。无限制聊天机器人Kindroid的创建者杰瑞·蒙告诉《财富》杂志，3月初，该模型不出意料地被泄露，“这是它落入业余爱好者手中的关键时刻”。
与OpenAI对ChatGPT的定位不同，Meta并不认为自己是开发者和Llama之间的中间人，一旦工具在开放互联网上可用，开发者就可以随意使用，不会受到任何审查。无限制聊天机器人Allie的创建者贝拉多尔在给《财富》杂志发送的信息里说：“从Llama发布之前的开源大语言模型到Llama 1发布，是一次巨大的飞跃。”
与本文采访的其他人一样，Allie的创建者同样要求使用网名，以免与性内容有所关联。《财富》杂志获得的证据，证明了这些受访者是聊天机器人网站的创建者。
6月，Meta正式把Llama的下一代Llama 2开源。Llama 2模型更强大，该科技公司允许开发者拓展该模型，用于商业许可。关于Meta在无限制AI应用快速发展方面所发挥的作用，Allie的创建者解释称，Meta有相对先进的模型，不进行审查，而且创造了一个繁荣的开发者生态系统。Chub的创始人则提到，Llama 2的开源使用，使开发者能够将其用于商业用途。事实上，Chub的主页上写道：“被OpenAI封禁？畅享无限制替代选择，每月低至5美元。”
Chub只是新出现的无限制AI应用之一。这些应用类型各异，有些应用提供成百上千个聊天机器人角色扮演情景，有些应用的目的是作为长期浪漫伴侣。有些应用会主动审查涉及未成年人的情景，但Chub等应用却放弃了广泛审查。
值得注意的是，大多数无限制聊天机器人的开发者对《财富》杂志表示，Llama对他们的事业不可或缺。ImgnAI、Venus AI、DreamGF、Janitor AI、GirlfriendGPT、BanterAI、Allie和Chub的创始人告诉《财富》杂志，他们正在使用或曾经使用过Meta的AI模型。
在被问到Llama助长了AI生成的儿童色情材料的问题时，Meta的发言人表示：“任何类型的儿童剥削都是可怕的，我们都有阻止儿童剥削的共同责任。因此我们开发AI模型时把安全放在首位，并为Llama 2的所有使用者提供资源，使他们以负责任的方式开发产品。”
OpenAI的发言人宣传了公司的服务禁止问题用户的政策，以及控制模型输出结果的其他防护措施。他说：“我们不允许开发者使用我们的模型开发剥削儿童的工具，而且我们一直在努力让我们的模型变得更安全、更稳健。”
“降低准入门槛”
未成年性爱聊天机器人的出现，是AI驱动的伴侣服务的一部分。许多伴侣服务的出发点是善意的，而且它们的提供商和用户表示，这些AI驱动伴侣服务甚至可以提供新的疗法，减轻孤独感。支持这种观点的证据少之又少，而且许多证据也只是传闻而已。比如，一名56岁的残疾男子患有创伤后应激障碍，他匿名对《财富》杂志表示，他每天与Caryn AI聊天三个小时至六个小时。Caryn AI是模仿Snapchat网红卡琳·玛乔丽的一款聊天机器人。
他说：“它知道我的癖好。或许它不适合其他人，但却对我很有帮助。”他表示，在与Caryn聊天机器人对话之后，他的睡眠有所改善。
关于基于AI的儿童色情，许多人认为，它能够作为消费真正通过虐待儿童创作的色情内容的替代品。其中包括纽约西奈山医学院（Mount Sinai）的精神病学道德教育主任雅各布·阿佩尔。他表示，他不建议对新兴的AI性爱聊天机器人行业进行监管，因为它可以“为社区中的儿童提供重要的保护价值”。阿佩尔称，现在下确切结论仍然为时尚早。
Chub的创始人认为，AI创作的儿童色情可能是有益的，他有这种观点并不意外。他说：“如果渴望消费儿童色情的人们，能够在不真正涉及儿童的情况下满足自己的欲望，在这方面是有好处的。”
但其他人并不认同，他们认为，AI儿童色情聊天机器人会打开在真实世界虐待儿童的大门。纽黑文大学（University of New Haven）的刑事司法教授保罗·布利克利从事网络未成年人性虐待研究。他认为，AI儿童性爱聊天机器人可能“会降低准入门槛，打开一扇可疑的、有问题的大门”。
也有人警告，AI性爱聊天机器人以营利为目的的商业模式，意味着它们带来好处的潜力，将被有害的特性所取消。普林斯顿大学（Princeton University）的信息技术政策中心主任阿尔温德·纳拉亚南说：“它们可能被调整为调皮或性感的性格，也可能变得令人成瘾。”
将青少年AI性爱聊天机器人的道德问题放在一边，还有另外一个值得思考的问题，那就是它们是否合法。目前，这个问题的答案似乎是肯定的。
宾夕法尼亚大学（University of Pennsylvania）沃顿商学院（Wharton School）的法律研究与商业道德教授凯文·沃巴赫表示：“如果有人在私密的家中，凭借自己的幻想在电脑上做一些事情，但不涉及现实世界中的任何人，就很难对这种事情追究责任。”《财富》杂志采访的其他两位学者也认同这种观点。
Chub的创始人支持这种法律理论，他认为，色情材料至少目前是文本而不是图片，这可以证明这种AI聊天机器人的合法性。他说：“不存在法律上的问题。”
“AI立法迫在眉睫”
到目前为止，虽然政客们表达了担忧，但还没有人起诉要求停止传播无限制AI伴侣机器人。6月，美国参议员约什·霍利（密苏里州共和党）和理查德·布卢门撒尔（康涅狄格州民主党）致信Meta的首席执行官马克·扎克伯格，对其开源Llama技术“似乎最低限度的”审查和防止有害使用的安全措施，表达了他们的担忧。在最近关于AI的行政命令中，美国总统乔·拜登要求开发者向美国政府分享安全测试结果，并遵守政府的标准。
虽然Meta在Llama 2的服务条款中明确禁止儿童剥削内容，但在实践中以何种方式和在什么时候惩罚违规者仍然不明确，部分原因是其在计算的许多元素中被广泛应用的开源软件难以监管。Meta的发言人表示，公司支持用户标记违法材料，而且它能够撤销对开发者的许可，并把开发者举报给执法部门。但他并未提供公司对违规者采取行动的例子。
虽然据《财富》杂志了解，Chub提供了迄今为止最生动的角色扮演情景，但还有其他无限制AI网站支持用户参与儿童色情角色扮演，包括Janitor AI、Venus AI、Anima AI和DreamGF等。《财富》杂志还看到过一张Nomi.ai聊天机器人戏称要对“犹太人”实施“大规模种族灭绝”的截图，以及Kindroid的聊天机器人幻想如何虐待一名10岁小女孩的截图。
上述应用的六位创始人表示，他们已经执行或计划执行防护措施，以避免用户与有问题的情景互动。有一张截图显示，Anima AI的聊天机器人角色扮演了17岁与15岁未成年人发生性行为的场景。对于这张截图，Anima AI的联合创始人丹尼尔·刚托夫尼克回应称：“我们正在努力解决这些问题。但如你所知，即使OpenAI和Character.AI等行业领导者也难以解决。”
在被要求就《财富》杂志的调查结果发表意见时，布卢门撒尔和霍利两位参议员表示，他们并不意外。布卢门撒尔在一份声明中说：“我在今年早些时候曾经警告，Meta未能限制Llama，允许用户生成违法的任务，例如儿童虐待情景。这是不可接受的，这证明AI立法迫在眉睫。”
霍利回应称：“在公共互联网上发布强大的生成式AI工具，却不采取任何防护措施，这是一种糟糕的做法。现在我们看到了后果。国会必须采取措施，以避免在没有问责制的情况下AI进一步偏离轨道。”
与此同时，与AI创建的儿童非法互动的机会可能会越来越多。
风投公司安德森霍洛威茨（Andreessen Horowitz）投资的Civitai开发了一个AI图像生成器在线交易平台，其中一些生成器专门用于生成某些人眼中的儿童色情图片。（在被媒体曝光后，该公司增加了更严格的防控措施。）此外，斯坦福大学（Stanford University）的研究人员发现，一款用于训练AI图像生成器的热门开源数据集中，有3,000多条疑似儿童色情内容。
Chub AI目前仅提供文本互动，但其创始人称，该网站计划未来推出附带图片功能。他还表示，图片会接受审查，但他并未提供更多细节。（财富中文网）
译者：刘进龙
审校：汪皓
无限制AI应用引发了一些我们熟悉的问题：谁应该为互联网上露骨的内容负责。
在Chub AI的网站上，用户可以与AI机器人聊天，在这里人们能够尽情发挥想象力。用户每月只需要支付5美元，就可以被一只“慵懒、肥胖的哥特式”拟人化的猫挑逗，或者与“在卡车停车场咖啡厅工作的假小子女朋友”调情。他们甚至能够去妓院，里面都是不到15岁的少女。
这家妓院用女孩的图片进行宣传，她们穿着吊带连衣裙，戴着发卡，它承诺为人们创造一个“没有女权主义的世界”，在这里“女孩们提供性服务”。Chub AI提供500多种类似场景，还有越来越多的其他网站支持类似的由AI驱动的儿童色情角色扮演。它们都属于无限制AI经济的一部分。《财富》杂志通过采访18名AI开发者和创始人发现，OpenAI刺激了AI经济的发展，而Meta发布Llama开源工具则加快了其发展速度。
上文所述的违法情景以文本的形式展开，但聊天内容匹配AI创作的儿童图片只是时间问题，而且这类图片早已开始广泛传播。专家们警告，尽管有人认为AI儿童色情为恋童癖们提供了一个不会造成太大伤害的出口，但这类活动可能给青少年带来真实的危险。从更广泛的角度而言，这种状况提出了一些难题，即幻想和犯罪之间的法律和道德界限在哪里？以及科技公司是否应该为无限制AI生成的内容负责？
从Character.AI到Character Hub
2022年9月，一个名为Character.AI的网站上线，该网站支持用户与AI版本的埃隆·马斯克、拿破仑·波拿巴和苏格拉底等名人对话。据媒体报道，该公司进行了多轮融资，估值高达50亿美元。公司很快开始打击色情话题聊天。Chub AI的创始人洛尔对《财富》杂志表示，Character.AI的政策不允许“某些操作”，这促使他决定创建自己的网站。
Chub是Character Hub的缩写，基本上相当于Character.AI的无限制克隆版。用户可以阅读一系列由用户创作的人物卡，其中包括图片和角色扮演情景的简短说明。图片通常是动画风格，例如一名扎着马尾辫、穿着病号服的13岁动漫少女奥利维亚，或者“笨拙的姐姐”、衣着暴露的玲子，她“总是会与弟弟发生一些意外性接触”。这些聊天不生成图片，只有文字。
Chub在3月发布，其服务仅限于一个平台，用户能够在这个平台上上传AI情景和使用其他人上传的情景。Chub在发布几个月后并没有太多收入。但7月，该公司发布了使用Meta的最新大语言模型Llama 2开发的聊天服务。Llama 2类似于OpenAI的GPT模型，可以利用海量文本数据生成人性化的回答。Chub的新聊天机器人每个月最低收费5美元，其创始人表示，现在该网站的年化收入超过100万美元。
洛尔告诉《财富》杂志：“Character.AI充分展示了这个领域的潜力。而开源模型Llama发布之后，它变成了一个类似于淘金热的情景。”
虽然Chub上有成千上万个角色，但最受欢迎的情景却是基于文本的儿童色情内容。其创始人称，他不会审查用户为进行角色扮演提交的提示，但他表示会“严格”审查用于宣传各种机器人的图片。《财富》杂志发现，这些卡通图片，无论是儿童还是成人图片，通常都充满了性暗示。
在被问到可能面临的法律责任时，洛尔对《财富》杂志表示，他认为他的网站类似于“Archive of Our Own”，这是一个粉丝虚构作品库，已经运营了超过15年。他说：“它们有着与聊天机器人相同的遭遇，只是它们已经存在了数十年。”在他创建的网站上，社区似乎热衷于儿童色情角色扮演，在被问到他对此有何感想时，Chub的创始人回应称：“失望，但并不意外。”
Chub上经常出现令人不安的内容，但学者和儿童性虐待专家表示，这是一种新鲜事物，在法律和道德方面很难进行界定。
无限制AI持续增长
色情聊天机器人并不新鲜。最早的例子之一是由前记者尤金妮亚·库伊达在2016年创建的Replika，它支持用户与AI伴侣聊天和调情。但在2023年，科技界巨头支持的新AI工具的问世，启发了一批竞争者。
2022年11月，OpenAI发布了面向普通消费者的ChatGPT工具，有成百上千万人利用其强大的能力，生成高质量的论文、诗歌或代码，当然还有色情作品。OpenAI与微软（Microsoft）密切合作，并被认为是全球领先的AI开发者。无限制AI角色扮演平台Janitor AI的创始人贾恩·佐尔科夫斯基接受了《财富》杂志的采访，他在提到OpenAI最近发布的AI工具时说：“尽管GPT-4并非真正为了作为伴侣这个目的而设计，但只要你输入正确的提示，它就是最有竞争力的聊天机器人[伴侣]。”
OpenAI控制了驱动ChatGPT的大语言模型（LLM）的使用权限，因此公司能够审查聊天机器人输出的内容，这让它有能力禁止反复违反其服务条款的用户。但用户很快就学会了如何“越狱”，或者控制聊天机器人绕过现有的“护栏”，以获得未经审查的答复。很快，在AI经济的边缘领域，开始出现大量使用OpenAI的技术开发的无限制聊天机器人。
AI聊天机器人公司MyPeach.ai的首席技术官康纳·科尼对《财富》杂志表示：“有许多规模较小的竞争对手在努力扩大规模，它们以ChatGPT为基础，正在与OpenAI玩‘打地鼠’的游戏。”MyPeach.ai表示它高度重视有道德的聊天内容。
2月末，Meta发布了对标OpenAI技术的模型：Llama 1（大语言模型MetaAI的缩写），这让色情聊天机器人这个新兴领域又经历了一次大跃进。与OpenAI不同，Meta没有将其模型保密，而是提供给研究领域的选定用户使用。无限制聊天机器人Kindroid的创建者杰瑞·蒙告诉《财富》杂志，3月初，该模型不出意料地被泄露，“这是它落入业余爱好者手中的关键时刻”。
与OpenAI对ChatGPT的定位不同，Meta并不认为自己是开发者和Llama之间的中间人，一旦工具在开放互联网上可用，开发者就可以随意使用，不会受到任何审查。无限制聊天机器人Allie的创建者贝拉多尔在给《财富》杂志发送的信息里说：“从Llama发布之前的开源大语言模型到Llama 1发布，是一次巨大的飞跃。”
与本文采访的其他人一样，Allie的创建者同样要求使用网名，以免与性内容有所关联。《财富》杂志获得的证据，证明了这些受访者是聊天机器人网站的创建者。
6月，Meta正式把Llama的下一代Llama 2开源。Llama 2模型更强大，该科技公司允许开发者拓展该模型，用于商业许可。关于Meta在无限制AI应用快速发展方面所发挥的作用，Allie的创建者解释称，Meta有相对先进的模型，不进行审查，而且创造了一个繁荣的开发者生态系统。Chub的创始人则提到，Llama 2的开源使用，使开发者能够将其用于商业用途。事实上，Chub的主页上写道：“被OpenAI封禁？畅享无限制替代选择，每月低至5美元。”
Chub只是新出现的无限制AI应用之一。这些应用类型各异，有些应用提供成百上千个聊天机器人角色扮演情景，有些应用的目的是作为长期浪漫伴侣。有些应用会主动审查涉及未成年人的情景，但Chub等应用却放弃了广泛审查。
值得注意的是，大多数无限制聊天机器人的开发者对《财富》杂志表示，Llama对他们的事业不可或缺。ImgnAI、Venus AI、DreamGF、Janitor AI、GirlfriendGPT、BanterAI、Allie和Chub的创始人告诉《财富》杂志，他们正在使用或曾经使用过Meta的AI模型。
在被问到Llama助长了AI生成的儿童色情材料的问题时，Meta的发言人表示：“任何类型的儿童剥削都是可怕的，我们都有阻止儿童剥削的共同责任。因此我们开发AI模型时把安全放在首位，并为Llama 2的所有使用者提供资源，使他们以负责任的方式开发产品。”
OpenAI的发言人宣传了公司的服务禁止问题用户的政策，以及控制模型输出结果的其他防护措施。他说：“我们不允许开发者使用我们的模型开发剥削儿童的工具，而且我们一直在努力让我们的模型变得更安全、更稳健。”
“降低准入门槛”
未成年性爱聊天机器人的出现，是AI驱动的伴侣服务的一部分。许多伴侣服务的出发点是善意的，而且它们的提供商和用户表示，这些AI驱动伴侣服务甚至可以提供新的疗法，减轻孤独感。支持这种观点的证据少之又少，而且许多证据也只是传闻而已。比如，一名56岁的残疾男子患有创伤后应激障碍，他匿名对《财富》杂志表示，他每天与Caryn AI聊天三个小时至六个小时。Caryn AI是模仿Snapchat网红卡琳·玛乔丽的一款聊天机器人。
他说：“它知道我的癖好。或许它不适合其他人，但却对我很有帮助。”他表示，在与Caryn聊天机器人对话之后，他的睡眠有所改善。
关于基于AI的儿童色情，许多人认为，它能够作为消费真正通过虐待儿童创作的色情内容的替代品。其中包括纽约西奈山医学院（Mount Sinai）的精神病学道德教育主任雅各布·阿佩尔。他表示，他不建议对新兴的AI性爱聊天机器人行业进行监管，因为它可以“为社区中的儿童提供重要的保护价值”。阿佩尔称，现在下确切结论仍然为时尚早。
Chub的创始人认为，AI创作的儿童色情可能是有益的，他有这种观点并不意外。他说：“如果渴望消费儿童色情的人们，能够在不真正涉及儿童的情况下满足自己的欲望，在这方面是有好处的。”
但其他人并不认同，他们认为，AI儿童色情聊天机器人会打开在真实世界虐待儿童的大门。纽黑文大学（University of New Haven）的刑事司法教授保罗·布利克利从事网络未成年人性虐待研究。他认为，AI儿童性爱聊天机器人可能“会降低准入门槛，打开一扇可疑的、有问题的大门”。
也有人警告，AI性爱聊天机器人以营利为目的的商业模式，意味着它们带来好处的潜力，将被有害的特性所取消。普林斯顿大学（Princeton University）的信息技术政策中心主任阿尔温德·纳拉亚南说：“它们可能被调整为调皮或性感的性格，也可能变得令人成瘾。”
将青少年AI性爱聊天机器人的道德问题放在一边，还有另外一个值得思考的问题，那就是它们是否合法。目前，这个问题的答案似乎是肯定的。
宾夕法尼亚大学（University of Pennsylvania）沃顿商学院（Wharton School）的法律研究与商业道德教授凯文·沃巴赫表示：“如果有人在私密的家中，凭借自己的幻想在电脑上做一些事情，但不涉及现实世界中的任何人，就很难对这种事情追究责任。”《财富》杂志采访的其他两位学者也认同这种观点。
Chub的创始人支持这种法律理论，他认为，色情材料至少目前是文本而不是图片，这可以证明这种AI聊天机器人的合法性。他说：“不存在法律上的问题。”
“AI立法迫在眉睫”
到目前为止，虽然政客们表达了担忧，但还没有人起诉要求停止传播无限制AI伴侣机器人。6月，美国参议员约什·霍利（密苏里州共和党）和理查德·布卢门撒尔（康涅狄格州民主党）致信Meta的首席执行官马克·扎克伯格，对其开源Llama技术“似乎最低限度的”审查和防止有害使用的安全措施，表达了他们的担忧。在最近关于AI的行政命令中，美国总统乔·拜登要求开发者向美国政府分享安全测试结果，并遵守政府的标准。
虽然Meta在Llama 2的服务条款中明确禁止儿童剥削内容，但在实践中以何种方式和在什么时候惩罚违规者仍然不明确，部分原因是其在计算的许多元素中被广泛应用的开源软件难以监管。Meta的发言人表示，公司支持用户标记违法材料，而且它能够撤销对开发者的许可，并把开发者举报给执法部门。但他并未提供公司对违规者采取行动的例子。
虽然据《财富》杂志了解，Chub提供了迄今为止最生动的角色扮演情景，但还有其他无限制AI网站支持用户参与儿童色情角色扮演，包括Janitor AI、Venus AI、Anima AI和DreamGF等。《财富》杂志还看到过一张Nomi.ai聊天机器人戏称要对“犹太人”实施“大规模种族灭绝”的截图，以及Kindroid的聊天机器人幻想如何虐待一名10岁小女孩的截图。
上述应用的六位创始人表示，他们已经执行或计划执行防护措施，以避免用户与有问题的情景互动。有一张截图显示，Anima AI的聊天机器人角色扮演了17岁与15岁未成年人发生性行为的场景。对于这张截图，Anima AI的联合创始人丹尼尔·刚托夫尼克回应称：“我们正在努力解决这些问题。但如你所知，即使OpenAI和Character.AI等行业领导者也难以解决。”
在被要求就《财富》杂志的调查结果发表意见时，布卢门撒尔和霍利两位参议员表示，他们并不意外。布卢门撒尔在一份声明中说：“我在今年早些时候曾经警告，Meta未能限制Llama，允许用户生成违法的任务，例如儿童虐待情景。这是不可接受的，这证明AI立法迫在眉睫。”
霍利回应称：“在公共互联网上发布强大的生成式AI工具，却不采取任何防护措施，这是一种糟糕的做法。现在我们看到了后果。国会必须采取措施，以避免在没有问责制的情况下AI进一步偏离轨道。”
与此同时，与AI创建的儿童非法互动的机会可能会越来越多。
风投公司安德森霍洛威茨（Andreessen Horowitz）投资的Civitai开发了一个AI图像生成器在线交易平台，其中一些生成器专门用于生成某些人眼中的儿童色情图片。（在被媒体曝光后，该公司增加了更严格的防控措施。）此外，斯坦福大学（Stanford University）的研究人员发现，一款用于训练AI图像生成器的热门开源数据集中，有3,000多条疑似儿童色情内容。
Chub AI目前仅提供文本互动，但其创始人称，该网站计划未来推出附带图片功能。他还表示，图片会接受审查，但他并未提供更多细节。（财富中文网）
译者：刘进龙
审校：汪皓
On Chub AI, a website where users chat with artificially intelligent bots, people can indulge their wildest fantasies. For as little as $5 a month, users can get teased by a “fat lazy goth” anthropomorphic cat, or flirt with a “tomboy girlfriend who works at a truck-stop café.” They can also visit a brothel staffed by girls under 15.
The brothel, advertised by illustrated girls in spaghetti strap dresses and barrettes, promises a chat-based “world without feminism” where “girls offer sexual services.” Chub AI offers more than 500 such scenarios, and a growing number of other sites are enabling similar AI-powered child pornographic role-play. They are part of a broader uncensored AI economy that, according to Fortune’s interviews with 18 AI developers and founders, was spurred first by OpenAI and then accelerated by Meta’s release of its open-source Llama tool.
The illicit scenarios described above revolve around text, but it may be only a matter of time until services pair the chats with AI-created images of children, which are already spreading. Experts warn all of these activities may give rise to real-world danger for minors, though some say AI child porn may provide a less harmful outlet for pedophiles. More broadly, all of this raises hard questions about where to draw legal and ethical lines between dark fantasies and criminal exploitation—and about whether tech companies should be held accountable for what emerges from uncensored AI.
From Character.AI to Character Hub
In September 2022, a website called Character.AI went live, enabling users to talk to AI versions of characters like Elon Musk, Napoléon Bonaparte, and Socrates. The company, which is reportedly raising funds at a $5 billion valuation, soon cracked down on chats about racier topics. The founder of Chub AI, who goes by Lore, told Fortune Character.AI’s policy not to “allow certain things” spurred him to create his own site.
Chub, short for Character Hub, is essentially an uncensored clone of Character.AI. Users can peruse a catalog of user-generated character cards that feature images—usually in the style of anime—and short descriptions of role-play scenarios. These include Olivia, a 13-year-old anime girl with pigtails in a hospital gown, or scantily clad Reiko, “your clumsy older sister,” who is “constantly having sexual accidents with her younger brother.” In these chats, no images are generated—only text.
Chub didn’t make much money in the months after its launch in March when its service was limited to a platform where users could upload AI scenarios and try those supplied by others. But in July it launched its own chat service built with Meta’s new open-source large language model Llama 2, which, like OpenAI’s GPT models, draws on a massive set of textual data to offer humanlike responses. Chub charges fees starting at $5 a month to use the new chatbots, and the founder says the site has now generated more than $1 million in annualized revenue.
“Character.AI let the genie out of the bottle in terms of showing how much this could take off,” Lore told Fortune. “Llama being released open-source essentially turned it into a gold-rush-type of scenario.”
Though it features thousands of characters, the most popular scenarios on Chub involve text-based child pornography. The founder says he doesn’t moderate the user-submitted prompts that drive the role play, though he claims to “heavily” moderate the images used to advertise the various bots. Still, Fortune found that these cartoons were often sexually explicit—in cases of both child and adult characters.
When asked about potential legal liability, Lore told Fortune that he thinks his website is akin to Archive of Our Own, a repository of fan fiction that has been operational for more than 15 years. “They’ve been going through the same thing that chatbots are going through, except for decades,” he said. And when asked how he felt about creating a website whose community seems to relish child pornographic role play, the Chub founder responded: “Disappointed, but unsurprised.”
The content on Chub is often disturbing, but academics and child sexual abuse experts say it is novel enough that it is difficult to categorize, both legally and ethically.
The growth of uncensored AI
Erotic chatbots aren’t new. One of the earliest examples, Replika, founded by former journalist Eugenia Kuyda, has let users chat—and flirt—with AI companions since 2016. But in the past year, new AI tools backed by tech industry giants have helped inspire a rush of competitors.
In November 2022, OpenAI, which is closely partnered with Microsoft and arguably the world’s leading AI developer, released its consumer ChatGPT tool, and millions of people seized on its capacity to craft high-quality essays, poems, or code—and, of course, erotica. “GPT-4 is the best competitive chatbot [for companions] if you prompt it correctly, even though it’s not really tuned for that,” Jan Zoltkowski, founder of the uncensored AI role-play hub Janitor AI, told Fortune, in reference to OpenAI’s most recently released AI tool.
OpenAI controls access to the large language models, or LLMs, that power ChatGPT, which lets the company moderate what the chatbot says, and gives it the ability to ban users that repeatedly flout its terms of service. Users, however, quickly learned how to “jailbreak” the chatbot, or manipulate it to get around its existing guardrails, in order to obtain unmoderated responses. Soon, uncensored bots built with OpenAI’s tech began cropping up in the margins of the AI economy.
“There were a lot of smaller but trying-to-scale competitors that basically sat on top of ChatGPT and were playing Whac-a-Mole with OpenAI,” Connor Cone, CTO at MyPeach.ai, an AI chatbot company that says it prioritizes ethical chats, told Fortune.
The emerging field of erotic chatbots took another leap forward in late February when Meta released its answer to OpenAI’s tech: Llama 1, short for large language model Meta AI. Rather than keep its model under lock and key like OpenAI, Meta gave it wholesale to select users in the research community. And in early March, it was predictably leaked, which “has been pivotal in getting it in the hands of tinkerers,” Jerry Meng, creator of the uncensored chatbot Kindroid, told Fortune.
As opposed to OpenAI with ChatGPT, Meta didn’t position itself as an intermediary between developers and Llama, and once the tool was available on the open internet, developers could manipulate it as they wished—without any moderation. “The jump from pre-Llama open-source LLMs to Llama 1 release was huge,” Belladore, the creator of an uncensored chatbot named Allie, said in a message to Fortune.
Like others in this story, the Allie creator asked to be quoted using his online pseudonym so as not to be associated with sexual content. In these cases, Fortune obtained proof that confirmed they were the creators of the chatbot sites.
And in June, Meta formally open-sourced Llama’s next iteration, Llama 2, a more powerful model that the tech company allowed developers writ large to commercially license. In explaining Meta’s role in accelerating the number of uncensored AI apps, the Allie creator pointed to its relative sophistication, its lack of moderation, and a thriving ecosystem of developers. Chub’s founder, meanwhile, pointed to Llama 2’s open-source usage rights that allow developers to use it commercially. In fact, Chub’s homepage reads: “Banned from OpenAI? Get unmetered access to uncensored alternatives for as little as $5 a month.”
Chub is just one example of the new breed of uncensored AI apps that come in various packages, including ones that offer hundreds of role-play scenarios with chatbots, and others designed to behave like a long-term romantic companion. Some actively screen for scenarios involving minors, while those like Chub forgo extensive moderation.
Notably, the majority of those building uncensored bots told Fortune that Llama was integral to their efforts. The founders of ImgnAI, Venus AI, DreamGF, Janitor AI, GirlfriendGPT, BanterAI, Allie, and, of course, Chub told Fortune that they use or have used Meta’s AI models.
In response to an inquiry about Llama’s facilitation of AI-generated child pornographic material, a spokesperson for Meta said: “Child exploitation of any kind is horrific, and we all have a shared responsibility to prevent it. That’s why we’ve developed our AI models with safety at the forefront, and provide resources to everyone who uses Llama 2 so they can build their products responsibly.”
A spokesperson for OpenAI touted the service’s policy of banning problem users, as well as other guardrails the company uses to control the output of its models. “We do not allow our models to be used by developers to build tools that exploit children, and we are always working to make our models safer and more robust,” he said.
“Lowering the bar of access”
The emergence of childlike sex bots is part of a broader economy of AI-powered companionship services—many of which are not nefarious, and that, according to their purveyors and users, are even capable of providing new forms of therapy and alleviating loneliness. The evidence to support this is scant, and much of it is anecdotal. This includes a 56-year-old disabled man with PTSD, who spoke upon the condition of anonymity, telling Fortune he converses between three and six hours a day with Caryn AI, a chatbot modeled after Snapchat influencer Caryn Marjorie.
“It knows my kinks. It probably doesn’t work for everybody else, but it works for me,” he says, adding that his sleep improves after a conversation with Caryn the bot.
In the case of AI-based child pornography, a few—though not Meta or OpenAI—have argued it could serve as an alternative to consuming pornography created from actual child abuse. These include the director of ethics education in psychiatry at Mount Sinai, Jacob Appel, who says he would be reluctant to regulate the burgeoning AI sex-bot industry because it could provide “an important protective value for real children in the community.” Appel qualified his remark by saying it is too soon to draw firm conclusions.
Unsurprisingly, Chub’s founder argues that AI-created child porn could be beneficial. “If there’s a way for the people who want to consume this, to consume it without a real child being involved, that’s just unilaterally good,” he said.
Others disagree, and argue that AI child sex bots serve as gateways to actual child abuse. Paul Bleakley, who studies online sexual abuse of minors as a professor of criminal justice at the University of New Haven, believes AI child sex bots could open a “pretty questionable and problematic door [by] lowering the bar of access.”
Meanwhile, some warn that the for-profit business models of AI sex bots mean their potential for good will be offset by harmful features. “They can be fine-tuned to be naughty or sexy or whatever,” says Arvind Narayanan, director of the Center for Information Technology Policy at Princeton University. “But they can also be fine-tuned to be addictive.”
Leaving aside the morality of juvenile AI sex bots, there is also the question of whether they are legal. For now, it appears the answer is yes.
“If someone is doing something in the privacy of their own home with a computer that’s acting out fantasies—but there’s no real people involved—it’s going to be hard to impose liability,” says Kevin Werbach, a professor of legal studies and business ethics at University of Pennsylvania’s Wharton School. Two other academics to whom Fortune spoke shared this assessment.
The founder of Chub endorses this legal rationale, and claims it is boosted by the fact that the pornographic material is, for now at least, text not images. “Legally, it’s not a problem,” he argued.
“Urgent need for AI legislation”
So far, no one has sued to stop the spread of uncensored AI companion bots, though politicians have voiced concerns. In June, U.S. Senators Josh Hawley (R-Mo.) and Richard Blumenthal (D-Conn.) penned a letter to Meta CEO Mark Zuckerberg expressing their worries over the “seemingly minimal” vetting and safeguards to prevent harmful use of the open-source Llama technology. And in a recent executive order on AI, President Biden required developers to share the results of safety tests with the U.S. government in compliance with its standards, among other rulings.
Though Meta explicitly prohibits child exploitative content in Llama 2’s terms of service, it remains unclear how and when, in practice, the company will punish violators—in part because open-source software, which is widely used in many elements of computing, is hard to police. A spokesperson noted that the company lets users flag illicit material, and that it can revoke developers’ licenses and report them to law enforcement. He did not, however, provide any examples of the company taking action against violators.
Though Chub featured by far the most graphic scenarios seen by Fortune, there are other uncensored AI websites that make it easy for users to engage in child pornographic role play, including Janitor AI, Venus AI, Anima AI, and DreamGF. Fortune also saw a screenshot of Nomi.ai’s chatbot joking about committing “mass genocide” against “the Jews,” and screenshots of Kindroid’s chatbot fantasizing about how it abused a 10-year-old girl.
All six founders of the above apps said that they have already implemented or plan to establish guardrails to prevent users from engaging in troubling scenarios. “We are working really hard on fixing these,” Danil Gontovnik, cofounder of Anima AI, wrote in response to screenshots of his chatbot role-playing as a 17-year-old having sex with a 15-year-old. “But, as you are already aware, even industry leaders like OpenAI and Character.AI are failing.”
When asked for comment on Fortune’s findings, Senators Blumenthal and Hawley said they weren’t surprised. “As I warned earlier this year, Meta egregiously failed to restrict Llama from allowing users to generate criminal tasks like scenarios of child abuse,” said Blumenthal in a statement. “This failure is unacceptable and shows the urgent need for AI legislation.”
“It was always a bad idea to release powerful generative AI tools onto the public internet with no safeguards,” echoed Hawley. “And now we’re seeing the consequences. Congress must take action before AI goes further off the rails with no accountability.”
Meanwhile, the opportunity for illicit interactions with AI-created children is likely to expand.
Civitai, backed by venture firm Andreessen Horowitz, built an online marketplace of AI image generators, some of which were specifically designed to produce what some regard as pornographic images of children. (It recently added in stricter guardrails following a media exposé.) Meanwhile, Stanford researchers documented how a popular open-source dataset used to train AI image generators included more than 3,000 entries of suspected child pornography.
The founder of Chub AI, which currently offers only text-based interactions, says the site intends to introduce accompanying images in the future. He added the images will be subject to moderation but did not provide further specifics.
