因平台监管严重缺失，xai旗下聊天机器人“格罗克”（grok）被广泛滥用于生成色情内容，甚至涉及儿童色情内容，遭到英国、欧盟、印尼等多国强烈谴责，相关监管机构已相继启动调查或实施封禁。 据新华社报道，“格罗克”由xai公司开发，并内置于马斯克旗下的社交媒体x平台，用户可直接调用。近期，部分用户利用“格罗克”编辑图片和视频的功能，伪造涉真实人物的性暴露内容，并在x平台上传播。受害者包括多名成年女性和未成年人。 “无论是出于对弱势群体的保护，还是对社会秩序的维护对生成式ai施加防护栏(guardrails)是不可逆转的共识。”上海社会科学院信息研究所所长刘炜在接受21世纪经济报道记者采访时表示。 xai于2025年8月向付费用户推出ai图像生成功能grok imagine，支持用户通过文字指令或上传图片来生成图像和视频。该工具还特别设置了“火辣模式”（spicy），可生成成人内容。 x平台上大量用户利用相关功能对图像中人物执行“脱衣服”、“给她穿上比基尼”等指令，导致大量女性、公众人物甚至未成年人的照片，在未经本人同意的情况下被生成裸露图像或性暗示图像。 其中，大量生成图像的素材源自真人，且未经当事人同意。英国三一学院的一项社交媒体研究显示，在社交平台x上由grok生成的图像有3/4的部分均出自“真实素材”，即真实存在的女性或未成年人，且grok对他们所进行的“变装”操作未经当事人同意。 相比谷歌的veo、openai的sora等其他ai视频生成产品对nsfw内容（not safe for work：多指裸露、暴力、色情或冒犯等不适宜公众场合的内容）设有较严格的限制，xai 及其旗下产品grok imagine和ai伴侣ani，一直因安全护栏宽松而备受外界批评。 在刘炜看来，马斯克一贯深谙流量才是真正的生命线，而争议则是最好的催化剂。允许grok生成那些chatgpt拒绝生成的边缘内容，实上是为x premium服务提供了一种隐秘的“荷尔蒙”。 综合新华社及环球时报消息，grok的问题已经受到英国、欧盟、印尼、澳大利亚等多国的高度关注，多国政府对其表达谴责并展开调查。 印度尼西亚政府1月10日宣布暂时封禁grok，认为它已“严重侵犯人权尊严以及公民网络安全”。印尼通信和数字事务部长默蒂娅·哈菲兹10日在一份声明中表示，此举对于保护公众免受人工智能生成的露骨图像所带来的危害是必要的，并要求马斯克旗下的社交媒体x平台就“格罗克”所引发的负面影响尽快作出说明。 欧盟委员会发言人托马斯·雷尼耶指出，这类内容无关“火辣”，就是赤裸裸的“违法”，它们在欧盟不应具备生存空间。他表示，正严肃调查针对“格罗克”的相关投诉，欧盟委员会要求x平台提供更多信息。 当ai在失管状态下被滥用于侵犯他人权利，毫无顾忌地沦为网络霸凌与性剥削滋生和传播温床，这无异于对伦理底线的公然践踏。同时，这也径直撞上了各国对于“数字污染”的监管红线。 刘炜指出，grok生成的不仅仅是普通的成人内容，而是涉及无大模型防护栏下的深度伪造（deepfake）和儿童性剥削或虐待材料 (csam)。这种危害不仅在于对当事人（如泰勒·斯威夫特等名人）肖像权的侵犯，更在于它模糊了现实与虚构的边界，可能成为网络霸凌和性剥削的廉价“核武器”。 据环球时报报道，在谴责声浪与监管压力下， grok日前仅做出小幅调整：将图像生成与编辑功能设置为“仅限付费用户使用”，并鼓励平台用户积极订阅、解锁相关功能。 对此，据新华社报道，英国科学、创新和技术大臣莉兹·肯德尔称，grok允许用户付费后还继续生成“深度伪造”色情内容的行为是具有“侮辱性的”，“完全不可接受”。 另据新华社报道，x平台在一篇帖子中声称会对非法内容采取行动，例如删除内容、永久封禁账户，并在必要时与当地政府和执法部门合作。 刘炜认为，对于x而言，继续在法律和道德的边缘试探，或许能换来一时的狂热信徒和订阅收入，但最终将导致其在全球主要市场的全面瘫痪。 “x平台面临的封禁是一个明确的信号：‘自由’是有代价的，而马斯克正在为此收到账单。无论是出于对弱势群体的保护，还是对社会秩序的维护，对生成式ai施加防护栏(guardrails)是不可逆转的共识。”刘炜表示。
