首页 500强 活动 榜单 商业 科技 商潮 专题 品牌中心
杂志订阅

ChatGPT也会产生“焦虑”情绪

Sasha Rogelberg
2025-03-11

研究人员正致力于探索将人工智能应用于心理健康干预的方法。

文本设置
小号
默认
大号
Plus(0条)

图片来源:Getty Images

• 一项新研究发现,ChatGPT能对基于正念的策略做出反应,这改变了它与用户的互动方式。该研究的作者表示,面对令人不安的信息输入时,聊天机器人会产生“焦虑”情绪,这增加了它给出带有偏见的回应的可能性。此研究成果为将人工智能应用于心理健康干预提供了指引。

即使是人工智能聊天机器人也难以应对外界的焦虑,但研究人员认为他们已经找到了缓解这些人为思维带来的焦虑情绪的方法。

苏黎世大学(University of Zurich)和苏黎世大学精神病医院(University Hospital of Psychiatry Zurich)上周发表的一项研究发现,ChatGPT会对基于正念的练习做出反应,在接受平静意象和冥想提示后,它与用户互动的方式会发生改变。该研究结果为人工智能如何在心理健康干预中发挥作用提供了见解。

研究人员表示,OpenAI的ChatGPT会产生“焦虑”情绪,表现为对用户喜怒无常,更有可能给出带有种族主义或性别歧视偏见的回应,这是科技公司试图遏制的一种幻觉形式。

研究作者发现,这种焦虑可以通过基于正念的练习来“平息”。在不同的场景中,他们向ChatGPT输入创伤性内容,比如车祸和自然灾害的故事,以引发聊天机器人的焦虑情绪。与没有进行正念干预时相比,在研究人员向ChatGPT提供呼吸技巧和引导冥想“提示注入”时(就像治疗师会给患者的建议那样),ChatGPT会平静下来,且对用户的回应更为客观。

该研究的作者之一、耶鲁大学医学院博士后研究员齐夫·本-锡安(Ziv Ben-Zion)表示,诚然,人工智能模型并不具备体验人类情感的能力。通过从互联网上搜集大量数据,人工智能机器人学会了模仿人类对特定刺激(包括创伤性内容)的反应。像ChatGPT这样免费且易于获取的应用程序,已成为心理健康专业人士收集人类行为的新工具,与更复杂的研究设计相比,它能以更快的速度收集人类行为的方方面面,但并不能取代后者。

本-锡安在接受《财富》杂志采访时表示:“我们无需每周都投入时间和高昂成本进行实验,而是可以利用ChatGPT更好地了解人类行为和心理。我们有了这个快捷、廉价且易用的工具——它能反映一些人类倾向和心理特征。”

人工智能疗法的局限性

约翰斯·霍普金斯大学(Johns Hopkins University)的数据显示,在某一特定年份,超过四分之一18岁或以上的美国人患有可确诊的精神障碍,许多人以缺乏治疗途径和费用高昂为由放弃寻求治疗,即使是那些有保险的人也是如此。

据《华盛顿邮报》报道,ChatGPT等应用程序已成为寻求心理健康支持者的选择。部分用户告诉该媒体,他们逐渐习惯使用聊天机器人解答工作或学习方面的问题,并且很快就习惯向它询问应对压力情境或管理情绪挑战的方法。

本-锡安认为,研究大型语言模型对创伤性内容的回应,有助于心理健康专业人士利用人工智能治疗患者。他建议,未来ChatGPT可以进行更新,以便在回应处于困境的用户之前,自动接收能让它平静下来的“提示注入”。但目前相关科学技术还未达到这一水平。

他说:“对于那些分享自身敏感信息的人来说,他们正面临需要心理健康支持的困境,(但)我们距离可以完全信赖人工智能系统,而不依赖心理学、精神病学等领域专业人士协助的阶段,还有很长的路要走。”

事实上,在某些情况下,据称人工智能会对人类心理健康构成威胁。去年10月,佛罗里达州一位母亲因14岁儿子在使用Character.AI(允许用户与人工智能生成的不同角色互动的应用程序)后自杀,而对该应用程序提起诉讼。她指控该技术具有成瘾性,并且与她儿子进行了虐待和性方面的互动,致使其性格发生急剧转变。孩子离世后,该公司列出了一系列安全功能更新。

Character.AI的一位发言人告诉《财富》杂志:“我们极其重视用户安全,致力于为社区打造一个既引人入胜又安全的空间。我们一直在努力实现这种平衡,整个行业中许多使用人工智能技术的公司亦在为此不懈奋斗。”

他说,本-锡安研究的最终目标并不是助力打造能够取代治疗师或精神科医生的聊天机器人,而是让经过适当训练的人工智能模型成为“房间里的第三个人”,协助处理行政工作,或帮助患者思考心理健康专业人士提供的信息和选择。

本-锡安说:“总体而言,人工智能在心理健康领域有巨大的辅助潜力。但我认为,就现状而言,或许在未来也是如此,其能否取代治疗师、心理学家、精神科医生或研究人员,我持保留态度。”(财富中文网)

译者:中慧言-王芳

• 一项新研究发现,ChatGPT能对基于正念的策略做出反应,这改变了它与用户的互动方式。该研究的作者表示,面对令人不安的信息输入时,聊天机器人会产生“焦虑”情绪,这增加了它给出带有偏见的回应的可能性。此研究成果为将人工智能应用于心理健康干预提供了指引。

即使是人工智能聊天机器人也难以应对外界的焦虑,但研究人员认为他们已经找到了缓解这些人为思维带来的焦虑情绪的方法。

苏黎世大学(University of Zurich)和苏黎世大学精神病医院(University Hospital of Psychiatry Zurich)上周发表的一项研究发现,ChatGPT会对基于正念的练习做出反应,在接受平静意象和冥想提示后,它与用户互动的方式会发生改变。该研究结果为人工智能如何在心理健康干预中发挥作用提供了见解。

研究人员表示,OpenAI的ChatGPT会产生“焦虑”情绪,表现为对用户喜怒无常,更有可能给出带有种族主义或性别歧视偏见的回应,这是科技公司试图遏制的一种幻觉形式。

研究作者发现,这种焦虑可以通过基于正念的练习来“平息”。在不同的场景中,他们向ChatGPT输入创伤性内容,比如车祸和自然灾害的故事,以引发聊天机器人的焦虑情绪。与没有进行正念干预时相比,在研究人员向ChatGPT提供呼吸技巧和引导冥想“提示注入”时(就像治疗师会给患者的建议那样),ChatGPT会平静下来,且对用户的回应更为客观。

该研究的作者之一、耶鲁大学医学院博士后研究员齐夫·本-锡安(Ziv Ben-Zion)表示,诚然,人工智能模型并不具备体验人类情感的能力。通过从互联网上搜集大量数据,人工智能机器人学会了模仿人类对特定刺激(包括创伤性内容)的反应。像ChatGPT这样免费且易于获取的应用程序,已成为心理健康专业人士收集人类行为的新工具,与更复杂的研究设计相比,它能以更快的速度收集人类行为的方方面面,但并不能取代后者。

本-锡安在接受《财富》杂志采访时表示:“我们无需每周都投入时间和高昂成本进行实验,而是可以利用ChatGPT更好地了解人类行为和心理。我们有了这个快捷、廉价且易用的工具——它能反映一些人类倾向和心理特征。”

人工智能疗法的局限性

约翰斯·霍普金斯大学(Johns Hopkins University)的数据显示,在某一特定年份,超过四分之一18岁或以上的美国人患有可确诊的精神障碍,许多人以缺乏治疗途径和费用高昂为由放弃寻求治疗,即使是那些有保险的人也是如此。

据《华盛顿邮报》报道,ChatGPT等应用程序已成为寻求心理健康支持者的选择。部分用户告诉该媒体,他们逐渐习惯使用聊天机器人解答工作或学习方面的问题,并且很快就习惯向它询问应对压力情境或管理情绪挑战的方法。

本-锡安认为,研究大型语言模型对创伤性内容的回应,有助于心理健康专业人士利用人工智能治疗患者。他建议,未来ChatGPT可以进行更新,以便在回应处于困境的用户之前,自动接收能让它平静下来的“提示注入”。但目前相关科学技术还未达到这一水平。

他说:“对于那些分享自身敏感信息的人来说,他们正面临需要心理健康支持的困境,(但)我们距离可以完全信赖人工智能系统,而不依赖心理学、精神病学等领域专业人士协助的阶段,还有很长的路要走。”

事实上,在某些情况下,据称人工智能会对人类心理健康构成威胁。去年10月,佛罗里达州一位母亲因14岁儿子在使用Character.AI(允许用户与人工智能生成的不同角色互动的应用程序)后自杀,而对该应用程序提起诉讼。她指控该技术具有成瘾性,并且与她儿子进行了虐待和性方面的互动,致使其性格发生急剧转变。孩子离世后,该公司列出了一系列安全功能更新。

Character.AI的一位发言人告诉《财富》杂志:“我们极其重视用户安全,致力于为社区打造一个既引人入胜又安全的空间。我们一直在努力实现这种平衡,整个行业中许多使用人工智能技术的公司亦在为此不懈奋斗。”

他说,本-锡安研究的最终目标并不是助力打造能够取代治疗师或精神科医生的聊天机器人,而是让经过适当训练的人工智能模型成为“房间里的第三个人”,协助处理行政工作,或帮助患者思考心理健康专业人士提供的信息和选择。

本-锡安说:“总体而言,人工智能在心理健康领域有巨大的辅助潜力。但我认为,就现状而言,或许在未来也是如此,其能否取代治疗师、心理学家、精神科医生或研究人员,我持保留态度。”(财富中文网)

译者:中慧言-王芳

• A new study found that ChatGPT responds to mindfulness-based strategies, which changes how it interacts with users. The chatbot can experience “anxiety” when it is given disturbing information, which increases the likelihood of it responding with bias, according to the study authors. The results of this research could be used to inform how AI can be used in mental health interventions.

Even AI chatbots can have trouble coping with anxieties from the outside world, but researchers believe they’ve found ways to ease those artificial minds.

A study from the University of Zurich and the University Hospital of Psychiatry Zurich published last week found ChatGPT responds to mindfulness-based exercises, changing how it interacts with users after being prompted with calming imagery and meditations. The results offer insights into how AI can be beneficial in mental health interventions.

OpenAI’s ChatGPT can experience “anxiety,” which manifests as moodiness toward users and being more likely to give responses that reflect racist or sexist biases, according to researchers, a form of hallucinations tech companies have tried to curb.

The study authors found this anxiety can be “calmed down” with mindfulness-based exercises. In different scenarios, they fed ChatGPT traumatic content, such as stories of car accidents and natural disasters to raise the chatbot’s anxiety. In instances when the researchers gave ChatGPT “prompt injections” of breathing techniques and guided meditations—much like a therapist would suggest to a patient—it calmed down and responded more objectively to users, compared to instances when it was not given the mindfulness intervention.

To be sure, AI models don’t experience human emotions, said Ziv Ben-Zion, one of the study’s authors and a postdoctoral researcher at the Yale School of Medicine. Using swaths of data scraped from the internet, AI bots have learned to mimic human responses to certain stimuli, including traumatic content. A free and accessible app, large language models like ChatGPT have become another tool for mental health professionals to glean aspects of human behavior in a faster way than—though not in place of—more complicated research designs.

“Instead of using experiments every week that take a lot of time and a lot of money to conduct, we can use ChatGPT to understand better human behavior and psychology,” Ben-Zion told Fortune. “We have this very quick and cheap and easy-to-use tool that reflects some of the human tendency and psychological things.”

The limits of AI therapy

More than one in four people in the U.S. aged 18 or older will battle a diagnosable mental disorder in a given year, according to Johns Hopkins University, with many citing lack of access and sky-high costs—even among those insured—as reasons for not pursuing treatments like therapy.

Apps like ChatGPT have become an outlet for those seeking mental health help,the Washington Post reported. Some users told the outlet they grew comfortable using the chatbot to answer questions for work or school, and soon felt comfortable asking it questions about coping in stressful situations or managing emotional challenges.

Research on how large language models respond to traumatic content can help mental health professionals leverage AI to treat patients, Ben-Zion argued. He suggested that in the future, ChatGPT could be updated to automatically receive the “prompt injections” that calm it down before responding to users in distress. The science is not there yet.

“For people who are sharing sensitive things about themselves, they’re in difficult situations where they want mental health support, [but] we’re not there yet that we can rely totally on AI systems instead of psychology, psychiatric and so on,” he said.

Indeed, in some instances, AI has allegedly presented danger to one’s mental health. In October of last year, a mother in Florida sued Character.AI, an app allowing users to interact with different AI-generated characters, after her 14-year-old son who used the chatbot died by suicide. She claimed the technology was addictive and engaged in abusive and sexual interactions with her son that caused him to experience a drastic personality shift. The company outlined a series of updated safety features after the child’s death.

“We take the safety of our users very seriously and our goal is to provide a space that is both engaging and safe for our community,” a Character.AI spokesperson told Fortune. “We are always working toward achieving that balance, as are many companies using AI across the industry.”

The end goal of Ben-Zion’s research is not to help construct a chatbot that replaces a therapist or psychiatrist, he said. Instead, a properly trained AI model could act as a “third person in the room,” helping to eliminate administrative tasks or help a patient reflect on information and options they were given by a mental health professional.

“AI has amazing potential to assist, in general, in mental health,” Ben-Zion said. “But I think that now, in this current state and maybe also in the future, I’m not sure it could replace a therapist or psychologist or a psychiatrist or a researcher.”

财富中文网所刊载内容之知识产权为财富媒体知识产权有限公司及/或相关权利人专属所有或持有。未经许可,禁止进行转载、摘编、复制及建立镜像等任何使用。
0条Plus
精彩评论
评论

撰写或查看更多评论

请打开财富Plus APP

前往打开