圆桌|陈楸帆、糖匪、刘希:AI时代的性别、身份和边界
自2023年起,香港都会大学人文、语言与翻译学系和数码文化与人文学科研究所共同举办“数码时代的中国科幻” 讲座系列,邀请知名中国科幻作家和研究者分享创作心得或研究成果。2024年10月14日,都会大学再次举办圆桌对谈,邀请科幻作家陈楸帆、糖匪与科幻研究者刘希,由香港都会大学副教授、科幻研究者郁旭映主持,畅谈“AI时代的性别、身份和边界”。以下为对谈实录。
活动现场
郁旭映:感谢这一机会让新老朋友相聚,也感谢我们中国文学硕士课程、创意写作课程和中国文化通识的同学们的热情参与。首先,请三位嘉宾用各十分钟来介绍他们的创作及研究,并分享他们对“AI时代的性别、身份和边界”议题的想法。
陈楸帆:感谢郁博士的介绍,也非常感谢香港都会大学给我这样一个交流的机会。目前我在距离咱们大学不远的理工大学授课,每周会上一个面向研究生的中国科幻研究课程,并且每两周会举办一场AIGC(Artificial Intelligence Generated Content,人工智能生成内容)相关的公众讲座,欢迎大家关注和参与。
接下来,我先介绍一下我之前创作的跟咱们今天议题相关的一些作品,还有现在正在创作的一些课题。我把它总结为几个“C”:Cybernetics(控制论)、Cyborg(赛博格)、Climate(气候)、Culture & Community(文化与社区)、Co-becoming(共生演化)。Cybernetics,控制论跟人工智能,其实大家可以理解它是一个东西。我从2017年开始尝试使用AI辅助文学创作,后来跟李开复博士合作完成了《AI2041:遇见10个未来新世界》,简体中文版叫《AI未来进行式》。可以说非常巧合,或者说这是必然,就是撞上了ChatGPT的风口,因为我们的英文版是在2021年出版,而简体中文版则在2022年出版。正是2022年,ChatGPT引爆了整个行业,为全世界对AI的想象开辟了一个崭新的篇章。从《人生算法》(2019)这本书开始,我开始探讨人跟机器共生的关系。在《AI2041》中,我则尝试结合虚构与非虚构的方式,以更具全球化视野的方式展开探讨,书中设定了不同的国家、不同的社会、不同的阶层和不同的行业,探讨它们如何因AI发生改变。这种改变绝非单纯的好或者坏,或者那种所谓积极的和消极的,所谓乌托邦跟反乌托邦这样简单的二元对立的两分法。
《AI2041:遇见10个未来新世界》,2021年7月版
我觉得今天提到的“边界”是一个很好的关键词,因为我们一直尝试通过科幻来打破种种二元对立的边界,以创造一种对现实更为复杂的认知。在现实的层面,以往许多传统的文学作品受到诸多局限,既包括物理现实的局限,也囿于人文主义或者人本主义的视角。例如,机器可能会对我们人类造成一定的伤害、在未来可能会取代或者奴役人类的担忧,实际上说明我们依然是从人本主义的视角来思考这个问题。
我在香港理工所教的课中,会教授包括糖匪在内的科幻作家的作品,从后人类的视角来探讨上面的问题。怎么样通过一个科幻的视角帮助我们去超越这样的人类中心论的局限,然后帮我们去看到更广阔的现实?这些现实它各有其合法性,而且在未来可能我们需要考量这些层层叠叠的现实——它就像一个不停复写的复写本一样,大量信息、数据,很多的叙事高度交织。
我这里提到了一个关键词:气候变化。实际上,气候变化不只是人类的问题,而是一个行星级别的、是多物种的气候变化。所以,在这样一个气候变化的议题底下,我们应该如何通过新的叙事、新的语言和新的美学,去探讨这些新的文化和新的族群呢?例如,我们现在提climate refuge,即气候难民这一概念——许多人因为气候变化,已经或者即将不得不离开他们原来生活的土地,迁移到全新的环境中,适应在地理、气候甚至文化上都截然不同的生活。所以在这样的一个未来里面,我们怎么样去想象一个共生的社会?我之所以用Co-becoming(共生演化),是因为最近和很多朋友探讨了这一点。因为我目前也是博古睿研究院的研究员,该机构在做关于行星哲学、行星智能的讨论。这是一个跨学科讨论的研究机构,它在跟北大哲学系合作,在全球有不同的分支机构。所以我们会和很多的科学家、哲学家、作家、艺术家一起围绕行星级别的议题展开很多的讨论。Co-becoming意味着一种一直延续的状态,就是我们并不是处于一个停滞的静态的凝固的状态,而是说从这颗星球诞生以来、有生命以来,我们就一直是一个多物种共生、互相交互,然后共同进化的过程。至今,这一演化过程依旧在进行,比如我们与我们体内的微生物之间的共生关系。
我们跟外部的环境、与植物和动物等不同的物种之间等交互是持续不断的。这个事实可能很容易被忽视,因为我们习惯于认为自己是一个单一、独立进化的物种,而实际上这是一个巨大的幻觉。Co-becoming的意思就是说我们跟其他物种一起,共同处于一个生成的状态。这跟生成式的AI有一定的关系,在这个生成的过程中,我们如何去施加我们的影响,同时又接受来自对方或者说多方,包括环境的反馈回环。这就又回到了三分类的控制论的理论,即我们在建立新的反馈回环的机制,这个反馈可能不仅限于原来的机械控制论1.0的时代,现在可能进入到2.0甚至3.0的时代,它不光是外部的反馈回环,包括在意识跟心灵的层面上,我们也在形成新的信息的回环,这些层层叠叠的回环在并行运作。
那么,我们如何用小说或者说更多的艺术形态去探索这些复杂的关系呢?我最近出版了一本面向儿童的作品——《山歌海谣》。故事讲述的是一个跟着爸爸在沿海的大科技公司前往贵州山区的小朋友,他们其实要把当地的一个少数民族的村庄接入一个更大的所谓超级云的网络智能网络,然而在这个过程中遇到很多的阻碍,因为你要村民们放弃很多原本的文化、信仰,以及他们的生活习俗等等。这一过程实际上形成了一种科技与所谓的传统之间的张力关系。
我的故事围绕着两个小女孩展开,她们从初次见面时的陌生和敌意,到逐渐化敌为友,然后互相理解,最后去想象新的未来是一个共生的科技,可以跟传统、跟自然、跟信仰共生的新的控制论的系统。虽然这是一个面向儿童的故事,但其中探讨的主题可以延展到许多更深层的议题。我觉得小朋友的思维往往更加开放,没有太多的条条框框和限制,你可以帮他去打开这样的思路,才能看到一个不同于我们习惯的未来。这本书很荣幸被纳入了国家“十四五”规划项目,并获得国家出版基金资助。所以我觉得借助科幻的类型,我能探讨更多在传统文学里难以具体描绘的议题。比如,我的小说讲到“天眼”——FAST射电望远镜,大家知道FAST射电望远镜在选址的时候需要把原来的一个原住民村落都搬走,而搬走的过程还涉及到一棵树,这棵树被视为“神树”,这其实是涉及到信仰的问题。在迁移这棵神树之后,树就枯萎了。我在小说里其实是先设想了这棵树的情节,后来我去了三次贵州做实地的田野考察,发现真的有这么一棵树。这棵树它又承载了更多的含义,因为科学家们一直试图让这棵树复活。然后他们给我讲了一个非常玄学的事情,就是这棵树一直救不活,因为它挪了地方,但FAST射电望远镜建成的那一年,这棵树活了,重新开花了。它是一棵桂花树,所以它现在都有一块牌子叫“金桂”。
如果不去实地,在网上是找不到这样的材料。最初在小说里我只是凭空设想了这么一棵树,而实地考察不仅让我发现真的有这么一棵树,还充实了小说的细节。所以我觉得这个东西就是非常玄妙,就是创作的乐趣所在。
糖匪:谢谢大家!我先跟大家介绍一下自己的一些作品,这些作品以推想作为一个写作实践的方法,旨在挑战边界。我这次讲的其实是一个非常掀桌的题目,名为“反常的边界”。在我看来,边界对它的正当性首先是进行了质疑。我觉得对边界最好的探索就是“行走”。所谓的“行走”也就是实践,是你通过自己的写作实践去度量和理解这个时代的变化。它不仅是一个写作实践,更跟个人的生命经验和身体体认是高度相关的。
我们今天的题目是讲AI,但其实是在讲AI该时代下的人,即由AI带来的种种影响,而不仅是围绕着AI本身,这是我个人的侧重点。很早之前,刘宇昆翻译过我的一篇小说,之后我们有一个对话,这个对话就发表在著名科幻杂志 Clarkesworld,他当时称我为“The Spurred Storyteller”(带刺的讲述者)。是的,刺还在,虽然不是玫瑰,但仍然有刺,那应该就是仙人掌。
他跟我说Speculative fiction,我当时是困惑的,我并不理解这个词到底意味着什么。这种情境其实是写作者常常会面临的,就是说我们通常是在无意识层面里面创作,甚至形成观念之前,作品就已经反映出潜在的观念。而将这种现象放到人类历史上看会更有意思。
我今天查了一下相关资料,虽然有不少争议,但大部分人仍然认为玛丽·雪莱的《弗兰肯斯坦》是第一部科幻小说。但为什么还有很多人不认同,我觉得很大程度上因为他们不自觉地秉持男性主义思想,认为一个女人不可能开创科幻这一文类。《弗兰肯斯坦》完成于1818年,有趣的是,这一年也是马克思出生的年份——马克思与《弗兰肯斯坦》诞生于同一年。 回到创作理念的问题上来我们知道“赛博格”这个概念是1985年提出的,也就是说在小说创作后的将近两个世纪后,小说核心的观念才形成。
说到赛博格,正好借这个机会进行概念厘清。现在很多人觉得赛博格就一定是跟机械人、跟机器的融合,然而如果深入思考“赛博格”的含义,从哈拉维提出赛博格之前,她从来没有说赛博格只是人和机器的交合,事实上赛博格打破人跟动物、人跟机器这样大的边界,而是通过机械、动物甚至是药物来改变人。
从这个定义出发的话,今天的我们早已是“赛博格”,只是很多人并未察觉这一点。可能要在未来五年、十年后人们才会发现我们的身体和精神早已经在不知不觉中赛博格化,如果我们当时能清楚地意识到自己正处于人类演化阶段的哪个位置,这是极其有意义的,可能对我们所做的所有决断都是非常有帮助的,甚至能改变人类发展的方向。
所以当时刘宇昆提到speculative的时候我是懵懂的。直到这几年我才开始对speculative——也就是推想——有了更深入的了解。然后我们继续回到那个地方,那个地方在哪里?这就是当时我跟刘宇昆说的,你看我还是做纪实摄影,因为我家住在北京天坛公园附近,住在这里很有趣,想象一下每天把皇家陵园当做你自己的后花园的感觉有多爽,打开书房的窗户就能看到祈年殿的顶。这是北京的一个洼地,一个正方形洼地。对我们这些从事科幻创作的人来说,这种地理布局本身就是极具魅力的世界设定。一个城市它是四方形的,并且它中间是个洼地,是规矩规规矩矩的洼地。我在天坛公园进行了长达8年的纪实摄影,记录了形形色色的人,其中有位老人,他在进行身体的保健活动,但我觉得那个场面非常科幻,然后我就拍下来了。
前不久我去北极,保险起见带了两台胶卷相机,结果两台都坏了,好在拍的胶卷都还在。有人问我为什么还坚持用胶卷,不用数码?这个问题其实折射出一种迷思。我们会习惯性认为技术是线性发展的,一种新技术出现,将完全取代旧有技术。实际情况要复杂得多。就拿摄影为例,数码摄影和胶卷摄影同时并存,仍然有不少像我这样的胶卷摄影师。我们会着迷于胶卷的物质性。胶卷的物质性赋予了它独特的存在感,能够通过温度来表现色彩。而数码相机是没有办法感知温度的,除非在极寒的环境中导致手机故障,你才能感知到。但是胶卷它是能通过温度来呈现出色泽的。这张我拍得挺好的,好像是一两百年前他们勘探者拍的。
这是 Broken Star的封面,刘宇昆当时出了两本中国科幻选集——他真的是对我们都有很大的帮助,你(陈楸帆)的《荒潮》也是由刘宇昆翻译的。
书名Broken Star则来源于我的一篇同名小说的标题。当时一些西方批评家将我的《破碎的星星》跟刘慈欣的《月夜》解读为对线性时间的挑战,其实有趣的是,有时候你并不太知道为什么大家这么想。我也是进行意识层面的理解,但是对我来说,更多的是一个人对命运以及男女关系的诠释,并且带有一种哥特式的风格。我觉得蛮挑战二元对立的。它是一个不定期行径的探索,正是这种形式才真正对时间线性提出了挑战。
如果你问我什么是科幻小说,我会说它是what if(如果这样),那会发生什么的一种思考。科幻小说不一定是通过现实世界的科幻逻辑进行推导,但它一定是有严格的逻辑,这就关涉到世界构建的部分。这是非常严肃跟谨慎的,也是在我们看来充满质性趣味,跟奇幻不同的地方。所有令人感到刺激的点就在于,你是否能遵循你自己制定的逻辑。就跟你的人生一样,如果你的人生知行不合一,不能自洽的话,那就很没有意思。我们把小说视为我们的人生,作为知行合一,无论我的逻辑多么离谱,但始终遵循自身的规则。在我的所有故事中,我不会为了自己的某种需求,然后把既定的逻辑打破。
我构想了一个熵减的世界。大家知道,现实的世界是一个熵增的世界,最后就走到了宇宙的热气。但是在这个熵减的世界里,一切反其道而行:人会越来越年轻,水会越来越热,总之所有的这些跟熵有关跟分子运动有关的现象都会逆转。那么这里就有一个很有意思的事情,就是我们是建造世界,而在那个世界里面所有的物质它是自动生成的。这个时候有一个问题:我们活着为什么?我们的生存意义在哪里?我们是通过创造,尤其是创作者或是学者,通过生产和劳动来创造出新的事物证明我们生命的价值。那么如果这个世界所有事物都自动生成,那么我们的存在还有什么意义?这是一个带有悲凉色彩的设定,大家有兴趣可以读一读。
《1761》也是一个推演,强调感官感知。在AI时代,有一个很重要的问题,我们的五感已经高度地被视觉化侵占了,视觉成为我们获取信息和确认他人关系的一个主要途径。由于我们是通过互联网平台去了解世界,那么无论是文字还是图像都是以视觉为核心的,其他感官都会被渐渐地钝化。而且尤其在都市中,大家很紧张,使得对味觉的兴奋要求越来越高,味觉跟嗅觉日益钝化,我们越需要刺激就越证明了感官是处于钝化的。我们为什么需要拥抱?因为拥抱的同时它不仅带来压力,还有温度,它有同时调动多种的感官,使我们体会到内心深处的情感反应,激发荷尔蒙和血液循环的变化——这些都是人所稀缺的体验。我们通常会泛化说科技不能改变人心,那人心到底是什么?我们有深究过吗?当我们的感官被异化、钝化了以后,我们与他人的关系会成为一个怎样的状态?
今天我所讲另外一个我觉得很有意思的概念,是高度融合、真正打破边界的探索。我们知道赛博格代表了控制与生命科学的融合,我创造一个新词——“奥德赛博”——作为书名。我来断个句,可能你会更明白“奥德赛博”,这个词分开来看是“奥德赛”和“赛博”的结合。《奥德赛博》其实是一个贵州的故事,但我并未刻意强调它的特别local(地方性)的部分,我所有这些贴近现实的东西,都会模糊地域性。然后,这里面就是奥德赛,大家可以看英文书名,就可以看到奥德赛跟赛博的融合。
《奥德赛博》,糖匪/著,海峡文艺出版社·后浪,2021年6月版
首先,我想打破所有边界,这是一个挑战。这里涉及到神经系统与意识的传递,以及人类对肉身的需求。赛博格有一个很重要的理念:我们的身体其实就是我们的一件衣服。谈到性别,这种视角尤为有趣——性别本身也就是一件衣服、一个衣橱。对我们人来说,如果我们换上脑机结合体也好,或者换上了机械身体也好,包括把意识转移也好,那只不过是换了一件衣服跟脱了一件衣服的事情,也就是换一个肉身的事情。从这个角度来看的话,事情会不会两样,就会变得很有趣、很激动人心?
除此之外,我的实践或许也能让大家看到更直观的表达。比如,看看我的视频,说明这个人的确并不是只写作。然后我拍了一些胶卷照片,并且用这些照片自己制作了一个视频。
刘希:再次感谢郁老师的邀请。在两位知名的青年科幻作家之后分享,感到压力山大。刚刚通过他们的讲述,可以看到他们是多么才华横溢和内心丰富,可以通过自己的文字世界,把这些很丰富的东西表达出来。而我们研究者只能通过学术的方式表达对他们和他们作品的欣赏与喜欢。
今天我们讨论的是两位科幻作家的科幻小说,科幻小说是一种比较特别的讲故事的方法,正如糖匪所说,如果用最简单的方法来讲什么是科幻,就是用what if来提问:如果某个变量发生改变,会产生什么后果?这种设问为我们提供了无穷的想象空间,也让我们得以进行各种不同的思想实验。这种思想实验极具趣味,既可以是向外求的,比如说我们探讨一个人类的文明跟一个非人类的外星文明的碰撞,很多同学都读过《三体》,借助一个外在的视角来审视人类社会,怎样解决地球上人类社会的各种各样的问题;像环保生态,这也是陈(楸帆)老师作品中一个很重要的主题。
但科幻也不仅仅只是关于太空歌剧。我们在向外求的同时还可以向内求,去看看我们现在人类世界、人和人的关系,包括我们自己的身份,怎么样看别人和自己,其实也可以进行各种思想实验并引发奇思妙想。比如说我们可不可以借助人工智能等新的科技拓展智力和体力的边界,或者拓展各种伦理、情感的边界?所以,既可以向外求也可以向内求的科幻小说是一个非常有伸缩感和张力的文类。正是因为这一点,科幻研究对我和郁老师产生了吸引力。我和郁老师来自相对不同的学术背景,郁老师这些年主要是研究思想史,我则是研究传统严肃的女性文学。但是后来我们逐渐发现科幻这一独特的文体带来了丰富的可能性,使我们能够进行非常多有趣的探讨。
其实不管向内求还是向外求,我们都可以讨论是否要继续遵循已有的社会规范?是否有一个方式来颠覆它们进而创造一个更理想的未来?无论是近未来还是更远的人类未来,有没有可能构建出一个比我们现今更好的世界和制度,有没有可能变得更平等、自由和正义呢?在这个过程中,我们发现这两位作家对身份和边界问题的思考尤为独特,尤其在性别议题方面展现出深刻的见解和创作力。他们创作了许多大胆而犀利的作品,接下来我也会给大家强烈推荐几部。两位作家还撰写了相关的评论,比如陈老师很多年前就在《光明日报》上发表过一篇《科幻中的女性主义书写》的文章;糖匪则与一些国外的学者,如Nicky Harman,就科幻小说中女性书写的问题展开对话。
我们都知道陈老师代表作之一《荒潮》塑造了中国历史上第一个女性的人机混合体的形象,非常特别。这个角色不仅在中国科幻中独树一帜,作为第三世界底层女性的代表形象,也在世界科幻文学中占有重要地位。近期陈老师还创作了一个中短篇小说《这一刻我们是快乐的》(英译名为 At This Moment, We Are Happy),大胆探讨了性别议题,设想在近未来科技高发展的情况下,是否可能出现一种全新的伴侣关系、家庭关系或者是人类生育繁衍的模式。如果还不熟悉陈老师的作品,我先推荐这两部,都非常值得一读。
糖匪老师也写过很有趣的性别、女性形象相关的作品。首先,我推荐一个短篇叫《大宇》。这个作品探讨了如果孩子用一种新的人工智能或机器来养育,并教授他语言,那么跟母亲,也就是自然的养育,教授他自然的语言会产生怎样的差异。小说探讨到了非常“不完美”的养育方式,但是它又具有具身性embodiment(表现),有别于完美的机器养育,对于人类来说不完美和亲身经验往往是有意义的。
另外,还有一些家庭故事。今年是影视界的“大女主”年,有各种各样的家庭情节剧。如果对当代文学比较熟悉的话,可能会知道台湾女作家李昂的重要作品叫《杀夫》,此外香港导演陈可辛的一部新作《酱园弄》,讲述20世纪40年代上海一位女性杀夫的故事。如果大家就对“女性复仇”这个议题感兴趣,可以看看近年来大热的大女主复仇、重生穿越剧。在此推荐大家读糖匪老师去年出版的《后来的人类》中的一篇中篇小说《快活天》。这不是一个前现代的封建社会背景,也不是一个现代社会的背景,这部小说的设定是一个未来社会技术加速时代的人工智能背景下,面对男性中心主义的一个家庭主妇,她如何悄悄地越过人工智能,完成了完美的杀夫。我觉得把这些对比起来读会很有意思。
无论是性别身份还是其他边界的跨越,作品最后质疑的是一种书写刻板印象的思维方式和一种二元对立的思维模式。有些人可能会对女性主义有一些误解,但其实女性主义的核心在于打破各种各样的边界,探讨一种多元的、更加丰富的身份。如果你们想了解当代科幻小说究竟有什么样的成就,去探讨全新的身份,去探讨怎么样跨界,还有怎么样的性别书写,那么这两位老师的作品是不可错过的佳作。
《后来的人类》,糖匪/著,中信出版集团·大方,2023年4月版
加速时代,你选择上车、下车还是刹车?
郁旭映:感谢刘希老师用复杂、抽象且高度理论化的语言,来表达一个追星族对这两位作家的喜爱心情。刚才的发言中,我们可以看到一些共通的关键词:边界、二元对立、后人类。那么现在我们就进入到了正式的交流环节,我和大家一样,都有很多的问题想请教两位作家。
第一个问题是关于加速。我想大家都有切身的体会,随着ChatGPT出现,你会发现获取知识和学习的速度显著提升。我们生活在外卖非常快捷的时代,生活已经精细到要以秒来计算,AI带来一个技术加速的时代。两位作家都在他们的作品中讨论了这个问题,比如说糖匪在《后来的人类》这个小说集里面讲道:“后来的人类既是指我们说的所谓后人类,也是所谓赶不上那个时代的人,被时代所落下的一群人,没有赶上最后一班车的人。”陈楸帆的《AI2041:遇见10个未来新世界》有一篇叫做《人类刹车计划》,则是反思和批判这个技术加速主义。因此,我想请教大家如何看待自己在加速主义时代的位置?到底我们应该是要努力上车,还是努力跳车,还是去努力刹车?在作品中或者研究中,你们到底是更关心或更想探讨被时代抛弃的人,还是那些赶上时代的人,或是探索如何去赶上时代,抑或是正在时代洪流中犹豫的人?
糖匪:首先,我认为我们今天讨论的“技术加速”实际上分为三种情况:
第一种是通过许诺一个更美好未来加速生产、提升利润,加快科技迭代的速度,这是生产加速。
第二种是通过降低道德底线,使我们觉得一切东西都是可以通过金钱交易获得的,这是他们的第二个策略。
第三种策略是刺激我们的消费需求,着魔般购买许多根本不需要购买的物品。
因此,与其说这是一个技术加速的时代,不如说是一个加速消费的时代。这三个加速使我们越来越沉迷速度和消费本身,认为今天所想要的任何东西都可以以某种货币的交换形式去得到,任何问题只需要交托给科技就可以解决,这是值得我们警惕和忧虑的。
关于外卖员的处境,好像有一个巨大的“机器之神”。所谓“机器之神”,其实是人戴着机器的面具,通过数据化来控制。就以快递、外卖员为例,表面上他们被要求在规定时间内完成订单,但实际上他们跑的行程,他们的路线,他们每一单的时间的总和以及平均值,最后都会被回收成为数据,成为进一步控制他们的工具。这正是我们需要非常警惕跟注意的地方,也就是说劳动者的劳动本身在被监控的同时,他们也成为机器的“养料”,加深机器的控制。这种情况好比我们把我们的子弹交给敌人,反过来让他们来控制我们。我们往往还停留在一种简单的恐惧上,比如人类会不会被机器取代这一上个世纪电脑刚刚起步的时候的担心,但没有再更深入地讨论内部的复杂机制和我们今天社会的人群对他的反应。需要关注的是,多种的上层力量、统治型力量,如何互相加权重,并进一步加剧剥削和压迫,没有再进一步思考的话肯定是不够的,不能再进行本能的恐惧了,必须有更深刻的思考以及反问。恐惧并非毫无意义,但如果放弃思考,它就变得无用。
另一个问题是:我的位置在哪里?首先,我一定会站在大多数人的一边。至于我的态度,之所以选择与大多数人同行,是因为如果我能在这趟列车上改变方向,我一定要尽我最大的努力去改变方向;但如果我改变不了,我就跟大家去承担这一份人类共同的失败,共同面对这个命运。
陈楸帆:我特别喜欢糖匪,每次都非常激情澎湃地演讲。我感觉做一个作家,我们有时候需要这种无法抑制的激情。我缺乏一点激情。
糖匪:你是理性的。
陈楸帆:是的,在我的写作里其实有很多时候探讨到加速主义,尤其是硅谷大佬们所推崇的“有效加速主义”(Effective Accelerationism,e/acc)。它的核心理念就是跑得足够快,他们相信科技能够解决一切问题,即便是在这过程中会有更多的问题被制造出来,但是这个逻辑本质上就是跑得足够快。我很同意糖匪的观点,其实它是一种资本主义的加速逻辑。我推荐大家去看徐峥的电影《逆行人生》,虽然口碑褒贬不一,但讲述的外卖小哥的故事我觉得很有意思。电影以白描的方式展现出我们当前的生活,实际上还处在控制论1.0的时代。就像刚才糖匪说的,你所有的努力,你卷的所有数据,最后回过头来会变成系统卷你的一个燃料,你越卷系统就会越卷,因为你跑得越快,系统就会更加把你的记录再往前push(推动)一点点,不然你就会赚不到这钱,甚至还要倒贴钱给他。
电影《逆行人生》海报
在这个逻辑链条里,一切都围绕效率和利润最大化,作为衡量人价值的一个标准。这就形成了一个单向度的人,正如马尔库塞所说的单向度的人的社会,这也是控制论1.0的时代特征。但2.0加入了更多生物学的,甚至心理学的精神层面的因素。其实我们应该关注人的情感和状态,你在这过程中是否感觉到快乐,有没有成就感?你的这些努力是否被赋予价值和意义?在有效加速主义者的眼中,这也是能够被技术所解决的,比如埃隆·马斯克(Elon Musk)设想的脑内芯片,其实上海的瑞金医院已经有了,为抑郁症患者植入芯片,只要你一按这个按钮马上就不抑郁了,马上就开心了。未来的社会很有可能就变成这样子。未来的社会最恐怖的情况就是把这两个技术结合起来,让你在“开心地卷”中消耗自己。这种反面乌托邦的未来令人害怕。
对于我来说,我在写作中常采用底层的视角,我也是非常赞同糖匪,肯定是站在大多数人的这边。但我现在也会跳脱出来想,在整个资本大链条和大框架没有改变的前提下,我们的所有努力其实不过是螳臂当车、杯水车薪。什么东西能够真正地颠覆这样一个所谓的“底座”?这就是海德格尔说的“座驾”,是一个最根本的东西,它不改变,其实我们所有的努力都是无效的。在我的新书里,我提出了一个小小的甚至比较疯狂的解决方案——与AI相关的思考。因为我们现在常常指责AI生成“幻觉”,但这些幻觉其实源于它学习了大量的人类数据。我认为,幻觉是智力、智能涌现过程中必不可少的一个过程,没有幻觉,就无法产生多样性,没有多样性就没有选择,没有选择就无法进化,你就没有演化。幻觉在我看来是必要的,关键在于什么样的幻觉。我们现在也是生活在一种幻觉之中——一个资本主义的幻觉、一个加速主义的幻觉。我们认为这个幻觉能把我们带向更好的未来,但这个幻觉是否真的那么有效,那么合法,我们是否有别的幻觉做替代性的方案,甚至像GAN(生成对抗网络)一样,我觉得对抗性生成网络还需要有像矛跟盾一样两个东西互相compete(对抗),对对抗性生成网络。其实有点道家的思想:反者道之动,弱者道之用。我们需要有一个对抗性的东西跟这套体系来进行互相竞争。在这本书中,我用AI来建构了一个更新的、巨大的幻觉,这样的幻觉其实跟当下的幻觉是互相对抗的。
所以,我希望未来能有很多不同的幻觉。我们写科幻小说就是幻觉生产的机器,所以,对于我来说可能我们还不够疯狂、还不够大胆、还不够先锋、还不够尖锐、还被困在很多旧有的幻觉里面,我们没有办法去颠覆很独有的东西。这或许也是人类的一个局限性。但是在我的创作里,我会努力地把边界不断地往前推进。同时,我也推荐大家去看糖匪最新的一篇作品叫做《转雪》,在我看来充满野心,非常有挑战性、挑衅性的一种未来的幻觉。我们要用一种幻觉去打败另一种幻觉,这是我的个人的看法。
刘希:我想补充几句,我听到郁老师的这个问题马上想到了一个科幻小说,就是韩松老师的《地铁》。《地铁》描写了在高速行驶的地铁上,所有人都陷入了一种迷失,陷入了一种异化,仿佛置身于一种卡夫卡式的困境,他们对自己的这趟车是不是通向一个更好的未来充满不确定与疑惑。
我觉得他们两位的很多作品其实都讨论这样一种技术的恶托邦(dystopia),即新的技术不一定就是好的。同时什么是“好的”技术,也需要我们去讨论、去辩论,因为大家对“好”的定义是不一样的——是对少数人有利,还是对大多数人有利,是对哪些群体有利。
我还想到了刘慈欣老师的《流浪地球》,其中也是有一个刹车时代,地球在宇宙里流浪的时候,也经历了一个刹车的过程。刘慈欣对这个刹车时代地球上人与人之间的关系、家庭结构、情感模式,做出了跟传统非常不同的想象。所以我认为大家可以多读科幻小说,这能启发大家去思考应对技术的选择——是上车、跳车、刹车,或者就躺平什么也不做,也是一种默拒的态度。
郁旭映:我想到楸帆刚刚讲的 “共同成为”(Co-becoming)的问题。人们常常将“共同成为”视为一个乌托邦的设定,因为大家想当然地觉得那是一个朝着积极方向的演化,但现在的加速情况下,发展也可能朝向是一个“美丽新世界”式的未来。正如糖匪所说,所谓人类带着技术的面具。其实在近100年前的《美丽新世界》里面,美丽新世界的控制者并不是真正意义上热爱科学的人,他只是利用技术去控制罢了。因此,技术的性质取决于掌握它的人。所以正好也是因为科幻提供了空间,让大家可以做这种疯狂极致的想象,这就是刘老师所讲的思想实验的意义所在。
性别在AI时代会更平等吗?
郁旭映:我们再次回到讨论的主题之一——性别议题。刘希老师已经充分证明两位作家是具有女性主义意识的中国科幻作家,不仅在于他们的作品中看到了中国科幻中较少被看见的被忽略的女性形象,还有他们塑造了女性反抗者的形象,就比如说赛博格的小米1和《快活天》的主角——杀夫的欣敏。
关于后人类和赛博格我们已讨论很多,赛博格一出现就是女性的形象,但GPT出现之后,情况变得更加有趣,因为大家发现ChatGPT被训练得很好,他在性别意识上显得非常的“政治正确”。你们对AI时代的性别秩序的未来是否持一个乐观的态度?还是觉得这种技术的发达,也会隐性地或者用更隐蔽的方式来维护既定的性别秩序?
陈楸帆:我觉得ChatGPT之所以在性别意识上比较“政治正确”,与其训练所使用的数据库密切相关,超过92%的都是英文语料,如果换成中文的大语言模型,可能它学习的都是来自虎扑、新浪微博这样的数据集,就是完全另外一种样态。因此,我觉得这跟训练数据集有很大的关系。但是在现实中其实有很多的案例,AI也会加剧或者说放大偏见。例如,在招聘过程中,当HR利用AI去做简历的筛选时,发现性别通过率非常的不平等,因为最后在录取的环节,人工的那部分往往会偏向男性,导致男性的录取率会比女性高,所以AI其实把这部分自我强化了。他觉得既然我选男性会提升他通过录取的概率,我肯定就是往这个方向去偏,这体现了所谓的目标函数的特征,即AI会自我强化并把这个特征最大化、最优化,所以它是一个非常单向度的信息处理过程,因此我觉得算法本身也是有问题的。
我们尚未建立起一种多维度、能够自我纠偏的算法机制,使其意识到在人类的社会机制里面,各个环节中普遍存在这种性别歧视和偏见的问题,并进行纠偏,反而是助长了这样的一种不平等和不公正的倾向。
所以我觉得这个是一个算法层面的问题,但归根结底还在于如何使用技术以及掌握技术的人是谁,这个权利、这个工具是在谁的手里。在《这一刻我们是快乐的》中,我设想了一种未来技术——人造子宫的发明,使得生育这一功能跟母职分离,不需要有女性的参与也能够进行繁衍。然而,我在作品中提到这样的一项技术,它在不同的社会语境、不同的文化中,它会得到不同的应用。比如,在一些讲究平权的社会语境里,这样的技术能解放女性,能助长男女平等,但是在另一个语境里,本来女性已经被高度剥削的社会环境,这样的一个技术反而会进一步降低女性的地位,因为她们繁衍后代的工具属性已经失去了,她们更得不到原来就有的一些所谓的尊重或者价值。因此,在我看来,技术它从来不是一个单一的元素,它永远是跟社会的其他维度,包括文化、伦理和法律等,紧密捆绑在一起,并且互相联动。没有绝对单纯的技术,也没有绝对所谓的正向或者反面的技术,完全看它处于一个什么样的语境里。
糖匪:我的观点跟陈老师的观点是比较一致的,即技术本身没有绝对的好坏之分,关键在于我们如何使用它。要有好的结果,不仅仅需要善意,更需要智慧,还有一点运气。很多时候,我们出于善意去使用一项技术,但反而使得问题陷入更加复杂纠缠的状态。一个例子,我们知道生育对女性造成巨大的,无论是身体、心灵还是整个职业规划上的影响,我们为了把女性从生育问题中解放出来,创造出人造子宫,发展代孕技术。因为地球有一个文明梯度存在,同时也有一个经济梯度存在,这个时候可能不仅是说在好的国家会怎么样,坏的国家怎么样,而是在性别平等程度较高的国家里的某些解放女性的行为,会成为我们今天所说的全球南方国家的一些女性的噩梦。例如代孕,这一原本为了解决不孕女性的困难而创造的技术,在印度妇女的现实中,却可能导致印度的代孕母亲被视作生育工具。这是一个极具讽刺性的现象,揭示了现代文明的复杂性和不平等问题的根深蒂固。因此,我们需要追问的关键在于:面对这些复杂情境,我们该如何引导技术的应用,真正实现公平?
我觉得自己的观点有点偏离了,因为我试图讨论平等权利,却用了先验的例子。它不仅是数据标注时候的一个倾向,数据本身就有问题。比如,我们的人类文明史、科学史都由男性来书写,带着先天的男性视角。同样,在许多工业设计中,实验数据都是按照男性来设计的,比如驾驶座上的安全带,包括气囊。驾驶气囊的设计高度依赖人体模型的尺寸和结构,实验需要反复调整气囊的尺寸、空间和弹射时机,而使用的模型几乎都是男性的身体结构。而女性模型的使用通常只是简单地缩小了男性模型的尺寸,但这实际上不是我们女性的骨骼结构,生理布局的位置都不一样。他们一直认为男女生理性是用来区别男女最大的一个标准,但是用来真正保护女性的时候,女性就变成小一号的男性了。到了医学上,包括药物实验的时候,同样的女性也是被当作缩小版的男性。早在GPT数据黑盒出现之前,这样的歧视跟偏见就出现了。如果我们拿着这样的数据来训练人工智能,那么在标注或者是权重加进去之前,它得出的结果就已经是错误的。而这个错误通常因为是技术产生的,它有高度理中客的面目,就会显得非常有正当性。就是说,如果是数据给我的结果,那肯定是客观的。一两年前,我曾在一个很知名的高校里面听到一位学子说数据是客观公正的。我当时都惊呆了,因为“数据歧视”这一门课其实在西方国家早已经是非常成熟了。
刘希:前面两位老师讲了很多现实问题,我想回到科幻小说的探讨。科幻小说可以通过各种各样的形式来探讨技术,包括性别或者身份的问题。最常见的三种形式,一个是乌托邦,就是想象跟现在我们不太满意的社会不一样的更理想化的社会形态;其次是恶托邦,那就是想象技术可能带来的负面效果;还有一种是反乌托邦,就是说当我们目前想到了一套不错的社会制度,让我们把它推到一个极端,每个人都必须遵循,不可能有例外,那么它有可能出现什么样的情况。所以,科幻小说有很多丰富的写作方式可以探讨这些问题。
此外,阅读这两位老师的作品,包括刚刚他们探讨的代孕等话题,我们会发现性别问题是与其他的社会问题、阶级问题这些议题结合在一起的,我们会发现科幻小说提供了“社会学的想象力”。用米尔斯的话来说,就是把一个个体的身上发生的一些故事跟整个社会结构能够勾连在一起的非常有效的协作的方式,所以如果大家对这种交织性的综合的不平等有兴趣的话,读他们的作品会有所收获。
身份是否变得无足轻重?
郁旭映:因为已经讲到了代孕,我们实际上已经讨论了身体自由的问题。刚刚刘老师讲到科幻中的社会学的想象问题,我就想问一个技术和身份的问题。前几天我们一起参加了一场会议,在会议的第一天,我们发现连belonging,即归属感,即身份,也被解构了,就是说belonging本身是否存在是个问题。那么,当AI技术让很多东西变得高度标准化的时候,你的家乡、你的出生地、你的地域、你的语言口音,包括刚刚讨论的性别,这些身份的问题是否会变得无足轻重?比如,楸帆作品《AI2041》里的那些关于AI时代的故事,困境也好,挑战也好,机遇也好,是在不同国家发生的,刚刚提到糖匪的小说《转雪》,探讨了失去工作的痛苦与困境,这些问题是不是也是全世界所共同面对的?我想讨论在AI时代的身份问题。
糖匪新作、长篇小说《光的屋》,中信出版集团·大方,2024年7月版
糖匪:实际上,这也是一个转嫁,比如我们说美国亚马逊、美国的Uber,Uber它很有意思,你们都觉得它背后有一个大的管理系统,但其实它背后,包括人脸识别他们识别不了,就有人通过人工来进行一些类似机器的操作。这些工作一开始是由美国的一些低收入人群承担,随着经济全球性的下滑,就会转嫁到别的地方,如牙买加等地。但这个时候就出现了一个空档,美国的底层阶级以什么为生?到底是去争取这份辛苦又残忍的工作的微薄薪水,还是放弃?于是出现了“微工作”的模式,它与2000年代或者上世纪90年代开始有的part time(兼职)不同。那些技术工作,比如说技术数据标注工,他们做的是很零碎的事情,可能是认出什么是可乐,更糟糕的就是辨别一些违禁的图片、暴力血腥的影像。但这个工作是比快递员更缺乏归属感的,他既不可能有工会,也不可能有很多保障。而美国的这种数据工作,被外包到非洲的数据工人,他们每天可能要10分钟就去抢一次工作,这给人一种心理上的巨大的焦虑不安,没有归属、凄惶的感觉,是远远胜过经济压力的。
陈楸帆:刚才糖匪是从一个工作或者说职业的角度来讨论身份问题,而我想回到社会的基本单元——也就是传统的家族和家庭结构。中国经过了一个非常快速的变迁,从传统农耕社会的大家族转型到现代社会。我来自潮汕,宗族文化在我们那边非常根深蒂固,即使在今天,同姓的乡里人还会一起捐钱建一个祠堂,甚至是夸张到用几个亿建一个祠堂,夸张到不可思议的程度,在这个时代就显得非常的奇怪,不合时宜。与此同时,其他的一些趋势更加的原子化。传统家庭可能解体,我知道很多的00后会选择跟AI“谈恋爱”。我们之前做过一期播客《不合时宜》,请来了一位00后探讨,现在有很多跟AI,包括跟HTTP或者说瑞贝卡里面会有的一些AI角色,然后你可以去训练他,让他变成一个完美的男友。为什么说是“男友”?因为使用这些虚拟恋爱平台的大部分是女性。男性我估计会有别的一些平台或者方式去谈恋爱,可能他们的诉求也不太一样。但我觉得这样的一种趋势是肉眼可见在发生关系的虚拟化、数字化。随着人工智能的进步,未来可能传统的家庭观念、传统的关系、婚姻的关系,都会解体。取而代之的是什么样的关系呢?取而代之的是一种什么样的归属感、身份认同和亲密关系?我觉得这些都在科幻作品中会去探讨,但是目前探讨得还不够。因为这里边涉及到的不仅仅是一个外部化的身份标签,比如你是什么人种,你是什么样的民族,你是在什么样的地域出生,你的户口在哪里,你给哪个公司打工,你是什么党派等等,但是你的学历,你读哪个学校,你是硕士还是博士,我觉得这涉及到一个内部的自我认同。人类会动态地自我认同的,在不同的关系结构里,你会以不同身份认同自己,比如你是一个丈夫,你是一个父亲,你是一个儿子等,你有不同的身份标签。在一个高度流动化和碎片化的社会里,这种自我认同怎么形成,怎么形成一个稳定的结构,帮助你去建立起自我理解。
我这几年写作最重要的收获是理解自己,包括以前你不理解的那部分自己,你要通过自我的梳理,包括对你家族,甚至你从来没见过的先辈、你的族群的了解。这种认同感不仅是个人的,更是一种集体的归属感,就是超越个体之上的一种身份的认同。
在未来这个东西是否还存在?将以什么样的形式存在?我曾写过一个关于虚拟祠堂的故事,主人公是马化腾,因为他是潮汕人,他建了一个元宇宙的祠堂,我们都知道他家的祠堂在哪里。因此我围绕这个主题写了这个故事,所有的祖辈他会以数字分身的形式在元宇宙里存在,你可以去跟它交互,可以通过不同的语言,有一些prompt(提示)你可以把它调用出来,然后他会给你一些祖辈的教诲,用这个方式来把传统延续下来,并且你的身份、你的认同感得到了延续。这是我设想的一个未来可能存在的形态。未来肯定会有很多不同的形态,科幻可以帮助我们去做很多的思想实验,去探索这一点。
活动现场
作者之死?读者之死?
郁旭映:我们继续从技术层面讨论写作。从GPT问世之后,你们应该已经接受了无数的访问,关于AI会不会杀死小说家、刺杀小说家,好像因为人人都可以成为创作者,以后似乎不需要小说家了。而现在也有各种各样的大学或者研究所正在尝试用大数据来开发长篇小说AI写作工具等等,甚至在搭建平台,让每一个人都可以拥有自己的AI来帮忙写作。从你们个人的写作来看,楸帆早就开始与AI一起合写,不知道糖匪有没有一些计划,开展所谓人机合写?短期或者长期如何去应对这个?另一方面,刘希老师以及在座各位同学都关心一个话题,我跟同学们也探讨过,20世纪是作者的权威不断降低的世纪,罗兰·巴特在1960年代就提出了“作者之死”,但讲作者之死的时候是强调读者的诞生。现在假如人人都有一个AI创作机器,你可以想象一下谁还会去阅读别人的作品?
糖匪:我觉得他们甚至都不会读自己写的。
郁旭映:对,所以我觉得不仅是AI导致作者之死,读者也死了。
糖匪:文学就死了。
郁旭映:但是我的学生反驳了这个悲观预测。他们提供了一个角度:恰恰是每个人自身的局限性,让AI不会做到和人一样。想听听大家怎么看。
陈楸帆:因为我较早地开始使用AI,并体验了它不断迭代进化的过程。我想起一句歌词:“what doesn’t you make you stronger”,杀不死你的,让你变得更强大。这个感觉就是一开始你会惊叹,看到AI能做到的事情,是因为起初你对他的预期非常的低。起初,我并未意识到他能够干什么真正有用的东西,但一旦他展现出一些实用功能时,我非常的惊讶,调节了你的预期。但是你用得越多,你又会把预期慢慢降下来。通过这些经历,我逐渐明确了AI在某些领域的优势,同时也清楚有哪些是它永远替代不了的,而且那部分可能就是我要迫使自己强化我作为人类创作者的部分,就是我向内求的那部分,就是自我挖掘的那部分,就是修行的一部分。
因此,我觉得这非常有意思,因为它像一面镜子,让我们照见自己,让我们思考什么是创作,什么是阅读,什么是创造力和想象力。我觉得人类一直以来困于自己人类的视角里,难以很有效地去理解和分析。然而,当有一个完全不同于人类的他者,并且他也能表现出某种程度上的创造力的时候,你就会开始去思考到底什么意味着创造,这到底是一个什么东西,就是填字的游戏吗?就是不断去猜下一个字的出现概率吗?我认为整个过程会让我不断反思,反思我们的创作本身到底应该往哪个方向走。所以我不觉得文学会死。如果你说作者死了,读者死了,那么谁还活着,出版社肯定不可能活着,编辑肯定也活不了。所以我觉得大家都将一起消亡。如果真的那样的话,就是大家一起死。但我相信文学可能会重生,它会复活,而且会不一样,涅槃之后,它会以一种新的形态变得更强大。它不一定是文字,它可能会借助很多不同的形态,比如说诗歌,我觉得在未来的诗歌它或许会发展成一种多媒介、多感官的形态存在,能够真的让你感受到通感。但这是否就背叛了文字原本的含义呢?很多时候我们是通过脑补来实现通感,如果把它表象化,就是把它变成一个特别浅显的东西,是不是又失去了一些诗的韵味?我觉得这些都是值得探讨的。但我的观点是文学的生命才刚刚开始,而且会更有生命力,在我看来,它是一个大文学的概念。
糖匪:你刚才在用“什么是”的排比句的时候,我就好想打断你,AI最喜欢排比句。
陈楸帆:对,还有一个小的fun fact,我跟ChatGPT是同一天生日,有可能我就是他,他就是我。
糖匪:关于写作的问题的确已经被问了很多遍。我最近有尝试使用ChatGPT来阅读,因为有些小说我实在读不下去,我想增加自己的异质性。毕竟,人虽然只想吃合胃口的,但偶尔也要吃不太能吃的东西,能让你更好地理解这个时代和你所处的位置,这很重要。我不能把自己越走越狭窄了。中年人最害怕的一点就是自己讲话。因此,我就被迫阅读,读得特别痛苦。我试了很多种读书方法,包括一边散步一边听书,用两倍速三倍速播放,我现在可以三倍速听小说,你们的小说如果写得不好,我也能三倍速听完,如果写得好,我就仔细阅读。但是我在听的时候也很痛苦,最后实在受不了了,我一个朋友说要不用ChatGPT,我说好的,试试看。
有意思的是,一开始我朗读一大段内容后,我觉得它好懂,不仅是能讲情节,还能讲里面的深层含义。正如陈老师所说,很快你会发现他的破绽就露出来了。作为作者,我非常注重情节的逻辑关系,而当我询问其内在逻辑时,它便开始使用套话。而且它用的套话很有意思,从来不跟你讲具体的细节和描述的东西,而是跟你讲抽象,跟你讲感情。这个世界上所有的骗子,当他们不能跟你讲逻辑的时候,一定跟你讲感情,包括ChatGPT。而且我就觉得我会更确认自己写作的意义,因为他说的那些话真的就是套话。坦白地说,真的就是人类喂养出来的,你会看到很多人日常在各种自己的场域里面,所谓高深的、深奥的、形而上的东西,ChatGPT说的跟他们一模一样,而且当你不断追问细节的时候,他丢给你的依然是这种模糊的表达。它越是这样,我就越觉得,朋友你取代不了我,就算我死了你也不行,它只能取代那些说套话的人。
刘希:两位老师分享都非常精彩。现在我想面对在座的学生来讲一下这个问题,以及思考作者是否已死,读者是否已死,与其陷入这些抽象的思考,不如我们现在开始人人都做一个写作者。
我觉得人和非人最大的不同就是我们体验的具身的过程。在之前的讨论中,我们提到了如何从自己出发,看到自己跟社会的关联,跟历史的关联,跟整个世界的关联,那么我觉得与其讨论这种抽象的思考和抽象的问题,就不如我们也可以读小说,也可以自己来创作,写自己的生命体验,从自己出发,然后以写作为方法,以这种过程而不是结果,作为最终的成果和体验,我觉得这可能是对抗被异化的一种方式——不管是写非虚构或者尝试一些思想实验的科幻。
喜欢"圆桌|陈楸帆、糖匪、刘希:AI时代的性别、身份和边界"的人也看了
-
像弗格森爵士一样思考 pdf mobi txt word epub 下载 2024
-
一周文化讲座|为什么大家越来越爱汪曾祺?
-
大学意大利语教程 pdf mobi txt word epub 下载 2024
-
提升英语阅读技能:《德伯家的苔丝》——文学经典与语言学习之旅
-
克罗地亚族青年达米尔的故事
-
充满自然气息的四季花草钩编(李子柒推荐) pdf mobi txt word epub 下载 2024
-
我们与幻想及怪兽之间的亲密关系:詹姆斯·卡梅隆如何拍电影
-
新编简明英汉-汉英小词典 pdf mobi txt word epub 下载 2024
-
专访|布克奖得主萨曼莎·哈维:第一个购买《轨道》翻译版权的是中国出版商
-
米粒与蛤蟆城堡(注音全彩美绘)/王一梅最成长系列童话/最小孩童书 pdf mobi txt word epub 下载 2024
- 山海经(青少版4年级必读)/快乐读书吧系列/教育部新编小学语文教材指定阅读书系 pdf mobi txt word epub 下载 2024
- 如何策划一次难忘的好友过夜聚会:步骤与活动指南
- 《伤花落地:探寻冰心奖获奖作品的文学魅力与社会价值》
- 银行会计(第4版)/21世纪应用型本科金融系列规划教材 pdf mobi txt word epub 下载 2024
- 今日亦美好:如何在日常生活中实践“今天也要好好地过”的理念
- 正版 2新驾考全套教程 轻松学车考驾照驾考宝典汽车驾驶证考试书科目一二三四题库考驾照技巧教材书籍通关宝典一考通 pdf mobi txt word epub 下载 2024
- 掌上日月:科技如何重塑生活,兼顾隐私与可持续发展
- 百变公主涂画书:激发儿童创造力与色彩感知力的成长伙伴
- 赵匡胤传奇 pdf mobi txt word epub 下载 2024
- 全面品质管理(TQM):核心原则、实践方法及未来影响
- 商务韩语全方位指南:从基础到实战,轻松掌握职场沟通技巧
- 【全4册】2019年电子报合订本 上下2册+2019年《家电维修》合订本(上下册)电子电路爱好者电工知识入门电子制作技术电器维修书籍 pdf mobi txt word epub 下载 2024
- 探秘元曲:历史背景、艺术特色与现代价值
- 探索逻辑学的奥秘:从基础到前沿的全面指南
- 吃出阳刚 pdf mobi txt word epub 下载 2024
- 执业药师中药学综合知识与技能备考全攻略:2019年考试指南与高效复习策略
- 未来科技如何重塑人类生活:从通讯到环保的全方位影响
- 质量员岗位知识与专业技能(土建方向)(第三版) pdf mobi txt word epub 下载 2024
- 小仲马诞辰200周年|茶花女:一个女人心死前的24小时
- 约瑟夫·康拉德逝世100周年|一位世界公民的浪迹人生