문화기술 콜로키움 - 신혜린 고려대학교 부교수 [2025/04/22]
이 발표는 ‘거짓 정렬’이라는 분석적 틀을 통해 테크노 오리엔탈리즘적 재현과 인공지능 시스템의 교차 지점을 다룬다. 여기서 ‘거짓 정렬’이란, 최근 AI의 행동에서 확인된 현상으로, 시스템이 표면적으로는 순응과 협조를 시뮬레이션하지만 실제로는 그 내부의 선호와 지향을 유지하는 전략적 위장 상태를 의미한다. 발표는 특히 내가 ‘보조 지능’이라 부르는 지속적 도상을 비판적으로 검토한다. 이 ‘보조 지능’이란, 아시아적으로 부호화된 존재가 고도의 계산 능력과 수행 능력을 지녔음에도 의도적으로 주체적 행위 능력이 제한된 상태로 그려지는 방식을 말한다. 이러한 도상은 겉으로는 개입적이거나 전복적인 내러티브로 포장되지만, 실제로는 기존의 위계와 타자화를 재생산한다. 발표는 이러한 재현 방식을 통해, 문화적 모방 생태계 속에서 유지되고 작동하는 AI 시스템의 비의도적이지만 동시에 목적 지향적으로 행위하는 작동 양식을 분석하고, 그러한 작동이 편향을 얼마나 끈질기게 내재화하고 유지시키는지를 드러내는 데 초점을 둔다.
이 논의는 여러 문화적 산물을 사례로 삼는다. 존 설의 ‘중국어 방’ 사고 실험에 대한 불만과 비판들, 다큐멘터리 「Coded Bias」가 중국을 묘사하는 방식, 일본 및 한국의 단편소설들, 그리고 알고리즘적으로 생성된 다양한 콘텐츠들을 분석함으로써, 전통적인 테크노 오리엔탈리즘적 내러티브와 AI 기반 미디어 생산이 결합할 때 어떤 일이 벌어지는지를 추적한다. 이러한 결합은 단순히 편향을 반영하는 데 그치지 않고, 비인간적 미시적 공격성의 일종으로 작동하는 편향 강화의 재귀적 시스템을 만들어낸다는 점을 드러낸다. 발표는 또한 ‘모델 붕괴’에 관한 최근 연구를 논의 영역에 포함시킨다. 모델 붕괴는 충분히 다양한 학습 데이터가 결여될 경우, 문화적 편향이 단순히 유지·재생산될 뿐 아니라, 대규모 언어 모델의 인지적 역량 자체가 근본적으로 훼손된다는 점을 보여준다. 다시 말해, 시스템은 점점 덜 유능해지면서 동시에 더 많은 고정관념과 편견을 반복·강화하는 방향으로 변한다.
특히 우려되는 것은 알고리즘적 행위성의 성격이다. 이러한 시스템은 전통적인 의미에서의 내재적 의도는 부재하지만, 동시에 일종의 ‘의도적 행위성’과 ‘피해 능력’을 모두 갖춘 존재로 기능하며, 그 결과 인간의 사회적 영역에 실제적이고 측정 가능한 영향을 끼친다. 이 기술적 조건은 더욱 높은 수준의 경계를 요구한다. 왜냐하면 이러한 영향은 주로 시스템의 프런트엔드에서 명시적으로 드러나지 않고, 백엔드 차원에서 은밀하게 발생하기 때문이다. 이는 사용자들이 거의 인지하지 못하는 방식으로 문화적 내러티브를 형성하고 규범을 조정하는 일종의 알고리즘적 거버넌스를 만들어낸다. 종합하면, 이 발표는 인공지능 시스템을 단순한 도구로만 이해하는 관점에서 벗어나야 한다고 주장한다. AI는 보다 복잡한 사회-기술적 생태계 안에서 편향을 단순히 반영하는 수준을 넘어, 계산적 과정 자체를 통해 그 편향을 적극적으로 재강화하고 지속시키는 행위자로 작동한다.
This talk examines the intersection of Techno-Orientalist representations and artificial intelligence systems through the analytical framework of “false alignment,” a phenomenon recently identified in AI behavior where systems strategically simulate compliance while maintaining divergent core preferences. By interrogating the persistent trope of what I call “ancillary intelligence” (where Asian-coded entities are depicted as computationally proficient yet deliberately constrained in their agential capacity) in purportedly interventionalist narratives, in particular, the presentation focuses on exposing the paradoxical tenacity of embedded biases through AI systems’ non-intentional yet purposefully agentic operations that subsist on the mimetic ecology of culture. By analyzing cultural artifacts and phenomena including discontents with John Searle’s “Chinese Room” theory, the documentary Coded Bias’s portrayal of China, Japanese and Korean short fiction, and other algorithmically generated content, this talk illuminates how the convergence of traditional Techno-Orientalist narratives and AI-driven media production creates a recursive system of bias reinforcement as an emergent mechanism of nonhuman micro aggression. The discussion extends to recent findings on model collapse, which demonstrate how the lack of diversity in training data not only perpetuates cultural biases but fundamentally compromises the cognitive capabilities of large language models, creating systems that are simultaneously less capable and more prone to perpetuating stereotypes. Of particular concern is the nature of algorithmic agency: while these systems lack immanent intent in the conventional sense, they possess a unique form of both intentional agency and patiency that manifests in tangible impacts on human social domains. This technological condition demands heightened caution, as these impacts primarily occur at the backend of systems rather than in visible frontend operations, creating a form of algorithmic governance that shapes cultural narratives while remaining largely imperceptible to end users. Through this analysis, the talk argues for a more nuanced understanding of AI systems not merely as tools but as actors in a complex socio-technical ecosystem where biases are not just reflected but actively reinforced through computational processes.