Runway ML 및 P5.js를 사용한 Latent Spacewalk
---수정중---
Runway ML 및 P5.js를 사용한 Latent Spacewalk -인터랙티브 미디어 아트에 대한 이해-
210908 김민서 충남삼성고등학교
■ 요 약 ■ Runway ML이라는 AI도구와 P5.js, 크리에이티브 코딩을 위한 자바스크립트 라이브러리를 사용하여 Latent Spacewalk를 구현한다. Latent Spacewalk란 잠재 공간의 한 지점을 샘플링하고 잠재 표현을 점진적으로 변경하는 과정이다.
Ⅰ. 서론
- 연구 필요성 및 목적 인터랙티브 미디어 아트, 예술적 관점에서 본다면 사람들의 참여 예술을 더욱 발전 시킬 수 있다. 사람들이 지나다니는 곳에 그림을 그릴 수 있도록 공간을 만들어두고 그린 그림을 바로바로 전광판에 반영시켜 사람들에게 흥미를 줄 수 있다. 미술관 안에도 배치시킬 수 있다. 이를 통해 인터랙티브 미디어 아트에 관심을 갖게 되고 더욱 발전시킬 수 있을 것이다.
- 연구 문제 아직은 크게 발전되지 않았고 알려지지 않은 인터랙티브 미디어 아트를 직접 만들어 봄으로써 인터랙티브 미디어 아트가 무엇인지 알리고자 한다.
Ⅱ. 본론
선행 연구 조사 1) 미술치료를 위한 컴퓨터 심리진단 장치 제안된 시스템에서는 진단 대상 아동이 그린 그림으로부터 색상과 관련된 요소뿐만 아니라 사용된 선의 특성, 필압, 그림의 위치, 크기 등의 다양한 정보를 컴퓨터로 구현된 장치를 이용하여 측정하며, 측정 후 분석된 결과를 기반으로 치료사에게 치료 대상자에 대한 보다 많은 유용한 정보를 제공하여 진단의 신뢰성을 높이고자 한다. 컴퓨터를 기반으로 한 심리 진단용 시스템을 제안하며, 대상자가 제안된 장치에 그리게 되는 그림을 통해 주제 색, 선의 특성, 필압, 그림의 위치 등의 의미 있는 데이터를 추출해 내며 이를 수치화함으로써, 미술심리치료 분석에 새로운 가능성을 제시하고자 한다.
이론적 배경 인터랙티브 미디어 아트가 아직은 크게 발전하지 않았다. 이러한 인터랙티브 미디어 아트를 친구들이 참여하여 더 잘 이해할 수 있도록 하고자 Runway ML, P5.js를 사용하여 Space Latentwalk를 구현하고자 한다.
연구 결과 및 분석
[그림 ] Runway ML과 P5.js를 이용해 실행한 화면
Runway ML의 Style GAN을 사용하여 Space Latentwalk를 구현한다. P5.js에서는 styleGAN에서 랜덤한 이미지를 요청하고 컴퓨터에 저장한다. Runway에서는 P5.js에서 요청하는 StyleGAN 이미지를 생성한다. Toxic Libs에서 이미지를 무작위화 하기 위해 심플렉스 노이즈를 생성한다. Space Latentwalk는 잠재 공간의 한 지점을 샘플링하고 잠재 표현을 점진적으로 변경하는 과정이다.
AI를 이용한 유사 이미지 간의 전환를 주제로 프로젝트를 진행했다. 많은 친구들이 인터랙티브 미디어 아트를 잘모르는 것 같다. 이를 공유하고싶어 본프로젝트를 진행해보았다. 우리 학교 친구들이 그린 그림을 활용해 이 기회에 알리고 싶었습니다
그렇다면 인터랙티브 미디어 아트란 무엇일까?
우리들은 박물관에 가면 물고기가 다가가면 도망가는 것을 본 적이 있을 것이다. 이것이 바로 인터랙티브 미디어 아트이다. 인터랙티브 미디어 아트는 관객의 행동을 작품에 반영한다.
이런 스크린이 그냥 있다고 치자. 관객이 스크린을 터치하면 반응이 일어나고 참여로 완성된다. 이것은 또한 상호작용하는 미디어 아트이다. 이것은 사람들의 몸짓을 반영한다. 또한 사람의 얼굴을 카메라를 통해 인색해서 반영할 수도 있다.
그렇다면 GAN은 무엇일까? 실제에 가까운 이미지나 사람이 쓴 글과 같은 여러 가짜 데이터를 생성하는 모델이다. 예를 들어 설명해 보겠다. 생성 모델은 진짜 지폐처럼 가짜 지폐를 만들어 경찰을 속이려는 위조지폐 범죄자와 같습니다. ✓차별 모델은 가짜 지폐를 탐지하려는 경찰과 같습니다. ✓이 경쟁이 계속되면서 위조지폐 범죄자는 경찰, ✓, 경찰이 속았다는 데이터를 알게 됩니다. ✓이 경쟁은 위조지폐가 진짜 종이돈과 구별되지 않을 때까지 계속됩니다.
제가 사용한 도구에 대해 설명하겠습니다. 런웨이ML은 인공지능 모델을 수행할 수 있는 소프트웨어입니다. P5.js에서 요청한 StyleGAN 이미지를 생성합니다. ✓ P5.js는 창의적 코딩을 위한 자바스크립트 라이브러리입니다. StyleGAN에서 무작위 이미지를 요청하여 컴퓨터에 저장합니다. ✓Last Toxic Libs는 이미지를 무작위로 만들기 위해 simplex noise를 생성합니다. ✓
이러한 도구를 사용한 첫 번째 결과입니다. 활주로에서 제공하는 이미지를 통해 StyleGAN을 변환한 것입니다. ✓
두 번째 결과에 대해 이야기 해 봅시다. 이 논문! 여러분 중 일부는 이 논문을 본 적이 있을 것입니다. 지금부터 이것이 무엇인지 알려드리겠습니다. ✓먼저, 여러분의 참여 덕분에 저는 144개의 미소를 얻었습니다. ✓저는 이 미소들을 하나씩 자랐습니다. ✓들은 이 미소들을 모두 정사각형으로 만들었습니다. ✓들은 크기를 통일했습니다. ✓하고 런웨이별로 미소 사진을 사용하여 StyleGAN2 모델을 만듭니다. ✓코드를 사용하여 실행하십시오. ✓비슷한 이미지로 계속되는 전환을 볼 수 있습니다. 그래서 여러분의 참여로 저는 이것을 만들 수 있었습니다.
완전히 보이도록 보완하겠습니다. ✓ StyleGAN 모델을 훈련할 데이터의 양이 적기 때문에 전환이 잘 진행되지 않았습니다. 144개의 스마일을 받아도 AI를 훈련시키기에는 역부족이었습니다. 더 많은 데이터를 수집한 후 StyleGAN을 재교육하여 자연스럽게 표현하도록 하겠습니다. 그리고 실시간으로 어떻게 적용할지 고민해보겠습니다.
✓이번 기회를 통해 인터랙티브 미디어 아트에 대한 이해에 도움이 되었으면 합니다. 오늘 준비한 것은 여기까지입니다. 시간 내주셔서 감사합니다!
StyleGAN은 이미지를 스타일의 조합으로 보고 스타일 정보를 생성기의 각 레이어에 적용하여 이미지를 합성합니다. 각 레이어에 추가된 스타일은 성별, 포즈, 헤어 컬러 및 피부색을 포함한 다양한 수준의 시각적 속성을 제어할 수 있습니다.
I will present about transitions between similar images using AI. ✓
I chose this topic because many friends don’t know what is interactive media art, ✓so I wanted to take this opportunity to inform it using drawings you drew. ✓
If then, what is interactive media art? ✓ When you go to a museum, you may have seen a fish running away when you approach it. It reflects the audience’s behavior in the work. ✓ Let’s say there is just a screen like this. when the audience touches the screen, a reaction occurs, and it is completed with participation ✓ This is also an interactive media art. This reflects people’s gestures. And it reflects the face.
So, what is GAN? ✓It is a model that generates several fake data, such as near-real images or human-written writings. ✓ I’ll explain it using an example. The generative model is like counterfeit money criminal who tries to deceive the police by creating fake bills like real bills. ✓Discriminant model is like a police officer who tries to detect fake bills. ✓As this competition continues, a counterfeit money criminal learns that they failed to deceive the police, ✓and the police learn data that he was deceived. ✓ This competition continues until the counterfeit money is indistinguishable from real paper money.
Let me explain the tools I used. RunwayML is software that can carry out AI models. It produces StyleGAN images requested by P5.js. ✓ P5.js is a JavaScript library for creative coding. it requests random images from styleGAN and stores them on a computer. ✓Last Toxic Libs generate simplex noise to randomize the image. ✓
This is the first result using these tools. It is a StyleGAN transition through the image provided by the runway. ✓
Let’s talk about the second result. This paper! Some of you may have seen this paper. I’ll let you know what it is from now on. ✓First, thanks to your participation, I got 144 smiles. ✓I cut each of these smiles one by one. ✓ made them all square. ✓ unified the size. ✓ and create a StyleGAN2 model using smile pictures by runway. ✓Run it using the code. ✓You can see transitions that continue with similar images. And so, with your participation, I was able to make this.
I’ll supplement it so that it’s fully visible. ✓ The transition did not go well because of the small amount of data to train StyleGAN model. Even if I got 144 many smiles, it wasn’t enough to train AI. after collecting more data, I will retrain StyleGAN to express it naturally. And I’ll think about how to apply it in real-time.
✓I hope this opportunity help your understanding of interactive media art. That’s all I have prepared for you today. Thank you for your time!
StyleGAN views images as a combination of styles and applies style information to each layer of the generator to synthesize images. Styles added to each layer can control different levels of visual attributes, including gender, pose, hair color, and skin color.
이미지추가 동영상 학탐피피티추가
참고문헌 김미경(Kim Mi-Kyung),and 박소영(Soyoung Park). “인지와 거리에 근거한 인터랙티브 아트 인터페이스 유형.” 한국디자인학회 학술발표대회 논문집 2010.10 (2010): 452-455. 인터랙티브 아트 인터페이스 구성요소인 입력 모듈을 중심으로. 오선애(Oh Sunae). “중국 상하이엑스포에서의 인터랙티브 디자인 표현 유형 분석.” 디지털디자인학연구 11.1 (2011): 289-299. 개별과 집단 인터랙티브 전시디자인 중심으로. 유지윤 and 김지현. (2016). 기록물의 인터랙티브 시각화 적용에 관한 연구 - 국가기록원 기록물을 중심으로 -. 한국기록관리학회지, 16(3), 31-67. 윤혜인. “인터랙티브 아트 인터페이스 유형에 따른 참여 유도 연구.” 국내석사학위논문 중앙대학교 첨단영상대학원, 2016. 서울 전인호, 김송이, 김기현, 임은지, 김영억, “미술치료를 위한 컴퓨터 심리진단 장치”, 정보과학회논문지. Journal of KIISE. 컴퓨팅의 실제 및 레터 v.16 no.2 , 2010년, pp.135 – 143
Keras(2022.09.28.).A walk through latent space with Stable Diffusion. https://keras.io/examples/generative/random_walks_with_stable_diffusion/에서 2022.10.23 인출