Real time auto-tune generator project
김진미 Jinmi Kim, 백진욱 Jinwook Baek, 심상미 Sangmi Sim
Twister Lab
Yonsei University
ABSTRACT
We want to create art that is entertaining. We want to give people the experience that is both exciting and fun in the city. We would like to escape from the norm of the art appreciation that can be boring and serious. We thought it would be fun to synthesize music using ordinary voice when you are having a conversation, even if you are having a discussion about politics or current events.
The system we made consists of two components. One processes sound and the other processes graphical image. One's voice is converted into a melody by the component that processes sound. And the visualization component renders image based on the output sound with various graphical images.
Sound Twister software converts raw real time audio data into harmonic sound and visual image through its hardware device. We want to see how people react when they see the difference in input and output of the system. For the project we are working on, we want our exhibit to be fun to the viewers and participants.
국문 초록
프로젝트의 시작은 재미있는 것을 만들기 위해서 시작되었다. 사람들에게 웃음을 줄 수 있는 화가 난 상태에서도 재미있는 상황으로 우스운 상황으로 바꿀 수 있는 프로젝트가 목적이다. 심각한 내용의 말이나 지루한 말, 정치가의 지루한 토론 등이 재미있는 노래가 되어서 돌아온다면 하는 아이디어에 서 시작되었다.
본 프로젝트에서 제작한 시스템은 크게 음성을 처리하는 부분과 비주얼 그래픽을 생성하는 부분으로 구성되어 있다. 음성 처리 부분에서는 사람의 목소리를 입력받고 그것을 노래의 멜로디처럼 들리도록 변환시켜 출력한다. 그래픽 생성 부분에서는 출력되는 소리를 다양한 그래픽을 통해 시각화한다.
트위스터 사운드 소프트웨어는 실시간으로 사람의 목소리를 화음 화된 음악과 영상으로 바꾸는 작업이다. 우리는 사람들이 자신의 목소리가 바뀌어 돌아올 때의 반응을 보고 싶다. 이 프로젝트에서 우리가 추구 했던 점은 관객과 참여자의 즐거움이다.
중심어
인터렉티브, 루프 사운드, 음성 피치 컨트롤, 웹 카메라, 실시간 음성 조합기, 반응하는, 퍼포먼스, 재미
key words
Interactive, sound loop, voice pitching control, web camera, realtime voice Harmony producer, responsible, performance, fun
목차
1. 프로젝트 개요 및 목적
2. 사운드 프로세싱 (Sound Processing)
2.1 시스템 개요(System Overview)
2.2 오토튠을 사용한 음정 보정 (Pitch Correction using Auto-Tune)
2.3 지연 효과 (Delay Effects)
3. 프로젝트 퍼포먼스
4. 마치는 글
참고문헌 및 사이트
1. 프로젝트 개요
사람들은 도시에서 지루하게 반복되는 하루를 극복하기위해 재미있는 것을 찾아다닌다. 취미를 개발하기도 하고, 일과가 끝난 뒤 친구들과 모이기도 하고 콘서트를 가기도 한다. 텔레비전의 가장 황금시간대의 프로그램들은 대부분 코미디나 드라마 등이다. 이런 현상은 시대의 사실이 즐겁지 않다는 사실의 반증이다. 뉴스나 정치 이야기는 더욱 지루하다. 요즘 들어 뉴스가 가장 재미있다는 사람들의 말은 실제로 뉴스가 가장 재미있는 것이 아니라 실시간으로 전해오는 세계의 심각한 내용의 잔인하고, 무서운 사실들이 여과 없이 보이는 것의 반어법적 표현이라고 할 수 있다.
프로젝트의 시작은 재미있는 것을 만들기 위해서 시작되었다. 사람들에게 웃음을 줄 수 있는, 화가 난 상태에서도 재미있는 상황으로 우스운 상황으로 바꿀 수 있는 프로젝트가 목적이다. 심각한 내용의 뉴스나, 정치가의 지루한 토론, 지루한 이야기 등이 재미있는 노래가 되어서 돌아온다면 하는 아이디어에 서 시작되었다. 기존의 오토-튠을 활용한 프로젝트들은 후 보정 작업이 대부분 이다. 이 프로젝트는 실시간 반응 (real-time interactive)에 초점을 두고 대화나 책읽기, 토론 등을 실시간으로 노래로 만들어 관객들에게 즐거움을 선사 하는 것 이 목적이다.
2. 사운드 프로세싱 (Sound Processing)
사람이 평상시에 대화를 할 때의 음성은 음정과 박자를 지니고 있지만, 이를 멜로디로 인식하기에는 시간에 따른 음정과 박자의 변화가 매우 불규칙 하다. 어떠한 음성이 노래의 멜로디처럼 들리기 위해서는 음정과 박자가 일정한 규칙성을 가지고 있어야 한다. 따라서 우리는 입력된 임의의 음성에 Pitch Correction 기술과 Delay Effect를 적용하여 멜로디로 인식될 수 있는 음성으로 가공하는 시스템을 만들었다. 특히 Pitch Correction 부분은 음정 보정에 널리 이용되고 있는 Auto-Tune을 이용하였다.
<그림 1> 시스템 개요(System Overview)
2.1 시스템 개요(System Overview)
<그림 1>은 시스템에서의 신호 흐름을 나타내고 있다. 입력된 음성은 일차적으로 Delay 1에 입력되어 반복적으로 Auto-Tune에 전달되게 된다. Auto-Tune은 현재 입력된 음성의 음정을 MIDI로 주어진 멜로디 음에 맞게 보정하여 출력한다. Auto-Tune으로부터 출력된 소리는 Delay 2에 입력되어 일정 시간동안 반복 재생되며, 최종적인 출력에서는 배경음악과 반복되는 멜로디가 서로 함께 들리게 된다.
2.2 오토튠을 사용한 음정 보정 (Pitch Correction using Auto-Tune)
입력된 음성의 음정을 원하는 음정으로 변화시키기 위해서는 크게 두 가지 단계가 필요하다.
먼저 음정 감지(Pitch Detection) 단계에서 입력받은 음성의 음정을 알아내고, 음정 변화(Pitch Shifting) 단계에서 원하는 양 만큼 음정을 이동시켜 최종 음성을 얻는다. 우리는 이러한 처리과정이 잘 구현되어 있는 프로그램인 Auto-Tune을 이용하여 음정 보정을 하였다.
Auto-Tune은 오디오 하드웨어 및 소프트웨어 개발 업체인 Antares가 전문적인 용도로 개발한 음정 보정 소프트웨어이다. Auto-Tune은 보컬, 베이스기타 등 화음이 없는 단선율의 데이터를 가지고 음정을 분석해 그래프로 표현해준다. 그리고 사용자가 멜로디의 조성 및 음계를 지정하면 음계를 이탈한 음정을 자동 혹은 수동으로 가까운 음계에 강제로 맞춰 줌으로써 음정의 자연스러운 보정이 가능해진다.
Auto-Tune은 목표하는 음계 또는 멜로디를 MIDI를 통하여 실시간으로 입력 받아 입력되는 소리의 음정을 보정할 수 있다. 우리는 Auto-Tune의 이러한 기능을 이용하여, 배경음악에 어울리는 멜로디를 Auto-Tune에 전달하고, 입력되는 음성이 멜로디의 음정으로 보정되도록 하였다.
2.3 지연 효과 (Delay Effects)
Delay Effect는 입력된 소리가 메아리처럼 일정한 시간 간격을 두고 반복되는 효과이다. Delay Effect의 파라미터 중 Delay Time과 Feedback의 값을 적절히 사용하여 원하는 결과를 얻을 수 있다. Delay Time은 반복되는 소리 사이의 시간 간격으로서 이를 배경음악의 템포에 맞게 설정하면 음악의 박자에 맞는 Delay Effect를 얻을 수 있으며, Feedback은 Delay Effect의 지속 시간으로서 상황에 맞게 조절하여 사용한다. Feedback 값이 아주 작으면 소리의 반복이 일어나지 않거나 수 번 만에 반복이 종료되게 되며 Feedback 값이 아주 크면 소리는 무한히 반복된다. 여기서 주의해야할 점은 Feedback의 값을 너무 크게 설정하면, 연속적으로 입력되는 소리들이 계속 중첩이 되면서 시간이 지날수록 엄청난 양의 소리가 출력되게 되며, 결과적으로 알아들을 수 없는 잡음이 되고 만다. 물론 이러한 잡음 효과를 위해 Delay를 사용하는 경우도 있지만 목적에 맞지 않는다면 Feedback의 값을 지나치게 크게 설정하지 않도록 하는 것이 중요하다.
우리는 이 System에서 Delay Effect를 두 번에 걸쳐 사용하였다. 첫 번째는 Auto-Tune의 입력 앞에 위치하고 있으며, 두 번째는 Auto-Tune의 출력 뒤에 위치하고 있다. 이 두 Delay의 파라미터 설정은 거의 흡사하지만 각기 다른 목적에 의해 배치되었다. Auto-Tune의 앞에 위치한 Delay 1은 어떠한 가공도 거치지 않은 음성을 일정 시간 반복시킨다. 이는 사람이 같은 음성을 여러 번 말하는 것과도 같은 효과이며, Auto-Tune의 앞에 위치시킨 이유는 하나의 음성에 대해 시간에 따른 멜로디를 각각 생성하기 위해서이다. Delay 2는 Auto-Tune의 뒤에 위치시킴으로써 Auto-Tune에 의해 생성된 멜로디를 반복시키는 역할을 한다. 이러한 Delay 1과 Delay 2의 조합으로 화음 효과를 얻을 수 있다. 즉, 멜로디를 구성하는 음들을 서로 잘 어울리게 만들어 놓으면, 돌림노래를 부르는 것처럼 시간에 따라 멜로디가 겹쳐지면서 화음을 이루게 된다. 단, 멜로디의 구성 방법에 따라 겹쳐지는 음들이 서로 어울리지 않는 시간이 발생할 수 있는 점이 있다.
3. 프로젝트 퍼포먼스
프로젝트의 퍼포먼스는 연세대학교 커뮤니케이션 대학원의 갤러리 미디어+스페이스(Media+ Space)에서 진행되었다. 퍼포먼스를 위해 두 대의 컴퓨터와 한 대의 믹서, 마이크, 프로젝터 한 대가 준비 되었다.
<그림 2> 전시장에서 관객이 제시된 텍스트를 읽으며 음악을 만들고 있다.
<그림 3> 관객이 음악을 만들면 음정의 크기와 박자에 따라 물방울의 크기와 속도가 변하며 영상이 제어된다.
<그림 4> 큐베이스 및 오토튠 작동 화면
<그림 5> 퀄츠 컴포저로 프로젝트의 영상 제어 장면
마이크를 통해 관객이 주어진 책을 읽거나, 대화를 하면 짧은 음절을 반복하며 실시간으로 음악이 형성된다.(그림2, 3) 마이크에 말을 하게 되면 믹서를 거쳐 아날로그 인풋으로 변형되어 1번 컴퓨터로 인풋 된다. 1번 컴퓨터에서 큐베이스(Cubase)프로그램의 오토튠 패치를 사용해 형성된 음악은 2번 컴퓨터로 인풋 된다. (그림 4) 2번 컴퓨터에서 퀄츠 컴포저를 통해(그림 5) 준비된 물방울 영상이 관객의 음정의 높이와 크기에 따라 물방울의 크기와 속도가 제어된다. (그림 3) 관객들은 소리를 지르거나, 박수를 치기도 하며 음악과 영상이 변하는 것을 경험하였다. 기본적인 배경음악인 반복적인 일렉트로닉 사운드 위에 관객이 내는 소리의 높낮이에 따라 다르게 반응하므로, 성별에 따라 연령에 따라 다른 사운드와 영상의 반응을 경험하였다.
4. 마치는 글
우리는 지금까지 재미요소를 중심으로 실시간 반응하는 퍼포먼스를 계획하고 진행해보았다. 오토-튠을 사용하여 관객 스스로가 내는 목소리가 실시간으로 바뀌어 음악 화 되는 과정에서 관객들은 많이 즐거워 해주었다. 사람의 목소리에서 음절의 분화 인식을 좀 더 세분화 하여 랜덤하게 반응하는 음악이 아닌 스토리를 진행 할 수 있도록 해야 하는 것이 남은 과제이다.
배경음악
Bedtime Story Music by Saintbinary
참고 사이트
Auto-Tune
http://en.wikipedia.org/wiki/Auto-Tune 17 June 2011 at 01:47
Auto-Tune: Why Pop Music Sounds Perfect. Josh Tyrangiel Thursday, Feb. 05, 2009http://www.time.com/time/magazine/article/0,9171,1877372,00.html
