BookSound:使用书页来创建电子音乐

如果小说的页面可以用作创作某种电子音乐的来源怎么办? 这就是BookSound机器背后的想法。

跳舞从海明威,JD Salinger或Jack Kerouac散文创作的音乐不是很好吗?

在这种情况下,可以使用哪种映射将单词,段落,标点符号甚至文本语气转换为电子舞曲?

BookSound,准备与Salinger和Hemingway创作电子音乐

Fusion360机型的机器前件

使用的零件:

  • Raspberry Pi模型2
  • 树莓派相机
  • OLED显示器
  • 按钮,开关,电缆
  • 使用Fusion360和Annet A8 3D打印机制作的自定义保护套和相机臂。

第一个原型,木臂
海明威BookSound演示

BookSound机器如何工作?

1.打开一本书,并将页面放在机器手臂下

2.按下前面的黑色按钮

3.等待机器扫描,运行OCR并映射音乐

4.开始跳舞

OCR和映射部分大约需要120秒钟,因此此过程目前还不十分理想,但是我计划使用功能更强大的Raspberry。

在不同的步骤中,OLED屏幕会显示有关机器正在执行的操作的消息,包括识别的单词,要使用的鼓组,BPM等。

Book Sound Machine扫描的书页

文字和音乐之间的映射如何?

机器确定单词,单词/段落,逗号/单词,音素的数量,并且还可以通过主观方法检测页面的总体语气。 所有这些结合起来创造出舞蹈音乐。 有些作品只有打击乐,有些则具有简单的重复旋律。

BookSound机器

和平,感谢您对此项目的关注。

罗尼·班迪尼(Roni Bandini)—布宜诺斯艾利斯—阿根廷@ronibandini