В 1994 году произошла знаменательная встреча — Миллер знакомится с барабанщиком Джессом Маргерой, который совсем недавно расстался со своей предыдущей группой This End Up, и, недолго думая, предложил Дерону создать новый проект. Так образовалась группа Foreign Objects. Выпустив EP с пятью песнями на борту, она была переформирована в oiL. Её участники отправились было в студию для записи демо, как тут на их пути встретился Чэд Гинсбург, который страстно хотел войти в состав группы Миллера и Маргеры.
Словосочетание «Camp Kill Yourself» было придумано Миллером, желающим, чтобы название его группы звучало как название хорошего фильма ужасов. Он считал, что большинство рок-групп называются банально и примитивно, а хоррорная тематика в заголовке отличала бы его коллектив от других. После этого oiL и были переименованы в Camp Kill Yourself, а ещё чуть позже — в CKY, дабы фанатам было проще скандировать имя любимой группы на концертах.
За годы работы в CKY Миллер успел выпустить четыре студийных альбома, которые вошли в неофициальный «золотой фонд» американской альтернативной музыки. Песни группы нередко используются в саундтреках к молодежным шоу и фильмам: самый известный пример того — телепрограмма Jackass или Чудаки.
В мае 2010 года Дерон через Фейсбук сообщил, что больше не является участником CKY. Ныне он поет и играет на гитаре в метал-группе World Under Blood, которую создал в 2006 году в качестве сайд-проекта.
В качестве наиболее повлиявших на него музыкантов Миллер называет Чака Шульдинера и Джеймса Мёрфи из Death, Джеймса Хэтфилда из Metallica и Пола Стэнли из Kiss.
