Olá Filipe,
Eu já fiz algo parecido, mas sem utilizar DataTable, criando a tabela e os forms.
(acho) Mas é possível utilizando DataTable, basta criar o form do Ransack e retornar a resposta com json da forma que o DataTable espera e depois dar reload na tabela, AJAX.
A gem do DataTables utilizada no RailsCast esta muito desatualizada, muitas coisas mudaram, nomes de variáveis e atributos, versão do jQuery e outras coisas, eu sou um dos contribuidores da gem.
Começa um projeto open no github que só faça isso que precisa, fica mais fácil do pessoal te ajudar.