На самом деле, это нормальное поведение, когда сторонние либы ставятся в папку ruby. Но если нужно, чтобы он были в папке проекта, то есть 2 способа:
1. все gem-ы ставить в папку tmp (например)
git clone путь_к_репе tmp/имя_папки
и в Gemfile добавлять как gem 'имя_гема', :path => 'tmp/имя_папки'
этот способ имеет один минус - в tmp ставятся лишь некоторые гемы, а прочие опять же будут в папке с ruby-установкой.
2. в папке проекта создаётся папка + файл:
.bunle/config
в файл конфиг пишется такое:
---
BUNDLE_PATH: /путь/к_приложению/vendor/bundles
после bundle install все гемы будут установлены в указаную папку
И ещё.
Не стоит заморачиваться с этим - рубимайн легко работает с гемами из External Libraries. Так же, красиво работает дебагер. Просто жмёте ctrl+shift+n, пишите имя файла, переходите в него, ставите breakpoint в нужной строке. Также работает поиск по ctrl+shift+f -достаточно выделить в дереве External Libraries нужный гем + папку и нажать вышеуказанную комбинацию.
Кстати, замечу, что если гемы поставить в приложение, то рубимайн будет тормозить, потому как он индексирует все файлы приложения. Это, конечно, будет происходить только при запуске рубимайна, но всё-равно неприятно.