Se o seu projeto Rails acessa MySQL, então você precisará declarar em sem Gemfile a gem mysql2. Mas só isto pode não ser o suficiente, pois ao executar um bundle exec, o bundler pode não conseguir instalar a gem porque faltará algumas dependências do Ubuntu 12.04. Pra resolver isso basta rodar o comando abaixo:
$ sudo apt-get install libmysql-ruby libmysqlclient-dev
Este pequeno detalhe me fez perder um tempão. Espero que o seu tempo seja poupado com isso. Obviamente, não esqueça de ajustar o seu Gemfile:
group :development, :test do
gem 'sqlite3'
end

group :production do
gem 'mysql2', '~> 0.3.0'
end
E depois é só rodar o bundler
$ bundle install
É isso aí!