Se o seu projeto Rails acessa MySQL, então você precisará declarar em sem Gemfile a gem mysql2.

Mas só isto pode não ser o suficiente, pois ao executar um bundle exec, o bundler pode não conseguir instalar a gem porque faltará algumas dependências do Ubuntu 12.04. Pra resolver isso basta rodar o comando abaixo:

$ sudo apt-get install libmysql-ruby libmysqlclient-dev

Este pequeno detalhe me fez perder um tempão. Espero que o seu tempo seja poupado com isso.

Obviamente, não esqueça de ajustar o seu Gemfile:

group :development, :test do
  gem 'sqlite3'
end

group :production do
  gem 'mysql2', '~> 0.3.0'
end

E depois é só rodar o bundler

$ bundle install

É isso aí!