google公式ブログで4/21（米国時間）から、モバイル対応をしているかどうか（モバイルフレンドリー）が順位に影響するとの発表がありました。
googleがこれだけ明確に明言するということは、相当の影響があるものと思われます。
LINK：検索結果をもっとモバイル フレンドリーに
まずは、分かりやすい指標として、モバイルフレンドリーテストを行い、「問題ありません。このページはモバイルフレンドリーです。」と診断される状態まで対応することが第一だと思います。
※モバイルフレンドリーテストにはページスピードは加味されず（重くても順位に影響しない）、レスポンシブを推奨してるが、モバイルフレンドリーテストがOKであれば今のところ問題はないようです。
LINK：Google モバイル フレンドリー テスト