Времена не различаются (не запоминаются) потому, что, видимо, многое непонятно. А главное мозг не понимает зачем столько времён. Типа: прошедшее оно и в Африке прошедшее, тогда зачем 3 прошедших?! А поскольку непонятно зачем они - мозг сопротивляется их запоминать. От этого непонимания и боязнь сказать что-то не так. Вас же ещё наверняка учили, что некоторые слова не имеют самостоятельного значения и не переводятся? Но разве мы в русском говорим слова, которые сами по себе ничего не значат? Мы же их ставим по смыслу. Также и англичане и все люди мира поступают в своём родном языке. И поскольку вы усиленно пытаетесь убедить мозг запомнить то, что не понятно и не переводится, то есть не имеет точного смысла и логики, он вполне обоснованно считает не нужным и не стремится запоминать.
Если показать мозгу времена с точки зрения логики и смысла каждого слова, т.е сделать информацию понятной, мозг начнёт запоминать и применять

Давайте поймём, что в этот момент происходит в вашей голове. Вы слышите знакомые слова и мозг додумывает связывая их в смысл исходя из вашего опыта того, что может быть сказано в данной ситуации. Но услышать связки между словами и повторить не может. Потому что он не знает связки и не распознает. Помните упражнение во втором классе: соберите предложение из разбросанных слов? Вы отлично справлялись, потому что в русском ваш мозг понимает значение каждого окончания и по ним вы можете сложить смысл. Заметьте - без всяких правил. В английской школе детям тоже дают такие задания и они справляются. Тоже без правил. Соответственно, чтобы вы смогли ставить слова по смыслу в английском, нужно показать вам как меняется смысл каждого слова в зависимости от изменения ЧАСТИ слова. На наше счастье в английских глаголах всего три окончания

Давайте попробуем понять, в чем причина и что с этим делать. Когда мы выполняем тесты, у нас есть нечто наглядное, что совсем не обязательно держать в голове. Можно перечитать задание. А где-то даже предлагается образец и пояснения к заданию. Например, если вас просят рассказать на тему (тест на говорение), как правило, предлагаются примерные вопросы на которые нужно дать ответ. То есть, часть ответа уже продумано за вас. Да и тема из тех, которую вы прорабатывали в курсе, а жизнь - штука спонтанная, и никогда не знаешь, куда заведёт разговор. Когда вы ведёте разговор, вам нужно им управлять: помнить что вы хотите донести до человека и параллельно успевать думать про правила. А ещё не забыть "вспомогательные слова", которые "не переводятся" (т.е. нет у них никакого самостоятельного значения, имеющего отношения к смыслу фразы). Но зачем-то должны быть в речи. Узнаете себя?
А теперь попробуем сравнить с тем, что происходит в вашей голове, когда вы говорите на русском. Вы не думаете про правила, а подбирает слова по смыслу. И не потому, что делаете это интуитивно. Но ваш мозг умеет совершенно осознанно сопоставлять малейшие изменения в звучании слов и слышать, как от этого поменяется смысл всей фразы. Так происходит в голове любого человека говорящего на родном языке. И все это можно научиться слышать в любом другом если провести аналогию из родного. Тогда думать про правила не придётся, но речь при этом будет грамотная

Скорее всего с вашей памятью все в порядке. Дело в том, что наш мозг устроен таким образом, что запоминает только то, что понятно.
А если вам дать доходчивое логичное объяснение и вы поймете, то скорее всего вы уже никогда не забудете!)