Времена не различаются (не запоминаются) потому, что, видимо, многое непонятно. А главное мозг не понимает зачем столько времён. Типа: прошедшее оно и в Африке прошедшее, тогда зачем 3 прошедших?! А поскольку непонятно зачем они - мозг сопротивляется их запоминать. От этого непонимания и боязнь сказать что-то не так. Вас же ещё наверняка учили, что некоторые слова не имеют самостоятельного значения и не переводятся? Но разве мы в русском говорим слова, которые сами по себе ничего не значат? Мы же их ставим по смыслу. Также и англичане и все люди мира поступают в своём родном языке. И поскольку вы усиленно пытаетесь убедить мозг запомнить то, что не понятно и не переводится, то есть не имеет точного смысла и логики, он вполне обоснованно считает не нужным и не стремится запоминать.
Если показать мозгу времена с точки зрения логики и смысла каждого слова, т.е сделать информацию понятной, мозг начнёт запоминать и применять

Полагаем, вы были примерным учеником и добросовестно учили все что положено программой. Вероятнее всего, это были правильно построенные диалоги на все случаи жизни. Правильные, но чужие. И теперь вы имеете в голове точно сформулированные фразы на все или почти все случаи жизни. Но вот ваш собеседник, особенно если он носитель, не в курсе что он должен вам ответить фразой из выученного вами диалога. Он, так же как и мы с вами в русском, строит свою речь отдельными словами, подбирая их на ходу по смыслу. В зависимости от того, что он хочет сказать здесь и сейчас. Это обратная ситуация людей которые "понимаю как собака, но сказать не могу".
Но причина у этих ситуаций одна: мозг не умеет определить смысловую разницу английских форм слов. Т.е. не отличает в английском "сделанный" от "делал", а некоторые слова вообще считает непереводимыми. Этот пробел можно устранить за пару месяцев, если поработать над этим целенаправленно. Это позволит научиться управлять словами и научит тому заветному: не думать о правилах, а ставить слова по смыслу, как это делает носитель. При этом это только повысит вашу грамотность в языке. Потому что то, что сказано логично - не может нарушить правил, так как все правила основаны на логике.

Почему люди не боятся говорить на русском даже когда делают ошибки. Никто не говорит идеально. Иногда мы даже нарочно коверкаем язык, заведомо говоря неправильно, но не боимся! Потому что мы знаем точно, что значит каждое сказанное нами слово. И знаем точно, что в каждом слове услышит собеседник. Нет шансов сказать что-то не то. Когда же вы учите чужой язык, то наверняка слышите от преподавателей "не переводи словами, переводи фразами", "это слово не переводится" или "здесь это слово значит совсем другое". Но если разобраться в точном значение слов и их изменений в зависимости от окончания и научиться ставить слова по смыслу, то у собеседника не останется шансов услышать что-то не то

Давайте попробуем понять, в чем причина и что с этим делать. Когда мы выполняем тесты, у нас есть нечто наглядное, что совсем не обязательно держать в голове. Можно перечитать задание. А где-то даже предлагается образец и пояснения к заданию. Например, если вас просят рассказать на тему (тест на говорение), как правило, предлагаются примерные вопросы на которые нужно дать ответ. То есть, часть ответа уже продумано за вас. Да и тема из тех, которую вы прорабатывали в курсе, а жизнь - штука спонтанная, и никогда не знаешь, куда заведёт разговор. Когда вы ведёте разговор, вам нужно им управлять: помнить что вы хотите донести до человека и параллельно успевать думать про правила. А ещё не забыть "вспомогательные слова", которые "не переводятся" (т.е. нет у них никакого самостоятельного значения, имеющего отношения к смыслу фразы). Но зачем-то должны быть в речи. Узнаете себя?
А теперь попробуем сравнить с тем, что происходит в вашей голове, когда вы говорите на русском. Вы не думаете про правила, а подбирает слова по смыслу. И не потому, что делаете это интуитивно. Но ваш мозг умеет совершенно осознанно сопоставлять малейшие изменения в звучании слов и слышать, как от этого поменяется смысл всей фразы. Так происходит в голове любого человека говорящего на родном языке. И все это можно научиться слышать в любом другом если провести аналогию из родного. Тогда думать про правила не придётся, но речь при этом будет грамотная

Скорее всего с вашей памятью все в порядке. Дело в том, что наш мозг устроен таким образом, что запоминает только то, что понятно.
А если вам дать доходчивое логичное объяснение и вы поймете, то скорее всего вы уже никогда не забудете!)