Времена не различаются (не запоминаются) потому, что, видимо, многое непонятно. А главное мозг не понимает зачем столько времён. Типа: прошедшее оно и в Африке прошедшее, тогда зачем 3 прошедших?! А поскольку непонятно зачем они - мозг сопротивляется их запоминать. От этого непонимания и боязнь сказать что-то не так. Вас же ещё наверняка учили, что некоторые слова не имеют самостоятельного значения и не переводятся? Но разве мы в русском говорим слова, которые сами по себе ничего не значат? Мы же их ставим по смыслу. Также и англичане и все люди мира поступают в своём родном языке. И поскольку вы усиленно пытаетесь убедить мозг запомнить то, что не понятно и не переводится, то есть не имеет точного смысла и логики, он вполне обоснованно считает не нужным и не стремится запоминать.
Если показать мозгу времена с точки зрения логики и смысла каждого слова, т.е сделать информацию понятной, мозг начнёт запоминать и применять

Почему люди не боятся говорить на русском даже когда делают ошибки. Никто не говорит идеально. Иногда мы даже нарочно коверкаем язык, заведомо говоря неправильно, но не боимся! Потому что мы знаем точно, что значит каждое сказанное нами слово. И знаем точно, что в каждом слове услышит собеседник. Нет шансов сказать что-то не то. Когда же вы учите чужой язык, то наверняка слышите от преподавателей "не переводи словами, переводи фразами", "это слово не переводится" или "здесь это слово значит совсем другое". Но если разобраться в точном значение слов и их изменений в зависимости от окончания и научиться ставить слова по смыслу, то у собеседника не останется шансов услышать что-то не то

Скорее всего с вашей памятью все в порядке. Дело в том, что наш мозг устроен таким образом, что запоминает только то, что понятно.
А если вам дать доходчивое логичное объяснение и вы поймете, то скорее всего вы уже никогда не забудете!)