fix eager_eval with kv cache and improve pybind eval speed

[helunwencser]

The existing eager_eval fails to run when kv is enabled due to using the wrong pos_tensor. This PR fixes it.

The pybind_eval is extremely slow right now. This PR improves its speed based on #3732.

Test Plan:

• before

2024-08-14:14:43:31,158 INFO     [task.py:395] Building contexts for wikitext on rank 0...
100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 5/5 [00:00<00:00, 949.71it/s]
2024-08-14:14:43:31,163 INFO     [evaluator.py:362] Running loglikelihood_rolling requests
100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 5/5 [35:57<00:00, 431.58s/it]
wikitext: {'word_perplexity,none': 48.05348672811993, 'word_perplexity_stderr,none': 'N/A', 'byte_perplexity,none': 2.130418826812418, 'byte_perplexity_stderr,none': 'N/A', 'bits_per_byte,none': 1.0911370830175748, 'bits_per_byte_stderr,none': 'N/A', 'alias': 'wikitext'}

• after

2024-08-14:15:40:33,050 INFO     [task.py:395] Building contexts for wikitext on rank 0...
100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 5/5 [00:00<00:00, 890.17it/s]
2024-08-14:15:40:33,056 INFO     [evaluator.py:362] Running loglikelihood_rolling requests
100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 5/5 [01:53<00:00, 22.71s/it]
wikitext: {'word_perplexity,none': 48.0195983759526, 'word_perplexity_stderr,none': 'N/A', 'byte_perplexity,none': 2.13012529989619, 'byte_perplexity_stderr,none': 'N/A', 'bits_per_byte,none': 1.0909382962830712, 'bits_per_byte_stderr,none': 'N/A', 'alias': 'wikitext'}

[pytorch-bot]

🔗 Helpful Links

🧪 See artifacts and rendered test results at hud.pytorch.org/pr/pytorch/executorch/4720

• 📄 Preview Python docs built from this PR

Note: Links to docs will display an error until the docs builds have been completed.

✅ No Failures

As of commit 9d20532 with merge base 1cb97e0 ():
💚 Looks good so far! There are no failures yet. 💚

This comment was automatically generated by Dr. CI and updates every 15 minutes.

[facebook-github-bot]

@helunwencser has imported this pull request. If you are a Meta employee, you can view this diff on Phabricator.

[facebook-github-bot]

@helunwencser has imported this pull request. If you are a Meta employee, you can view this diff on Phabricator.