85 lines
5.8 KiB
Markdown
85 lines
5.8 KiB
Markdown
## Домашнее задание №5 «Параллельное исполнение»
|
||
Необходимо написать функцию для параллельного выполнения заданий в n параллельных горутинах:
|
||
* количество создаваемых горутин не должно зависеть от числа заданий, т.е. функция должна запускать n горутин для конкурентной обработки заданий и, возможно, еще несколько вспомогательных горутин;
|
||
* функция должна останавливать свою работу, если произошло m ошибок;
|
||
* после завершения работы функции (успешного или из-за превышения m) не должно оставаться работающих горутин.
|
||
|
||
Нужно учесть, что задания могут выполняться разное время, а длина списка задач
|
||
`len(tasks)` может быть больше или меньше n.
|
||
|
||
Значение m <= 0 трактуется на усмотрение программиста:
|
||
- или это знак игнорировать ошибки в принципе;
|
||
- или считать это как "максимум 0 ошибок", значит функция всегда будет возвращать
|
||
`ErrErrorsLimitExceeded`;
|
||
- на эту логику следует написать юнит-тест.
|
||
|
||
Граничные случаи:
|
||
* если задачи работают без ошибок, то выполнятся `len(tasks)` задач, т.е. все задачи;
|
||
* если в первых выполненных m задачах (или вообще всех) происходят ошибки, то всего выполнится не более n+m задач.
|
||
|
||
|
||
**(*) Дополнительное задание: написать тест на concurrency без time.Sleep**
|
||
|
||
Придумайте тест, который проверит concurrency другим способом.
|
||
|
||
Текущий тест "tasks without errors" использует time.Sleep и подсчет времени выполнения, чтобы сделать вывод о конкурентности использования. Проблема тестов на слипчиках в том, что на CI часто не хватает CPU и подобные тесты работают нестабильно.
|
||
|
||
Подсказка: используйте `require.Eventually`.
|
||
|
||
---
|
||
#### Пример
|
||
Имеем 10 задач, n=4 воркера, m=2 ошибки.
|
||
- Запускаем:
|
||
```
|
||
--------------ok (узнал, что лимит превышен и остановился)
|
||
-----------err
|
||
-------err
|
||
--------------------ok
|
||
```
|
||
Выполнится 4 задачи (2 успешно) <= 4 + 2, остальные задачи не берем.
|
||
|
||
- Другая ситуация, работающие воркеры успели еще взять задач:
|
||
```
|
||
------ok--------ok (узнал, что лимит превышен и остановился)
|
||
-----------err
|
||
---err
|
||
--------ok-------ok
|
||
```
|
||
Выполнится 6 задач (4 успешно) <= 4 + 2, остальные задачи не берем.
|
||
|
||
- Ошибок не было:
|
||
```
|
||
-------ok-----ok-----ok-----ok (1 воркер выполнил 4 задачи)
|
||
-----------ok-------------ok (2 воркер выполнил 2 задачи)
|
||
-----ok---------ok---------ok (3 воркер выполнил 3 задачи)
|
||
--------------------ok (4 воркер выполнил 1 задачу)
|
||
```
|
||
Выполнится 10 задач (10 успешно): задач не осталось, воркеры остановились.
|
||
|
||
---
|
||
|
||
При необходимости можно выделять дополнительные функции / ошибки.
|
||
|
||
### Критерии оценки
|
||
- Пайплайн зелёный - 4 балла
|
||
- Добавлены новые юнит-тесты - до 4 баллов
|
||
- Понятность и чистота кода - до 2 баллов
|
||
|
||
#### Зачёт от 7 баллов
|
||
|
||
### Подсказки
|
||
- https://en.wikipedia.org/wiki/Producer%E2%80%93consumer_problem
|
||
- `sync.WaitGroup`
|
||
- `go test -v -race -count=100 .`
|
||
|
||
### Частые ошибки
|
||
1) `racedetector` ругается на строчку с ассертом в тестах:
|
||
- простой случай: после выхода из `Run` остаются висячие горутины, отсюда и получаем `data race` -
|
||
ассерт в тестах неатомарно обращается к `runTasksCount`, в то время как зомби-горутины атомарно пытаюся её поменять.
|
||
- случай посложнее: один тест завершается успешно, но висячие горутины, им порожденные, аффектят ассерты в
|
||
последующих тестах.
|
||
2) Запускаются лишние горутины (инструкции `go`). Их количество за все время работы `Run` должно быть n (плюс, возможно, еще одна-две, если по другому не получается). В некоторых решениях ошибочно контроллируется количество одновременно работающих, а не общее количество.
|
||
|
||
**Решение**: внимательно посмотреть места выхода из функции и гарантировать, что все порождённые вами горутины
|
||
завершились к этому моменту.
|