P.S. На размышления навела книжка (кто не читал может будет
интересно): Wiley - Software Testing
Проблема wiki в том, что это по сути простой блокнот, который не
приспособен под специфические задачи. В данном случае хотелось бы
иметь удобство в добавлении тест кейса, набор необходимых полей, выбор
типа тестирования (функциональный, структурный, интеграционный и так
далее), выбор этапа тестирования (разработка, интеграция, инсталляция
и так далее), привязка к реальным тестам и их результатам, получение
отчетов по текущему состоянию тестирования, которые могут быть
использованы для дальшейшего анализа и предугадывания поведения
проектра в реальном использовании (процент багов, найденных
пользователями). Взгляни к примеру на тот же TestLog, у них есть демо
инсталляк.
Очень хотелось бы узнать об альтернативных подходах к тестированию (к
примеру
в Scrum). У QA нету опыта работы в подобных методологиях и хотелось
бы осуществить мягкий переход.
> Во первых, предполагается, что все типы тестов(функциональное,
> интеграционное, структурный тест) можно реализовать с помощи одного тула.
Никак они не могут быть организованы с помощью одного тула, потому
что
перформанс и лоад тестирование отделено от остального, так же как и
тестирование
окружения, тестирование сети и софта, юнит тестирование, статическое
тестирование
пользовательской документации, тестирование инсталляции продукта (если
она есть)
и мануальное тестирование функционала.
> Во вторых, если так специфицировать тесты, то не понятно, как вы их будете
> привязывать к результатам выполнения.
Вот это как раз интересный вопрос. Это может быть мануальный процесс.
К примеру
некоторые тулзы дают возможность проставлять логи запусков со
статусом. Это очень
удобно для репортов.
> Также у меня вопрос - почему не использовать для получения текущего
> состояния тестирования баг трекинг систему ?
Баг трекинг система отражает лишь наличие багов и не дает информации
какое количество
user story или use case реально покрыто тестами, каков их текущий
статус и какова тенденция.
Необходима интеграция с баг трекинг системой, чтобы иметь информацию о
количестве багов
на тест кейс (а соответственно на user story или use case) для анализа
и принятия решений.
> Кто является реальным заказчиком/пользователем тулзы, о который вы хотели бы
> пользоваться ?
Не совсем понял вопрос. Ее хотелось бы использовать в проекте для
процесса тестирования.
"Также у меня вопрос - почему не использовать для
получения текущего состояния тестирования баг трекинг систему ?"
Я тоже подумал именно о таком вопросе/ответе :)
Сейчас мы используем DevTrack, в котором я планирую, вести не только замечания
и ошибки (как делается в проектах, доставшихся мне "по наследству"),
но и требования и тест-кейсы, привязанные к этим требованиям.
Все необходимое для определения и отслеживания состояний в каждой из баз знаний
(баги, требования, тест-кейсы) в данном продукте есть. Остается только
настроить и прописать регламент использования для команды :)
К слову, не вижу большого смысла в отдельных "специализированных"
инструментах для ведения каждой из деятельностей. В любом случае бОльшая часть
знаний (читай, текста) будет лежать лишь в одной из баз. На разных этапах
зрелости продукта это могут быть разные базы, но "подводя итоги" все
равно нужно составлять как общий перечень изменений (или вообще требований),
так и краткий обзор того, что не сделано, но хотелось бы. И источники для этого
- все три базы знаний. Из этих соображений я и считаю, что один инструмент,
пусть и не супер-функциональный, лучше, чем 3 "идеальных". Да и в
плане поддержки такая конфигурация среды проще :)
ICQ: 21062147
Главный вопрос: дает ли баг трекинг система трейсебилити между
Главный вопрос: дает ли баг трекинг система трейсебилити между
Меня интересуют следующие метрики:
- какое количество фичей/use case/user story покрыто тест кейсами
- какое количество тест кейсов уже имеют реальные тесты (позитивные,
негативные)
- статистика запусков этих тестов и их текущий статус
- количество и статус багов на тест кейс
- деление метрик по параметрам, таким как фаза проекта, тип тестов и
так далее
В дополнение хотелось бы отметить, что идеально было бы иметь open
source. ;)
Вот тут не соглашусь на за что. Пример: на данный момент я имею
неплохие метрики,
которые мне даются continuous integration server и maven:
- покрытие кода тестами
- статистику по запускам тестов и их результатам
- project health из различных репортов
Дополнительно от bug tracking системы я имею отчеты по:
- количеству найденных багов
- их распределение по компонентам системы и функционалу
- привязку багов к user story/use case
- количество багов в разных состояниях и общий прогресс
НО, я никак не могу получить общий прогресс тестирования:
- сколько реально тест кейсов покрыто (может все мои тесты - просто
для 5 тест кейсов)
- сколько функциональности адекватно покрыто тест кейсами, причем
возможно без
реальных тестов, потому как кода нет и тестов нет
- какое количество тестов, которые не запускаются ежедневно (или при
каждом коммите)
прошло и когда они запускались
- насколько стабильной является система (одна из метрик, которая
получается по приоритетам
тест кейсов с точки зрения бизнеса), это особенно важно чтобы знать
прогресс с бизнес стороны
и знать его постоянно
и так далее...
Часть из этого покрывает TestLog, но далеко не все. Excel - абсолютно
не приспособлен для всех
перечисленных задач и затрудняет доступ к информации (проверено на
горьком опыте).
On Sep 14, 4:11 pm, "Borys Lebeda" <borys.leb...@gmail.com> wrote:
> Мы сейчас пользуемся devTrack. Это не анализ требований - это именно баг
> трекинговая система, на все эти вопросы он не может дать ответы, разве что
> если кастомизировать его и заставить каждого девелопера писать процент
> покрытия в специально отведенное поле, а каждого QA проверять всю эту
> ахинею. И всё это ради того, что бы один человек смог построить отчёт со
> светомузыкой ...
>
> Овчинка выделенки не стоит :-\
Написал ответ, но его сожрал инет :(. Предлагаю обсудить это при
встрече 9 числа.
На самом деле наличие отчёта по покрытиям требований менее важен, чем
право девелопера НЕ ЗНАТЬ и НЕ ИНТЕРЕСОВАТЬСЯ над каким требованием он
в данный момент работает. Бог придумал разделение труда не для того,
что бы каждый член команды знал о всех аспектах проектах. Да и не
возможно это для нашего проекта...
> Мы сейчас пользуемся devTrack. Это не анализ требований - это именно баг
Приведите мне пример как можно получить ответы на мои вопросы не имея
приведенных
метрик. К примеру: можно ли с точки зрения бизнеса сделать демо для
потенциальных
заказчиков. А такой заказчик может появиться в любой момент и
хотелось бы знать в каком состоянии находятся самые приоритетные
бизнес фичи.
Насколько они протестированы и какие аспекты остались незатронутыми (к
примеру
не было перформанс тестирования). Я рад послушать реальные
предложения. Причем это
всего лишь один из волнующих вопросов.
On Sep 15, 10:44 am, "Borys Lebeda" <borys.leb...@gmail.com> wrote:
> Ничего я не пытаюсь доказать, просто мой опыт пошёл в разрез с Вашими
> требованиями. А другим поделится не могу, потому как на моей памяти не было,
> что бы какие-то метрические показатели (даже из тех, что перечисленны
> в Вашем посте) позволяли отследить степень удовлетворения требований
> заказчика. Путём долгих переговоров с заказчиком нам удалось создать роль
> аналитика - специального человека, который работает с требованиями и тест
> сьютами, при этом не смотрит в код и не смотрит в отчёты по тестированию. Я
> могу сколько угодно критиковать работу этого человека и самого института
> анализа требований, но это работает лучше, чем попытка автоматизировать этот
> процесс метриками. Если привести аналогию в спорте, то анализ требований
> скорее похож на фигурное катание, чем на пауэр лифтинг...
>
> На меня, а также на Артура или Алексея, обижаться совершенно напрасно...
> Представьте себе, что будет в тот злополучный день, когда и Ваш опыт
> перестанет согласовываться с вопросом в этом посте :)
>
Тогда я сделаю новый пост и забуду про этот. Не хочу заглядывать на
будущее. ;)
А на счет аналитиков мне есть что рассказать. Очень хотелось бы
поделиться при встрече.
Было достаточно опыта работы с аналитиками в контрактных проектах.
>Вы изначально ограничиваете метод оценки (кстати, оценки
>чего? выше я объяснил, что оценивать нечего :) )
Вы даже не поняли вопроса, а тем более не знаете деталей проекта, но
уже готовы сделать
вывод о том, что в принципе мне эти метрики и не нужны. Это вы ставите
меня в заведомо
дурацкое положение, при этом аппелируя к пунктам а) и б). К сожалению
вы промахнулись
с обоими пунктами. И как аналитик или еще кто-то сможет оценить в
любой момент времени
работоспособность и завершенность продукта. Закройте глаза и
представьте, что вам этот
продукт принесли из другой компании, которая закрылась на прошлой
неделе, и задали тот
же вопрос, что и я по поводу демо. Никто не утверждает что данные
метрики решат все
проблемы, но согласитесь, что имея их под рукой вы существенно
уменьшите бизнес-риски
ваших заказчиков.
И еще раз повторяю: я задавал вопрос изначальный по поводу приемов и
тулзей, которые
кто-то из вас использовал в Agile проектах. Но стоящего ответа так и
не получил. Зато получил
кучу постов с критикой. Представьте вы спросили бы на сайте Sun как
вам запустить ваш Java
класс, а вам бы написали кучу постов о том что в вашем проекте вообще
не нужна Java, да и
глобально С++ лучше (не в обиду никому). Зачем? Только тратим мое и
ваше время попусту.
Если вы хотите за счет этого самоутвердиться, то тоже глупо, да и
возраст не тот мне кажется.
> 15.09.07, Alimenkou Nikolay <lumii.subscri...@gmail.com> написал(а):
>
>
>
> > On Sep 14, 9:00 pm, "Артур Ракицкий" <arty...@gmail.com> wrote:
> > > "сколько реально тест кейсов покрыто" и т.д.
> > > Похоже, проблема не в инструменте, а в организации работ. Когда продукт
> > > разбит на "удобные" части (функции, например) и эту разбивку
> > поддерживает
> > > вся команда и заказчик, подобных вопросов не появляется.
>
> > Приведите мне пример как можно получить ответы на мои вопросы не имея
> > приведенных
> > метрик. К примеру: можно ли с точки зрения бизнеса сделать демо для
> > потенциальных
> > заказчиков. А такой заказчик может появиться в любой момент и
> > хотелось бы знать в каком состоянии находятся самые приоритетные
> > бизнес фичи.
> > Насколько они протестированы и какие аспекты остались незатронутыми (к
> > примеру
> > не было перформанс тестирования). Я рад послушать реальные
> > предложения. Причем это
> > всего лишь один из волнующих вопросов.
>
КАКИЕ МЕТОДИКИ, ПРАКТИКИ И ИНСТРУМЕНТЫ ИСПОЛЬЗОВАЛИСЬ ДЛЯ
ПРОВЕДЕНИЯ ТЕСТИРОВАНИЯ В AGILE ПРОЕКТАХ?
Были перечислены несколько тулзовин: DevTrack, TestLog, Jira. Ни одну
из них не назовешь
чисто Agile тулзой. А пробовал кто-то AgileTrack? Я когда-то давно
смотрел на нее, когда она
была еще бесплатной. Довольно интересная вещь для тех, кто хочет вести
Agile проекты с
помощью заведомо приспособленных вещей. Там есть понятие story, task
(bug, feature and etc.),
довольно неплохие графики для оценки velocity команды. Может у кого
есть опыт (позитивный
или негативный) работы с ней?
On Sep 16, 1:46 pm, "Артур Ракицкий" <arty...@gmail.com> wrote:
> "Пример тому тестирование бизнесс процесса с помощью веб интерфейса."
> 16.09.07, Alimenkou Nikolay <lumii.subscri...@gmail.com> написал(а):