Что по Вашему опыту лучше использовать при стат. оценках

[eternal_digger]

Доброго времени суток всем. Хотелось бы услышать мнение уважаемых на предмет того какие методы лучше использовать при проведении стат. оценивания. Мысль следующая: Предположим играем некий паттерн. Описываем его в виде матрицы состояний X(i,tj)...X(n,tm), где набор реализаций является выборкой из некой генеральной совокупности.
Все параметры паттерна уже "заточены" на последующую оценку, т.е. используются только те, которые статистически значимо влияют на результат (под результатом можем понимать например X(n,tm)).
Вопрос такой, как лучше проводить стат. оценку?
Варианты:
1. параметрическими методами (т.е. полагаем, что имеем дело с ((n-1)*(t-1))-мерной нормальной ген. совокупностью, предварительно преобразовав все
((n-1)*(t-1))-функций плотностей вероятности к такому виду (ну например как предлагается у Булашева) и далее решать задачу дискриминации при допущении нормальности классов.
2. непараметрическими методами, с получением непараметрических оценок гистограммного или ядерного типа.
Вопрос: Насколько критичны будут ошибки при использовании первого варианта. Кто-нибудь может посоветовать какую-либо вменяемую литературу по второму варианту (с практическимим примерами).

 

[nightcarrier]

1-й вариант. ИМХО.
Однако встает проблема нестационарной, постоянно меняющейся "генеральной совокупности". И традиционная проблема: чем больше точек данных, тем точнее можно описать совокупность, но тем дальше она от стационарности.
Проблема описана Орловым Ю.Н. в "Нестационарных временных рядах". С примерами анализа финансовых и сырьевых рынков.
Второй вариант мне, увы, незнаком. Когда аксакалы пишут про энто ядреное сглаживание, уважительно хренею
Сорри, если недопонял Ваш вопрос.

 

[eternal_digger]

Да в общем тот же Айвазян дает несколько методов непараметрических оценок в своей "Классификации многомерных наблюдений". Только имхо, там тоже все не очень однозначно. Я в общем-то думаю, что второй способ наверно более робастный, но вот только с его применением ни хрена пока не могу разобраться.
А "генеральная совокупность" меняться не может (сорри не удержался ), а выборки энто да..., и соответственно и оценки поэтому плывут. Т.е. в моем понимании имеем некую эволюцию функции плотности вероятности от выборки к выборке, что очень хорошо видно при байесовском оценивании. Вот и ничего в голову не идет кроме как пытаться получать "запас прочности" при оценивании.
Вот еще такой момент так сказать практический. Вы когда оцениваете степень статистической связи, чем пользуетесь? Мне ничего кроме корр. отношения в голову не приходит. И в этой связи получается следующий момент: вот например хотим собрать ряд ситуаций в условиях статистического ансамбля некоррелированных инструментов. Как будем оценивать эту самую некоррелированность? В принципе предлагается по бете, но в ее расчете имеются коэф-ты корреляции, а они имхо предназначены для оценок в условиях линейных связей. Но ведь у нас-то все нелинейно. Вот и вопрос, насколько оценивание ччерез бету адекватно? Можем ли мы эти ошибки игнорировать, так сказать с практической точки зрения?

 

[nightcarrier]

... Вы когда оцениваете степень статистической связи, чем пользуетесь? Мне ничего кроме корр. отношения в голову не приходит. И в этой связи получается следующий момент: вот например хотим собрать ряд ситуаций в условиях статистического ансамбля некоррелированных инструментов. Как будем оценивать эту самую некоррелированность? В принципе предлагается по бете, но в ее расчете имеются коэф-ты корреляции, а они имхо предназначены для оценок в условиях линейных связей. Но ведь у нас-то все нелинейно. Вот и вопрос, насколько оценивание ччерез бету адекватно? Можем ли мы эти ошибки игнорировать, так сказать с практической точки зрения?...

Тоже использую коэффициент корреляции. Из нелинейных пробовал индекс корреляции. Принципиальной пользы не почуствовал, т.к. ответ на вопрос в виде "Что-то там есть" практически бесполезен. Имхо, лучше ввести доп.переменную - нелинейную (в форме предполагаемой модельной зависимости) - и ее проверять линейным коэффициентом корреляции.

P.S. Без Меха данный вопрос обсуждать сложно...

 

[eternal_digger]

А нет ли здесь случаем товарищей, кто пытался использовать непараметрические оценки функции плотности вероятности для выборки из n независимых реализаций k-мерной размерности по работе Епанечникова. Там у него интересные вещи выводятся. Имхо, энто дело весьма неплохо можно к трейдингу прикрутить.

 

[Бганга]

Я просто сглаживаю ряд экспоненциальной средней с коротким периодом. Большая часть статистического мусора сразу отсеивается. Дальше с этим уже можно работать стандартными методами. Даже самыми простыми.

 

[eternal_digger]

Вы очевидно строите трендследящие мтс, в моем же случае речь идет о паттерновой торговле и здесь имхо ничего не "сгладишь". Т.е. если отобрали "кучку" торговых эпизодов и получили некий ряд состоящий из независимых реализаций. Этот ряд надо статистически оценить, даже не сам ряд, а достоверность неких реализаций по полученной выборке. Учитывая, что реализации независимые а инструменты некоррелированные и кол-во реализаций велико, то оценки вроде как должны иметь нормальную природу. Ну все-таки терзают "смутные сомнения", в смысле чем больше допущений, тем меньше уверенности. А потому и хочется попытаться использовать нечто более общее в смысле непараметрической оценки. Тем более, что по рез-ам подслушанных умных разговоров, возникло некое подозрение, что именно здесь "собака зарыта". Но судя по тому немногому, что удалось посмотреть на эту тему, то здесь выплывает офигенно нехилая математически задача. Вот и думаю, что может все-таки это тот случай, когда "лучшее - враг хорошего".
Не знаю...

 

[Бганга]

У меня тоже паттерновая, поэтому кое-какие результаты на истории уже есть. Получается, что увеличение количества реализаций выше некоторого порога ухудшает результат, поэтому нужно опираться на качество отбора. Попробовав разные хитрые методы я для себя сделал вывод, что нет ничего лучше сглаживания старой доброй ЕМА.
А насчет нехилой задачи - тут на Меха снизошло просветление! Цитирую

внезапно понял, что при работе с ценовыми данными нужно использовать ранговую корреляцию, а не обычную пирсона. тогда конкретный вид распределения не важен. мысль настолько очевидная, что удивительно, почему я до сих пор ходил мимо. итого нормировкой на локальную волатильность убираем гетероскедастичность, переход к рангам нивелирует влияние распределения - и все, больше никаких сюрпризов в данных нет.

https://plus.google.com/101136929053087983139/posts

А у меня с этим проблема - так и не нашел, как в Экселе ранговая корреляция считается.

 

[eternal_digger]

Сергей, ранговые корреляции считаются просто. Правда я не пользуюсь экселем, но мне представляется, что проблема немного не в этом. Мне непонятно каким образом составить саму таблицу рангов, в том смысле что присутствует некая неоднозначность как определить именно свойства объектов, в каких терминах это все кодировать. Мне представляется, что именно от состоятельности такой кодировки будет зависеть и результат. А учитывая, что способов кодировки вообще до хрена..., и если нет особых соображений на предмет как это делать получаем комбинаторную задачу с понятным исходом (в том смысле, что можем себе так до старости комбинаторить ).
Что касаемо корреляции по Пирсону, то здесь имхо, слишком много допущений приходится принимать и потому для меня эта характеристика теряет свою "состоятельность". Ну во-первых: допущение о нормальности (что ладно можем и принять), во-вторых и это имхо главное : допущение о линейной связи. Это мне кажется основная беда, которая все портит, в том смысле, что при отклонении зависисмости от линейной, коэффициент корреляции не описывает степень тесноты статистической связи. Получается, что надо использовать коэф. детерминации, но это при том, что у нас нет регрессионной модели. Конечно, это можно и обойти или использовать просто корр. отношение, о котором я выше упоминал. С другой стороны, на хрена нам какая-то регрессионная модель, если основной идеей при паттерновой торговле является процедура стат.оценки самого паттерна. И здесь я с Вами согласен в том смысле, что: "Получается, что увеличение количества реализаций выше некоторого порога ухудшает результат"
Правда, хоть убей не возьму в толк, как Вы умудряетесь использовать ema. Наверное мы с Вами все-таки о разных паттернах говорим.

 

[Бганга]

ЕМА как раз и нужна, чтобы корректнее считались коэффициенты корреляции. Если рассчитывать корреляцию не между двумя кусками графика (это и есть паттерны, т.е. некоторые комбинации свечей) а между скользящими средними от этих кусков - результат получается лучше.

 

[eternal_digger]

Хрен его знает. Если так получается то и хорошо. Но мне все это все равно непонятно. Мы наверное просто по-разному понимаем паттерн. Для меня в этом деле основной момент - это сетап. Он должен быть по возможности таким, чтобы минимизировать "расплывчатость" его идентификации.
Не могли бы Вы все-таки уточнить (просто для примера), как использование ema помогает в паттерновой торговле. Просто мне кажется, что в силу интегральной природы этой штуки она наоборот должна "смазывать" результативность.

 

[eternal_digger]

Вот еще момент требующий прояснения.
Берем два непараметрических теста, например критерий однородности Смиронова и критерий Вилкоксона-Манна-Уитни (оба теста представлены в Статистике). Получаем, что при одном и том же уровне значимости на сгруппированных выборках по Вилкоксона-М-У имеем отсутствие различий в параметрах положения, а по Смирнову принимается гипотеза о несовпадении вероятностных распределений.
Собственно вопрос: имеет ли смысл копать эту фигню дальше, или рез-т будет все равно не очень. Кто-нить сталкивался или использует такие статистики на практике.