Witam.
Postanowiłem stworzyć aplikację, która będzie wykrywać przestępstwa w internecie, zastanawiam się nad funkcjonalnością, którą będzie oferować, nic innego nie przychodzi mi do głowy jak tylko przeszukiwanie "odpowiedzi" w poszukiwaniu słowa kluczowego. Jakiekolwiek sugestie byłby mile widziane. Z góry dzięki.
Nie wiem, czy jest to dobry pomysł. Np. ktoś na jakimś forum napisze:
"Chcę zbudować bombę."
i wtedy ten program wykryje taki post? Ogólnie to by wymagało dość sporo NLP, podejrzewam że taki projekt to byłby dobry na doktorat. Wykrywanie po słowach/zdaniach kluczowych spowoduje Ci dużo przypadków jak "Zamordowałbym za pizzę", czy "Ta impreza była bombowa".
po co do tego aplikacja? odpalasz tora, wchodzisz na odpowiednie forum i masz listę samych przestępstw
nie wiem co ta aplikacja miałaby robić? liczyć na to że ktoś będzie umawiał zamach bombowy na facebooku?
@usm_auriga a ty masz chociaż blade pojęcie o przetwarzaniu języka naturalnego? Bo mam wrażenie że nie za bardzo ;) Polecam jednak trochę się na ten temat douczyć (materiały po angielsku masz na stronach MIT, Stanforda etc). Z językiem polskim jest to znacznie bardziej skomplikowane. Jak bardzo chcesz to wyślij mi PM z mailem i podrzucę ci paczkę materiałów z Przetwarzania Języka Naturalnego z moich studiów.
Zanim się dziarsko weźmiesz za pisanie aplikacji polecam najpierw przeczytać http://thewhereblog.blogspot.com/2008/12/paradox-of-false-positive.html
A potem wyestymować liczbę stron normalnych i tych z 'przestępstwami' i policzyć czy przypadkiem False Positive Paradox nie sprawi, że wyniki twojej aplikacji będą bezużyteczne.
Shalom no właśnie nie mam :P ale dzięki za dobre intencje. Pozdrawiam.
Poszukaj artykułów / książek o:
Ogólny artykuł na ten temat:
http://nltk.googlecode.com/svn/trunk/doc/book/ch06.html
@usm_auriga przetwarzanie języka i data mining z heterogenicznych źródeł danych to jest baaaardzo skomplikowana sprawa ;) Na początek polecałbym popatrzeć na to wszystko z innej perspektywy - z perspektywy systemu ekspertowego. Spróbuj napisać sobie system ekspertowy który na podstawie jasno przedstawionych przesłanek wnioskowałby o czymś. Jeśli potrzebujesz narzędzi to ściągnij sobie genie:
http://genie.sis.pitt.edu/networks.html
To jest narzędzie do projektowania i testowania Sieci Bayesa (które stanowią jeden z modeli systemów ekspertowych).
Warto od tego zacząć, żeby uświadomić sobie że już sam silnik wnioskujący, nawet przy założeniu że dane wejściowe są podane "na tacy", to jest mocno skomplikowana sprawa.
No i na to wszystko panowie nakłada się jeszcze jeden rozległy temat - samo prawo i jego interpretacja (wiemy jak to wygląda). Do tego fakt, że prawo obowiązuje do granic państwa.... jak napisanie os'a - jeden człowiek tego nie ogarnie nie ma h...