پایتون به ابزاری قدرتمند در علوم داده تبدیل شده است. NLTK از جمله کتابخانه‌های پایتون است که برای پردازش زبان طبیعی بکار می‌رود. هضــــم ابزار پردازش زبان فارسی در پایتون است که توسط سبحـه فراهم شده است. برنامه زیر، برنامه‌ی تستی است که در سایت هضم قرار داده شده است:

from __future__ import unicode_literals
from hazm import *

normalizer = Normalizer()
normalizer.normalize('اصلاح نويسه ها و استفاده از نیم‌فاصله پردازش را آسان مي كند')

sent_tokenize('ما هم برای وصل کردن آمدیم! ولی برای پردازش، جدا بهتر نیست؟')

word_tokenize('ولی برای پردازش، جدا بهتر نیست؟')

stemmer = Stemmer()
stemmer.stem('کتاب‌ها')

lemmatizer = Lemmatizer()
lemmatizer.lemmatize('می‌روم')

tagger = POSTagger(model='resources/postagger.model')
tagger.tag(word_tokenize('ما بسیار کتاب می‌خوانیم'))

chunker = Chunker(model='resources/chunker.model')
tagged = tagger.tag(word_tokenize('کتاب خواندن را دوست داریم'))
tree2brackets(chunker.parse(tagged))

parser = DependencyParser(tagger=tagger, lemmatizer=lemmatizer)
parser.parse(word_tokenize('زنگ‌ها برای که به صدا درمی‌آید؟'))

معمولاً نصب هضم و اجرای کد بالا تا خط ۱۵ مشکل خاصی ندارد. در دستور POSTagger مدلی مورد استفاده قرار می‌گیرد که از گیت‌هاب هضم قابل دریافت است. مشکل اصلی با این دستور، نیاز به کتابخانه libwapiti است که فایلهای باینری آن – حداقل در زمان نوشتن این متن – برای ویندوز موجود نیست. روی دستگاه من نسخه‌های مختلف کامپایلر ++C وجود دارد اما در هنگام نصب و کامپایل با خطا مواجه می‌شویم ):

در چنین مواقعی کار در لینوکس بسیار راحت‌ است و کامپایل بسته‌ها به راحتی انجام می‌پذیرد.
روش‌های بسیاری همچون نصب جداگانه لینوکس، ماشین مجازی و قابلیت Hyper-V سخت‌افزارهای جدید هست که می‌توان بکار گرفت. همه آنها را قبلا آزموده‌ام اما با هیچ‌کدام از آنها حال نکرده‌ام. مدتی است که ویندوز ۱۰ امکان اجرای نسخه خط فرمانی لینوکس در بستر ویندوز را تحت عنوان Windows Subsystem for Linux یا WSL فراهم آورده است که به نظر من بسیار جالب آمد. روش کار با آن و نیازمندی‌های آن در سایتهای مختلفی مثل سایتهای زیر آمده است:

چگونه لینوکس را بصورت کامل در ویندوز داشته باشیم و

اوبونتوی 18.04 با استفاده از راهنمای خود میکروسافت به آسانی در سیستم من نصب شد.
پس از نصب WSL، پایتون و ژوپیترو بسته‌های مورد نیاز را نصب کردم.

sudo apt update && upgrade
sudo apt install python3 python3-pip ipython3 
sudo apt install python-pip 
pip3 install jupyter
sudo apt install jupyter-notebook
pip install nltk
pip3 install hazm
sudo apt-get install graphviz

پس از آن برنامه فوق تا خط ۲۲ اجرا شد. اما برای نمایش گراف در خط ۲۴ و دستور DependencyParser نیازمند جاوا بودم که آن را مطابق این راهنما هم نصب کردم و در نهایت مثال به خوبی اجرا شد:

اوبونتوی نصب شده با روش بالا فاقد رابط گرافیکی کاربر است. در صورت تمایل مطابق با لینک‌های ارائه شده در بالا می‌توان رابط کاربری داشت و با Remote Desktop متصل شد، اما من نیازی نداشتم. پس از اجرای jupyter notebook در خط فرمان اوبونتو، یک آدرس مانند آدرس زیر به ما داده می‌شود که با کپی کردن آن در مرورگر ویندوز، ژوپیتر لینوکس قابل دسترس خواهد بود.

http://localhost:8888/?token=c02149abdc2ad69d9e8e7497faf0bbed48ffd44264f935f1

دقت داشته باشید که برای دسترسی به فایلها در پارتیش‌های خود باید ابتدا به پوشه mnt وارد شوید و سپس ژوپیترنوت‌بوک را اجرا کنید.