In a previous post, I explained how you can sample two Pandas DataFrame exactly the same way. In this blog post, I want to use that helper function to undersample your predictors and target variable.
When you are working with an imbalanced data set, it’s often good practice to under- or oversample your data for training your model. While there are some great Python packages to under- and oversample your datasets, none are fully built with DataFrames in mind. That’s why I wrote a simple undersample function that returns an undersampled version of your DataFrames.
For the coding, I assume two things (but feel free to tailor the code to your specific needs — and share it in the comments).
- you have your predictors and target variables in separate data frames.
- you are working on a binary classification problem.
First, let’s load the helper function from the previous blog post.
import pandas as pd
import random
def sample_together(n, X, y):
rows = random.sample(np.arange(0,len(X.index)).tolist(),n)
return X.iloc[rows,], y.iloc[rows,]Next, we get to the undersample function. It takes three arguments: a predictor DataFrame, a target DataFrame and the label of the minority class.
def undersample(X, y, under = 0):
y_min = y[y.project_is_approved == under]
y_max = y[y.project_is_approved != under]
X_min = X.filter(y_min.index,axis = 0)
X_max = X.filter(y_max.index,axis = 0)
X_under, y_under = sample_together(len(y_min.index), X_max, y_max)
X = pd.concat([X_under, X_min])
y = pd.concat([y_under, y_min])
return X, y
X_train, y_train = undersample(X_train, y_train)What happens:
- Both DataFrame get split in two: one for the majority and one for the minority class.
- The sample_together function is used and the sample size of the majority class is set to the minority class sample size. The resampled DataFrames for the majority class are returned.
- I union the DataFrames of the minority and the majority class and return them.
There you have it: a function to easily undersample a Pandas DataFrame for a binary classification problem.
By the way, I didn’t necessarily come up with this solution myself. Although I’m grateful you’ve visited this blog post, you should know I get a lot from websites like StackOverflow and I have a lot of coding books. This one by Matt Harrison (on Pandas 1.x!) has been updated in 2020 and is an absolute primer on Pandas basics. If you want something broad, ranging from data wrangling to machine learning, try “Mastering Pandas” by Stefanie Molin.
Great success!
Самые стильные события модного мира.
Абсолютно все новости мировых подуимов.
Модные дома, лейблы, гедонизм.
Самое приятное место для стильныех людей.
https://ulmoda.ru/
Самые актуальные новости мировых подиумов.
Исчерпывающие новости известнейших подуимов.
Модные дома, бренды, гедонизм.
Лучшее место для модных людей.
https://paris.luxepodium.com/
Fashion, luxe, hedonism
The best fashion application for hypebeasts and cute people.
Podium news, events. New collections, collaborations, limited editions.
https://watch.lepodium.net/
Наиболее важные новинки моды.
Все новости лучших подуимов.
Модные дома, бренды, гедонизм.
Интересное место для трендовых хайпбистов.
https://richlifestyle.ru/
Все свежие события часового мира – последние новинки культовых часовых домов.
Все модели хронографов от недорогих до супер гедонистических.
https://podium24.ru/
Точно актуальные новости мировых подиумов.
Абсолютно все мероприятия всемирных подуимов.
Модные дома, бренды, высокая мода.
Приятное место для стильныех людей.
https://fe-style.ru/
Абсолютно свежие новости мира fashion.
Все эвенты всемирных подуимов.
Модные дома, торговые марки, высокая мода.
Приятное место для стильныех хайпбистов.
https://outstreet.ru/
Избранные актуальные события часового мира – трендовые новинки легендарных часовых брендов.
Все коллекции часов от доступных до экстра гедонистических.
https://bitwatch.ru/
Абсолютно важные события подиума.
Исчерпывающие события мировых подуимов.
Модные дома, лейблы, гедонизм.
Лучшее место для модных хайпбистов.
https://luxe-moda.ru/
LeCoupon: актуальные новинки для любителей fashion шоппинга
Лента новостей, события, стильные образы, мероприятия, дропы, показы.
https://qrmoda.ru/
Самые актуальные новинки мира fashion.
Исчерпывающие события самых влиятельных подуимов.
Модные дома, торговые марки, haute couture.
Самое приятное место для стильныех людей.
https://whitesneaker.ru/
Модно выглядеть круто, так как это способствует чувствовать себя уверенно.
Образ формирует первое впечатление окружающих.
Удачный образ помогает успеху.
Гардероб отражает личность.
Стильно составленная одежда и аксессуары улучшает настроение.
https://queenkaymusic.com/forums/topic/%d0%bd%d0%b8%d0%ba%d1%82%d0%be%d1%84%d0%be%d0%b1%d0%b8%d1%8f/page/14/#post-10093740
Thank you for your sharing. I am worried that I lack creative ideas. It is your article that makes me full of hope. Thank you. But, I have a question, can you help me?
В данном ресурсе вы увидите исчерпывающие сведения о партнёрском предложении: 1win.
Здесь размещены все детали работы, условия участия и возможные поощрения.
Любой блок детально описан, что позволяет легко разобраться в особенностях функционирования.
Плюс ко всему, имеются разъяснения по запросам и подсказки для новых участников.
Контент дополняется, поэтому вы можете быть уверены в достоверности предоставленных сведений.
Ресурс послужит подспорьем в исследовании партнёрской программы 1Win.
您好，这是一个仅限成年人浏览的站点。
进入前请确认您已年满十八岁，并同意遵守当地法律法规。
本网站包含不适合未成年人观看的内容，请理性访问。 色情网站。
若不符合年龄要求，请立即关闭窗口。
我们致力于提供合法合规的娱乐内容。
цвет с доставкой недорого заказать цвет с доставкой
Сделай сам как дешево сделать ремонт Ремонт квартиры и дома своими руками: стены, пол, потолок, сантехника, электрика и отделка. Всё, что нужно — в одном месте: от выбора материалов до финального штриха. Экономьте с умом!
Займы под залог https://srochnyye-zaymy.ru недвижимости — быстрые деньги на любые цели. Оформление от 1 дня, без справок и поручителей. Одобрение до 90%, выгодные условия, честные проценты. Квартира или дом остаются в вашей собственности.
resume assistant engineer https://resumes-engineers.com
Банкротство юристы Екатеринбурга yuristy-ekaterinburga.ru/
выведение из запоя вывод из запоя в нижнем новгороде клиника
Журнал для мужчин https://swiss-watches.com.ua которые ценят успех, свободу и стиль. Практичные советы, мотивация, интервью, спорт, отношения, технологии.
Все новинки https://helikon.com.ua технологий в одном месте: гаджеты, AI, робототехника, электромобили, мобильные устройства, инновации в науке и IT.
Читайте авто блог https://autoblog.kyiv.ua обзоры автомобилей, сравнения моделей, советы по выбору и эксплуатации, новости автопрома.
Портал о строительстве https://start.net.ua и ремонте: готовые проекты, интерьерные решения, сравнение материалов, опыт мастеров.
Туристический портал https://aliana.com.ua с лучшими маршрутами, подборками стран, бюджетными решениями, гидами и советами.
Архитектурный портал https://skol.if.ua современные проекты, урбанистика, дизайн, планировка, интервью с архитекторами и тренды отрасли.
Всё о строительстве https://ukrainianpages.com.ua просто и по делу. Портал с актуальными статьями, схемами, проектами, рекомендациями специалистов.
Портал о строительстве https://tozak.org.ua от идеи до готового дома. Проекты, сметы, выбор материалов, ошибки и их решения.
Новостной портал https://news24.in.ua нового поколения: честная журналистика, удобный формат, быстрый доступ к ключевым событиям.
Портал для женщин https://a-k-b.com.ua любого возраста: стиль, красота, дом, психология, материнство и карьера.
Мировые новости https://ua-novosti.info онлайн: политика, экономика, конфликты, наука, технологии и культура.
Только главное https://ua-vestnik.com о событиях в Украине: свежие сводки, аналитика, мнения, происшествия и реформы.
Офисная мебель https://officepro54.ru в Новосибирске купить недорого от производителя
Интернет займ взять займ онлайн