Normale Ansicht

The FSFE is looking for a policy intern

10. Dezember 2023 um 23:00

The FSFE is looking for a policy intern

We are looking for a motivated intern to support the FSFE’s policy activities and contribute to our work to empower people to control technology. The person will work 35 hours per week with our team in the FSFE Berlin office for a period of six months.

About the FSFE

The Free Software Foundation Europe is a charity that empowers users to control technology. Software is deeply involved in all aspects of our lives and it is important that technology empowers rather than restricts us. Free Software gives everybody the right to use, understand, adapt, and share software. These rights help support other fundamental freedoms like freedom of speech, press, and privacy.

The FSFE helps individuals and organisations to understand how Free Software contributes to freedom, transparency, and self-determination. It enhances users’ rights by abolishing barriers to Free Software adoption, encourages people to use and develop Free Software, and provides resources to enable everyone to further promote Free Software in Europe.

The FSFE is involved in many activities in the legal, economic, political, and technical areas around Free Software. This work is made possible by a community of volunteers, supporters, donors, and staff.

We are looking for an intern

We are looking for a reliable and driven intern for our policy team. You will support the FSFE’s activities and work closely with our team. We will make sure to offer our interns the opportunity to learn about Free Software and while supporting carrying out advocacy activities, the person will also be able to meet and work with our vibrant community across Europe. This position will take place in our FSFE Berlin office, 35 hours per week for a six month period.

Read more about our internships and what former interns say about it.

Main responsibilities

  • Support FSFE policy projects like Public Money? Public Code!
  • Conduct background research in the fields of politics, administrations, and economy
  • Assist our policy team with formulating policy positions on various issues
  • Communicate with contacts from the FSFE community, NGOs, industry, and public administrations
  • Work together with volunteers in various projects
  • You will participate and help organising events around Europe
  • General office tasks

Qualifications

  • Background in political or social science, or related field
  • A knowledge of the EU legislative process is an advantage
  • Excellent spoken and written English, other European languages are considered an asset

Attitude

We are looking for a reliable and well-organised team player who cares about social and political change for the next generations and is interested in acquiring practical experience by learning from our different policy activities.

How to apply

To apply, please send a maximum one-page cover letter and a maximum two-page CV in PDF format by email to interns@fsfe.org, with the subject “Intern position”. Please do not include pictures of yourself in the application. There is no immediate closing date for submitting applications, but we recommend to apply as early as possible as applications will be reviewed on a rolling basis. Please indicate your possible starting date.

The position is for a period of 6 months, full time at 35 hours per week, starting as agreed. The location of the internship is Berlin, Germany. Therefore you will be required to show that you can legally work in Germany -- either by being an EU citizen or by having a residence and work permit for the duration. The internship is compensated according to the German minimum wage. Your personal data will be deleted 3 months after we have made our decision.

Free Software is meant to serve everyone regardless of their age, ability or disability, gender identity, sex, race, nationality, religion, or sexual orientation. Hence, we encourage applications from all backgrounds and promise to judge all applications on merit, without reference to any of the characteristics listed. To promote diversity and equality in the Free Software community, we shall give preference between applications of equal strength to applicants who identify as part of a traditionally marginalised demographic in technology.

Support FSFE

Mistral veröffentlicht freies Sparse-Mixture-of-Experts-LLM

11. Dezember 2023 um 11:22

Das Interessante an den Open-Source-Modellen ist ja, dass sie das umsetzen, was bei den proprietären Modellen gemunkelt wird, aber nicht nachgewiesen werden kann. Mein aktuelles Highlight: Mixture of Experts (MoE).

Im Sommer kamen Behauptungen auf, dass OpenAIs GPT-4 eigentlich aus acht kleineren Modellen besteht, die zusammengeschaltet werden. Dieses Verfahren nennt man auch Ensemble Learning.

Das klassische Beispiel dafür ist Random Forest, wo mehrere Decision Trees parallel zu so einem Ensemble zusammengeschaltet werden. Soll das Ensemble dann eine Klassifikation vornehmen, nimmt jeder Decision Tree mit seinen eigenen Gewichten die Klassifikation vor. Anschließend entscheidet die Mehrheit der Decision Trees im Ensemble, wie das Gesamtmodell nun klassifizieren soll. Analog würde auch eine Regression umgesetzt werden können, als Aggregierungsfunktion kommt dann statt Mehrheitswahl eben sowas wie Mittelwert o. ä. zum Einsatz. Das besondere ist, dass mit Random Forest üblicherweise bessere Vorhersagen erzielt werden können, als mit einem einfachen Decision Tree.

MoE funktioniert in den groben Zügen ähnlich. Es gibt "Experten" (ähnlich wie die Decision Trees bei Random Forest), die dann gewichtet aggregiert werden (Gating). Die Technik ist eigentlich recht alt und viele waren überrascht, dass OpenAI genau so etwas einsetzen soll.

Umso besser, dass Mistral als das europäische LLM-Startup sich der Sache angenommen hat. Anfang des Wochenendes schwirrte schon ein Torrent durchs Netz, heute gibt es dann auch eine offizielle Pressemitteilung zu Mixtral 8x7B. Hierbei handelt es sich um ein "Sparse Mixture of Experts"-Modell (SMoE). Die Gewichte sind wieder offen und unter der Apache 2.0 lizenziert.

Kurz zu den Eckdaten: 32k Token Kontextlänge können verarbeitet werden. Dabei spricht das Modell Englisch, Französisch, Italienisch, Deutsch und Spanisch und wurde auch auf Codegenerierung optimiert. Fine-tuning ist ebenfalls möglich - so wurde bereits eine instruction-following-Variante trainiert.

Im Vergleich zu Llama 2 70B soll es in einer Vielzahl von Benchmarks bessere Ergebnisse abliefern und dabei schneller arbeiten. Die einzelnen Ergebnisse können der Pressemitteilung entnommen werden.

Einen klassischen Downloadlink konnte ich auf die schnelle nicht finden, das Twitter-Profil verweist nur auf die Torrents. Parallel kündigt das Start-up an, einen eigenen Dienst für API-Endpoints anzubieten, sodass ein Deployment auf eigener Infrastruktur nicht mehr zwangsläufig notwendig ist.

❌